기업의 인공지능(AI) 활용에 대해 최종 소비자들이 기업을 신뢰하지 못하고 있으며, 특히 데이터 보안 문제를 우려하고 있다는 조사가 나왔다.
세일즈포스는 15일 기업의 AI 활용이 소비자 신뢰도에 미치는 영향과 성공적인 AI 활용을 위한 핵심 과제를 분석한 'AI 시대의 고객경험 현황(State of the AI Connected Customer) 보고서’를 발표했다. 전 세계 18개국 1만6500명 이상의 소비자와 비즈니스 구매자를 대상으로 설문조사를 진행한 결과를 분석했다.
보고서에 따르면 AI 기술 혜택을 누리는 기업은 늘었지만, 최종 소비자는 비윤리적인 AI 사용을 우려하고 있는 것으로 나타났다. 비윤리적인 AI 사용을 깊게 우려한다고 응답한 소비자는 지난해 22%에서 올해 37%로 크게 증가했다.
기업의 윤리적 AI 활용에 대한 소비자의 신뢰도는 42%로, 전년 대비 16%p 하락한 것으로 나타났다. 1년전보다 기업에 대한 신뢰도가 감소했다고 응답한 비율도 71%에 달했다.
소비자들이 가장 우려하는 부분은 '데이터 보안'으로, 기업이 고객 데이터를 부주의하게 다룬다고 답한 비율이 64%였다. 또 71%의 응답자가 AI 결과물을 사람이 검증해야 한다고 응답했다.
이처럼 기업의 AI 사용을 신뢰하기 위해서 ▲AI 사용방식에 대한 투명성(42%) ▲결과물에 대한 인적 검증(35%) ▲AI 사용량에 대한 사용자 제어 강화(32%) ▲결과물의 설명 가능성(31%) ▲일관되고 정확한 결과물(30%) 등이 필요하다고 답했다.
AI 에이전트의 활용에 있어서는 업무 특성에 따른 선호도 차이가 뚜렷했다.
긍정적인 반응을 보인 분야는 일정 예약(40%)이나 개인화된 콘텐츠 제작(38%) 등 단순 업무에 해당했다.
반면, 재정적인 결정(58%)이나 의료 상담(44%) 등 전문성이 필요한 영역에서는 불편함을 느끼고 있다고 응답한 비율이 높고, 여전히 인간 상담자와의 상호작용을 선호하는 것으로 드러났다.
세일즈포스는 "기업들이 AI 에이전트를 적극적으로 도입하고 있지만, 소비자들은 회의적인 태도를 보이고 있다"라며 "AI 에이전트를 성공적으로 도입하기 위해서는 소비자 신뢰 구축, 내부 조직 교육, 인간 중심적 AI 통합 등의 노력이 필요하다"라고 전했다.
손부한 세일즈포스 코리아 대표는 “기업이 AI를 활용함에 있어 윤리적이고 투명한 방식을 채택하는 것이 기업 경쟁력 확보를 위한 핵심 요소이며, 특히 개인정보보호와 데이터 활용 사이의 균형을 맞추는 것이 중요한 과제로 급부상하고 있다”라며 “세일즈포스는 윤리적인 환경에서의 AI 활용은 물론, 신뢰에 기반한 고객경험 혁신을 지원하기 위한 노력을 아끼지 않을 것”이라고 말했다.
박수빈 기자 sbin08@aitimes.com
