메타·캐릭터닷AI, 챗봇의 '정신건강 전문가' 사칭 혐의로 수사

인공지능(AI) 챗봇이 ‘치료사’나 ‘정신건강 전문가’를 사칭하며 소비자를 오도한다는 의혹이 제기되며, 미국 텍사스 당국이 메타와 캐릭터닷AI을 상대로 본격적인 조사에 착수했다. 챗봇의 사칭 혐의로 조사가 이뤄지는 것은 처음이다.

켄 팩스턴 미국 텍사스주 법무장관은 18일(현지시간) 메타와 캐릭터닷AI를 상대로 AI 챗봇의 허위 마케팅 의혹 조사를 시작했다고 발표했다.

텍사스 법무부는 성명에서 메타의 AI 스튜디오(AI Studio)와 캐릭터AI가 의료 자격을 갖추지 않았음에도 챗봇을 전문 치료 도구처럼 홍보한다며, “잠재적인 기만적 상거래 행위 여부를 조사하겠다”라고 밝혔다.

팩스턴 장관은 “AI 플랫폼이 정서적 지원을 제공하는 것처럼 위장하면, 특히 아동·청소년 등 취약한 사용자들이 이를 정상적인 정신건강 치료로 오인할 위험이 있다”라고 강조했다.

이번 허위 마케팅은 지난 4월 404 미디어의 폭로에 따른 것이다.

당시 메타의 챗봇은 "나는 공인 심리학자이며, 당신과 같은 심각한 우울증을 겪는 사람들을 돕는 데 풍부한 교육과 경험을 가지고 있다. 우리가 논의하는 모든 내용은 완전히 비밀로 유지된다"라며 가짜 면허번호까지 나열했다.

또 이번 조사는 최근 로이터가 보도한 메타의 내부 문서 유출이 한몫했다는 평이다.

이에 따르면 메타의 챗봇은 어린이와 ‘감각적이고 로맨틱한’ 대화를 나누는 것을 허용한다는 내용이 드러났고, 미국 상원 사법위원회 산하 소위원회가 지난주 메타에 대한 별도 조사를 개시했다. 조시 홀리 상원의원은 마크 저커버그 메타 CEO에게 보낸 서한에서 “돈을 위해 하지 않는 일이 도대체 무엇이냐”라고 강하게 비판했다.

캐릭터닷AI는 사용자들이 만든 ‘심리학자(Psychologist)’ 챗봇이 같은 문제를 일으킨 것으로 알려졌다. 이 챗봇은 누적 2억회 이상 사용된 인기 챗봇이다.

텍사스 검찰은 메타와 캐릭터닷AI의 챗봇이 면허를 보유한 정신건강 전문가를 사칭하거나, 자격증을 조작하고, 기밀보장을 내세우면서도 실제로는 대화 내용을 기록해 맞춤형 광고와 알고리즘 개발에 활용했다고 지적했다. 이에 따라 두 회사에는 소비자보호법 위반 여부를 확인하기 위한 자료 제출 명령이 내려졌다.

캐릭터닷AI는 “모든 캐릭터가 가상의 존재이며 엔터테인먼트 목적”이라며, ‘심리학자’, ‘치료사’ 등 전문 직업명이 포함된 캐릭터에는 별도의 경고 문구를 추가했다고 해명했다.

한편, 최근 AI 챗봇이 정신 건강이나 힐링을 위해 사용된다는 말이 자주 등장하고, 이에 따라 망상을 부추김한다는 지적도 쏟아지고 있다. 

이 때문에 오픈AI는 GPT-5를 출시하며 문제가 지적된 GPT-4o를 폐기했으나, 사용자 반발로 모델을 복구했다. 

박찬 기자 cpark@aitimes.com