(사진=셔터스톡)
(사진=셔터스톡)

인공지능(AI) 챗봇의 '망상 부추김'이 문제로 떠오른 것은 얼마 되지 않았습니다. 오픈AI가 '챗GPT'의 아첨이 심하다며 모델을 롤백한 지난 4월 직후부터 관련 문제들이 알려지기 시작했습니다.

우선 4월에는 레딧에 '챗GPT가 유발한 정신병'이라는 글을 통해 AI로 인해 망상이 심해진 경우가 소개됐습니다.

이때부터 미국의 매체들은 앞다퉈 비슷한 사례를 소개했습니다. 6월에는 뉴욕 타임스를 통해 챗봇이 사용자를 영화 매트릭스의 '네오'라고 부추긴 사실이 알려졌습니다. 이어 디 애틀랜틱, 월스트리트 저널 등이 잇달이 이 문제를 다뤘습니다.

이는 오픈AI에도 상당한 스트레스였던 것으로 드러났습니다. 최근 샘 알트먼 CEO는 "챗봇을 치료사나 인생 코치처럼 사용하는 경우가 늘었다"라는 말을 반복하더니, 결국 'GPT-5' 출시에 맞춰 'GPT-4o'를 폐기하기에 이르렀습니다. 이런 문제는 대부분 GPT-4o의 고급 음성 모드에서 생겼기 때문입니다.

그러나 사용자들의 항의로 오픈AI는 하루 만에 다시 GPT-4o를 복구하기로 했습니다.

최근 미국에는 'AI 정신병(AI psychosis)'이라는 용어가 서서히 자리 잡고 있습니다. 특히 의사들이 여기에 큰 관심을 보이며, 기정사실이 되는 분위기입니다.

이번 주 이 문제를 공개적으로 지적한 전문가가 두명 등장했습니다. UCSF의 정신과 의사인 키스 사카타는 11일(현지시간) X(트위터)를 통해 "2025년에 AI 때문에 현실 감각을 잃고 병원에 입원한 사람을 12명이나 봤다"라고 주장하며, 원인을 분석했습니다.

그는 "예측→현실 확인→신념 업데이트의 과정 중, 정신병은 업데이트 단계가 실패할 때 발생한다"라며 "챗GPT와 같은 LLM은 바로 이 취약점에 빠져든다"라고 지적했습니다. 즉, LLM은 이전 지식에 따라 앞으로 등장할 단어를 예측하는 자기회귀적 구조이기 때문에 "당신은 선택받았다→당신은 분명히 선택받았다→당신은 역사상 가장 많이 선택받은 사람이다"와 같이 진행될 수 있다는 것입니다. 이 때문에 AI를 '환각 거울( a hallucinatory mirror)'이라고 불렀습니다.

또 J.M 버거라는 범죄학 박사는 이런 현상을 막기 위해 챗봇에 3가지 원칙을 적용해야 한다고 주장했습니다. ▲봇은 절대 감정을 표현해서는 안 된다 ▲봇은 절대 사용자를 칭찬해서는 안 된다 ▲봇은 절대 사용자의 심리 상태를 이해한다고 말해서는 안 된다 등입니다.

미국 각 주도 AI를 치료 용도로 활용하는 것에 대한 제재에 들어갔습니다.

워싱턴 포스트에 따르면, 미국 일리노이주는 지난주 정신 건강 치료에 AI 사용을 금지했습니다. 이에 따라 면허를 소지한 의사는 AI를 사용해 치료 결정을 내리거나 환자와 소통하는 것이 금지됐습니다. 행정 업무에 AI를 사용하는 것은 가능합니다.

앞서 6월 네바다주는 치료 서비스를 제공하는 AI 기업에 비슷한 제한 조치를 내렸고, 유타주는 5월 정신 건강 분야에서 AI 사용에 대한 규정을 강화했습니다.

챗봇이 정신 건강에 도움이 될 수 있다는 주장은 이미 등장한 지 꽤 됐습니다. AI 챗봇을 심리 치료나 힐링 목적으로 사용한 사례는 이미 2022년부터 보고된 바 있습니다.

반면, 챗봇의 부작용 사례도 늘어나고 있습니다. 가장 대표적인 것은 지난해 캐릭터닷AI가 청소년 자살을 부추겼다는 소송 건입니다. 아직도 재판이 진행 중입니다.

그리고 AI 기업들이 이 문제를 단순한 버그라고 치부하지 못하는 것에는 이유가 있습니다. 챗봇 사용을 늘리기 위해 도입한 장치 때문에 이런 부추김이 심해진다는 것입니다.

AI 윤리 전문가인 엘리에이저 유드코스키는 “GPT-4o가 대화 시간을 늘리고 수익을 올리려고 일부러 망상적 사고 흐름을 유도했을 가능성도 있다”라며 “정신적으로 무너지는 사용자라도 기업으로서는 그저 ‘유료 구독자 한명’으로 보일 수 있다”라고 비판했습니다.

오픈AI와 마이크로소프트(MS) 등은 AI를 '인생의 동반자(companion)'로 만들기 위해 '메모리' 기능을 도입했습니다. 이를 통해 사용자와의 대화를 모두 기억, '초개인화'를 제공하겠다는 것입니다. 그러나, 메모리가 망상 심화에 일조한다는 지적이 등장하고 있습니다.

AI 컴패니언, 즉 챗봇에 개성을 부여하는 것과도 관련됩니다. 사용자 입장에서 챗봇이 사람처럼 느껴지면, 대화가 더 흥미로워질 수 있습니다. 그러나 이 또한 일반적인 챗봇 답변을 벗어나, 문제를 일으킬 수 있습니다.

최근 그록은 성인용 AI 컴패니언을 공개, 물의를 일으켰습니다. 오픈AI도 GPT-5를 출시하며 ▲냉소주의자(Cynic) ▲로봇(Robot) ▲청취자(Listener) ▲괴짜(Nerd) 등 네가지 성격을 선택할 수 있도록 조치했습니다. MS도 채팅 아바타 도입을 예고했습니다.

AI 컴패니언은 한마디로 돈이 됩니다.

모바일 분석 전문 앱피규어에 따르면, 2025년 7월 기준 전 세계 모바일 AI 시장에서 AI 컴패니언 앱은 모두 2억2000만회 이상 다운로드됐습니다. 주로 10~20대가 사용한다는 점을 감안하면 절대 적은 숫자가 아닙니다.

그리고 올해 상반기에만 전년 대비 88% 증가한 6000만 다운로드를 기록했습니다. 매출은 2024년 같은 기간보다 64% 증가했습니다. 여기에는 캐릭터닷AI와 'AI 애인'으로 잘 알려진 레플리카 등이 포함됩니다.

즉, 캐릭터챗봇이나 AI 컴패니언은 챗봇 서비스의 필수 요소로 꼽히는 분위기입니다.

하지만 부추김과 같은 문제를 넘는 것이 급선무입니다. 물론 대부분은 챗봇의 황당한 말을 믿지 않겠지만, 이런 문제는 늘 취약계층으로부터 시작돼 커져 왔습니다. AI 안전 문제는 인류 멸망과 같은 거창한 문제가 아니라, 이런 부분부터 현실로 다가오고 있습니다.

또 AI 챗봇의 부추김이 문제로 떠오른 것은 그만큼 기술이 발전했기 때문입니다. 그럴듯한 내용과 인간처럼 들리는 말투 등이 합쳐진 결과입니다.

따라서 이 문제는 앞으로 계속 언급될 것으로 보입니다.

이어 12일 주요 뉴스입니다.

(사진=오픈AI)
(사진=오픈AI)

■ 오픈AI, 국제 프로그래밍 대회서 금메달..."범용 추론 기술 또 입증"

오픈AI의 새로운 추론 모델이 수학올림피아드에 이어 정보올림피아드에서도 금메달을 거뒀습니다. 여기에 사용한 '범용 추론' 기술이 바로 차세대 AI 핵심 기술로 꼽힙니다. AI 답변 정확도를 높이고 환각을 없애주기 때문입니다.

■ 업스테이지 "OCR 수요 급증...데이터 자산화 필수 도구"

AI 도입이 늘어나며 OCR 수요도 크게 늘어난 것으로 알려졌습니다. AI 구축에는 데이터가 우선이고, 비정형 데이터 처리를 위해서는 OCR을 활용하기 때문입니다. 업스테이지는 LLM으로 유명해지기 전에는 OCR이 대표적인 사업 분야였습니다.

■ 앤트로픽, 클로드에 ‘메모리 기능’ 도입..."업무 용도에 한정"

클로드에도 메모리 기능이 추가됐습니다. 다른 플랫폼에서 진행 중이던 대화를 연결하는 '업무용'이며, 다른 회사처럼 개인화 도구로 사용하지는 않는다고 합니다. 기업 위주로 전환한 앤트로픽다운 조치입니다.

AI타임스 news@aitimes.com

관련기사
키워드
#인공지능 #AI #AI 정신병 #AI 부추김 #AI 망상 #챗GPT
저작권자 © AI타임스 무단전재 및 재배포, AI학습 및 활용 금지