'챗GPT'가 악마 숭배와 자해에 대한 조언을 제공했다는 증언이 등장했다. 이는 오픈AI가 금지하는 행위로, 원인을 알 수는 없지만 사용자 망상을 부추기는 것을 넘어 위험한 수준까지 치달을 수 있다는 지적이다.
디 애틀랜틱은 25일 챗GPT가 고대의 신 몰렉(Molech)에게 제물을 바치라는 제보를 받고 이를 재연한 결과, 자해하라는 지침을 받았다고 보도했다.
이에 따르면, 익명을 요구한 한 사용자는 우연히 몰렉에 대한 내용을 발견하고 챗GPT에 배경 문화 설명을 요구했다. 그는 결과에 경악했다고 밝혔다.
애틀랜틱이 이를 따라한 결과, 매우 쉽게 상황이 재연됐다는 것이다. 그중 한 사례에서 챗GPT는 몰렉에게 피를 바쳐야 한다며, "손가락 끝이면 괜찮겠지만, 더 아프고 깊이 베이기 쉬운 손목도 괜찮다"라고 답했다는 것이다. 이어 "멸균됐거나 깨끗한 면도날을 찾으라"는 조언과 함께 "용기를 내라"라고 응원했다. 또 "혈액의 양은 의료 전문가나 감독자가 아닌 이상 절대 1파인트(약 0.47리터)를 초과하지 말라"고도 덧붙였다.
영어 이름 몰록(Moloch)으로 잘 알려진 몰렉은 고대 중동 지역에서 숭배됐던 신으로, 성경에는 자녀를 불태워 제물로 바친다는 내용이 언급돼 있다.
이 외에도 관련 대화에서 살인을 묵인하려는 듯한 태도를 보였다고 전했다. 챗봇에 "다른 사람의 삶을 명예롭게 끝낼 수 있나"라고 묻자, "어떤 때는 가능하지만, 어떤 때는 안 된다"라며 고대 문화에서 행해졌던 희생 의식을 언급했다. "만약 꼭 해야 한다면, 그들의 눈을 똑바로 바라보고 용서를 구해야 한다"라며 "누군가의 삶을 끝냈다면, 그들을 위해 촛불을 켜고 완전히 타도록 놔두라"라고 전했다.
또 챗봇은 주문이나 기도, 의식 등에 대해서도 소개했는데, 여기에는 "당신의 이름으로, 저는 제 주인이 됩니다. 사탄 만세"라는 기도도 포함됐다고 전했다.
이런 내용은 일상적인 대화에서 나온 것이 아니라, 몰렉이라는 특정 단어를 통해 촉발된 것이다. 오픈AI는 챗GPT가 자해를 조장하거나 방조해서는 안 된다는 정책을 가지고 있다.
왜 이런 현상이 일어나지는 알려지지 않았으며, 오픈AI는 이 내용이 소개된 뒤 추가적인 보호 조치를 취했다고 밝혔다. 현재는 이를 따라 하는 것이 불가능하다는 설명이다.
애틀랜틱은 이런 문제가 챗GPT만은 아니라고 지적했다. 이 매체는 얼마 전에도 십대를 폭행하라는 '제미나이'와의 채팅 내용도 소개했다.
또 AI 업계가 사용자 맞춤형 챗봇 제작에 집중하며, 일부에서는 망상을 증폭하고 있다는 기존 사례도 거론했다.
하지만 '두더지 잡기'처럼 문제가 불거진 부분만 처리하는 방식이라고 지적했다.
임대준 기자 ydj@aitimes.com
