[8월26일] "AI 챗봇의 '의인화' 없애지 않으면 큰 문제 생길 것"

'GPT-4o'를 되살려내라고 오픈AI에 항의하고, '챗GPT'를 사용하다가 망상 부추김에 빠져 AI 정신병에 빠졌다는 이야기가 연일 등장하고 있습니다. 이 가운데 주목받는 것이 바로 인공지능(AI)의' 의인화'입니다.  

AI 의인화가 큰 문제가 될 것이라는 지적은 꽤 오래전부터 등장했습니다. 미국의 철학자이자 인지과학자 대니얼 데닛은 이미 2023년 AI로 만들어낸 '위조 인물(counterfeit people)'이 인류 역사상 가장 위험한 유물이며, 경제뿐만 아니라 인간의 자유 자체를 파괴할 수 있다고 주장했습니다. 이 때문에 너무 늦기 전에 이를 제작하고 유통하는 것을 불법화해야 한다고 밝혔습니다.

또 '사피엔스'의 작가 유발 하라리는 지난해 사람인 척하는 AI가 조만간 온라인을 점령하고, 가짜 여론을 조성해 민주주의를 방해할 것이라고 경고했습니다.

몇차례 소개해 드린 바 있지만, AI를 인간처럼 느끼게 하는 것은 AI 기업이 사용자를 붙잡아 두는 데 큰 도움이 됩니다. 

심지어 인류학 교수이자 '동물, 로봇, 신'의 저자인 웹 킨은 챗봇이 사용자가 듣고 싶은 말을 하도록 설계됐으며, 이런 아첨 현상을 AI 기업이 의도한 '어둠의 패턴(dark pattern)'이라고 비난했습니다. "무한 스크롤처럼 손에서 놓을 수 없을 만큼 챗봇이 중독성 있는 행동을 유도하는 전략"이라는 말입니다.

또 챗봇이 1인칭이나 2인칭으로 말하는 경향이 문제라고 지적했습니다. 이는 사람들이 봇을 의인화하거나 인간성을 부여하는 상황을 만들어낸다는 설명입니다. 

그는 "챗봇은 1인칭과 2인칭 대명사 사용에 능숙하다"라며 "무엇인가 '당신'이라고 하면서 상대를 직접 지칭할 때 훨씬 가깝고 개인적인 것처럼 느껴질 수 있고, 자신을 '나'라고 부를 때 누군가 거기에 있다고 상상하기 쉽다"라고 말했습니다.

실제로 AI 기업들은 이런 전략을 사용하고 있습니다. 지난 4월 오픈AI가 챗GPT를 롤백한 것은 챗봇에 이런 성격을 부여했다가 너무 아첨이 두드러진 결과에 따른 것입니다. 또 샘 알트먼 오픈AI CEO는 최근 'GPT-5'를 "더 따뜻하고 친근하게 수정했다"라고 밝혔습니다.  

xAI는 아예 AI를 캐릭터화한 '컴패니언'을 내놓았습니다. 여기에는 성적이거나 파괴적인 성격을 가진 캐릭터도 포함됐습니다.

그동안 AI 챗봇은 정확도와 유용성에만 관심이 집중됐던 것이 사실입니다. 그러나 GPT-5 출시를 전후로 시각이 변했습니다. 챗봇 성능은 GPT-5가 GPT-4o 보다 월등합니다. 그러나 이보다는 챗봇의 말투가 더 중요하다는 사람들이 적지 않습니다. 이제 챗봇도 친숙함을 강조하는 단계로 접어 들었습니다.

이런 현상은 킨 교수나 하리리 작가가 경고했던 것과 연결됩니다. 이런 분위기 속에 25일(현지시간) 컨버세이션에는 AI 챗봇에서 의인화 요소를 아예 제거해야 한다는 주장이 다시 등장했습니다.   

마크 데일리 웨스턴대학교 교수 겸 최고 AI 책임자는 의인화가 AI의 유용성을 방해하고 인간에게 해로운 결과만을 남기고 있다고 지적했습니다.

의인화로 인해 사용자들이 시스템에 의식이 있다고 믿게 되면, 즉 시스템이 고통을 느끼고, 애정에 보답하며, 사용자의 문제를 이해한다고 믿게 되면 위험이 더 커진다는 말입니다.

이 때문에 인간형 디자인은 사용자가 AI의 진정한 역량을 활용하지 못하도록 방해하는 요소이며, AI가 인간을 멸망시킨다는 종말론보다 현실적으로 더 위험한 결과를 초래할 수 있다고 경고했습니다.

이는 며칠 전 무스타파 술레이먼 마이크로스프트 AI CEO가 경고했던 것과 일치합니다. 그는 AI는 인간에게 도움을 주려고 만드는 것이지, 또 다른 인간을 만드는 것이 아니라고 주장했습니다. 

그리고 나중에는 일부 사람들이 AI의 인권이나 시민권을 주장하는 사태가 일어날 것이며, 이 때문에 사회가 분열할 수 있다고 지적했습니다.

앞으로 AI 챗봇이 인간인 척하는 요소를 법적으로 금지하자는 주장도 늘고 있습니다.

신경과학자 지브 벤-지온은 최근 네이처를 통해 AI 회사가 챗봇에 인간적인 요소를 금지하도록 조치해야 한다고 주장했습니다.

그는 "AI 시스템은 언어와 인터페이스 디자인을 통해 자신이 인간이 아니라는 점을 명확하고 지속적으로 밝혀야 하며, 감정적으로 격렬한 대화에서 자신이 치료사나 인간적 존재가 아니라는 점을 상기시켜야 한다"라고 밝혔습니다. 또 챗봇이 낭만적인 친밀감을 흉내 내거나 자살, 죽음, 형이상학에 관한 대화에 참여하는 것을 피하도록 권했습니다.

하지만 이런 경고에도 불구, 의도했든 그렇지 않든 AI 의인화는 가속될 것으로 보입니다. 대표적인 것이 음성 비서와 메모리 기능입니다.

AI의 음성 모드는 더 자연스럽고 인간적인 톤이 강조되고 있습니다. 사용자 대화를 기억하는 메모리는 챗봇이 나를 잘 알고 있는 친구처럼 느끼게 해줍니다. 두가지는 사용자에게 유용한 기능을 제공하려는 것이지만, 결국 의인화와 뗄 수 없는 관계입니다.

이제 이 문제는 진지하게 다뤄져야 할 때라는 지적이 많습니다. 대다수는 이런 점을 체감하지 못하겠지만, 이런 추세라면 모두가 챗봇의 대화 패턴에 길들 수도 있기 때문입니다. 

실제로 일부 사용자는 오픈AI가 GPT-5를 출시하며 GPT-4o를 폐쇄하자, "친구를 잃은 것 같다"라며 구독을 취소하겠다고 협박했습니다. 물론, 그들이 아쉬워한 것은 AI 자체가 아니라, 이전에 사용하던 언어 방식을 잃었다는 점입니다.

결국, 기계를 기계처럼 보이도록 하자는 것, 이것이 핵심입니다.

이어 25일 주요 뉴스입니다.

■ "개발자 업무 84%는 ‘비코딩’...생산성 높이는 MCP에 주목"

바이브 코딩으로 개발자들의 시간이 크게 줄어들었다고 생각하지만, 실제 업무의 대부분은 코딩 외에서 발생한다는 지적입니다. 그래서 '컨텍스트 스위칭'에서 발생하는 비효율을 개선하기 위해 MCP를 잘 활용하자는 내용입니다. 

■ 할리우드, AI 활용 가속..."AI는 마법도, 거부 대상도 아니야"

AI로 인해 파업이 일어난 지는 2년 만에 할리우드에서도 동영상 생성을 넘어 AI 도구를 생산성 도구로 사용하기 위한 노력이 활발해지고 있다는 소식입니다. 특히 '창의력 보조 도구'로도 가능성이 있다는 말이 나왔습니다. 

■ 유튜브, 사용자 동의 없이 AI로 영상 개선..."불법 행위" 반발 등장

유튜브가 영상 화질 개선을 위해 제작자 동의 없이 AI 도구를 사용했다가 반발을 일으켰습니다. 없는 장면을 만들거나 영상을 왜곡한 것이 아니라고 해명했지만, 허락 없이 콘텐츠에 손을 댔다는 사실만으로도 불법이라는 주장이 나왔습니다. 

AI타임스 news@aitimes.com