[5월27일] '환각'은 AI의 숙명..."AI는 진실 말해주는 기계 아니야"

대형언어모델(LLM)이 사실이 아닌 것을 답하는 현상, 즉 '환각'은 그동안 큰 문제로 꼽혀 왔습니다. AI가 실제 비즈니스나 생활에 도입되는 빈도가 늘어날수록 지적도 커지기 마련입니다. 그리고 환각에 대해서는 모두 잘 알고 있는 것처럼 보이지만, 의외로 실제 AI 사용에서는 간과하는 경우가 많습니다.

최근 파이낸셜 타임스가 철학자 해리 프랑크푸르트를 인용, AI의 헛소리가 위험하다는 것을 강조한 것도 이런 이유에서입니다.

프랑크푸르트는 1986년 에세이 '헛소리에 관하여(On Bullshit)'를 통해 진실의 가장 큰 적은 거짓말이 아니며, 헛소리가 더 나쁘다고 지적했습니다. 

그는 거짓말쟁이와 진실을 말하는 사람은 정반대의 입장에 서 있지만, 최소한 같은 게임을 하고 있다고 설명했습니다. 그러나 헛소리하는 사람은 진실에 전혀 관심을 두지 않는다는 것입니다. "이 때문에 헛소리는 거짓말보다 진실의 더 큰 적"이라며, 이런 사람들이 다른 사람들을 설득하는 것이 더 위험하다고 지적했습니다.

프랑크푸르트는 챗GPT가 출시된 직후인 2023년 세상을 떠났습니다. 그러나 그의 글은 현재 화두가 된 LLM 문제를 가장 잘 드러냈다는 평입니다.

칼 버그스트롬과 제빈 웨스트라는 워싱턴대학교 교수들도 이에 적극 찬성하고 있습니다. 그들은 "LLM의 가장 큰 강점이자 가장 큰 위험은 사실의 정확성과 관계없이 거의 모든 주제에 대해 권위 있는 것처럼 보일 수 있는 능력"이라며 "그들의 초능력은 초인적인 헛소리 능력"이라고 지적했습니다.

하지만 LLM의 환각은 고칠 수 있는 '버그'가 아닙니다. 있지도 않은 말은 지어내는 것은 실수가 아닌, 모델의 주요한 역할입니다.

LLM은 트랜스포머 아키텍처의 자기 회귀 모델을 기반으로 하고 있습니다. 이는 시퀀스의 이전 입력에서 측정값을 가져와 시퀀스의 다음 성분을 자동으로 예측하는 확률적인 구조입니다. 그래서 구글 연구원들은 2021년 연구를 통해 "LLM은 의미를 되새길 필요 없는 확률론적 앵무새(Stochastic Parrots)"라고 지적한 바 있습니다.

그리고 몇년 전에는 모델 성능이 향상하면, 환각도 줄어들 것이라는 예상이 주를 이뤘습니다. 그 예로 샘 알트먼 오픈AI CEO와 미라 무리타 CTO는 지난 2023년 한 행사에서 "GPT-5는 환각이 거의 없어질 것"이라고 말했습니다.  

그러나 올해 등장한 가장 뛰어난 성능의 'o3'와 'o4-미니'는 이전 모델보다 환각이 늘어난 것으로 밝혀졌습니다. 과학 상식과 수학, 코딩 등 모든 면에서 크게 성능이 향상됐지만, 환각을 피하지는 못했다는 것입니다.

최고 모델을 만드는 앤트로픽의 개발자도 최근 법원 제출 서류에 '클로드'가 환각으로 만들어낸 사실을 포함했다가 망신을 당했을 정도입니다.

그래서 최근에는 AI 개발사가 환각을 거론하는 일이 부쩍 줄었습니다. 대신 초점을 인간의 생산성 극대화나 새로운 과학적 사실의 발견 등에 맞추고 있습니다.

다리오 아모데이 앤트로픽 CEO는 한술 더 떠 "환각을 인공일반지능(AGI) 달성의 기준으로 삼는 것은 불합리하다"고 지적했습니다. 인간보다 AI의 환각이 덜한 편이라며, 역시 AI 환각을 어쩔 수 없는 과정으로 설명했습니다.

물론, 환각을 없애는 방법은 의외로 쉬울 수 있습니다. 알트먼 CEO가 밝혔듯 모델에 "사실적인 근거가 없는 것은 답하지 말라"라고 지시하면 그만입니다.

그러나 이 경우에는 챗GPT가 시를 쓸 수도, 그림을 그릴 수도 없게 됩니다. 이런 내용은 세상에 존재하지 않는 답이기 때문입니다. AI는 기존 사실을 그대로 답하는 검색 엔진에 불과하게 됩니다.

사실 생성 AI가 유용한 것은 헛소리가 없다는 점이 아니라, 그 헛소리가 기존에는 인간이 생각하지 못한 기발함이라는 것에서 생긴다고 보는 것이 맞습니다.

일부에서는 AI의 출력과 '모른다'라고 말하는 빈도를 잘 조절해야 한다고 말하지만, 이 또한 어렵기는 마찬가지입니다. '진실은 무엇인가'라는 기준부터 만들어야 하기 때문입니다.
 
결국 AI의 헛소리 문제는 한가지 결론으로 모입니다. 평소 사람들의 말을 모두 믿지 않듯, AI의 대답도 모두 믿지는 말아야 한다는 것입니다. 

즉, "AI를 진실을 말해주는 기계로 오인하는 것은 망상이며 위험하다"라는 말입니다.

이어 26일 주요 뉴스입니다.

■ 오픈AI, '챗GPT' 수요 증가에 따라 서울에 지사 설립..."미국 이어 유료 가입자 2위"

오픈AI가 서울에 지사를 설립한다고 밝혔습니다. 사무소가 생긴다고 서비스가 크게 달라질 일은 없을 것으로 보이며, 그보다 국내 챗GPT 유료 사용자가 미국에 이어 세게 2번째라는 것이 놀랍습니다. 

■ 구글 검색 점유율 10년 만에 90% 아래로...머스크 “AI가 검색을 대체할 것”

AI 때문에 구글 검색이 밀린다는 말이 사실로 드러났습니다. 물론, AI 때문에 검색량이 줄지 않았다는 구글의 주장도 사실일 수 있습니다. 이 경우에도 AI 검색의 증가폭이 기존 검색을 넘었다는 말이 됩니다.

■ "AI, 사회적 신호 읽는 데는 여전히 부족...자율주행·로봇 적용 앞서 해결 필요"

AI가 아직 제스처나 표정 등 사회적 맥락을 잘못 읽는다는 내용입니다. 이것이 중요한 이유는 자율주행이나 로봇 등에 AI가 활용되기 때문입니다. 여기에서 맥락을 잘못 파악하면 큰 문제가 일어날 수 있습니다.

AI타임스 news@aitimes.com