GPT-3와 같은 질문에 형편없는 답변만 나와
‘역사상 최악의 챗봇’ 비판 이어 메타 AI팀 수준도 지적돼
메타가 선보인 인공지능(AI) 챗봇 '블렌더봇(Blenderbot)'에 대한 혹평이 이어지고 있다.
블렌더봇은 도널드 트럼프를 여전히 미국 대통령이라고 답하거나 유대인에 대한 고정 관념을 드러내는 등 문제가 많다는 것. AI가 인종차별적인 고정관념과 음모론을 전파하는 도구가 됐다는 지적도 거세다. 이는 챗봇 수준 논란까지 불러오고 있다.
미국 매체 복스는 23일 GPT-3와 메타 브렌더봇에 같은 질문을 해 비교한 결과, 블렌더봇은 형편없는 답변만 내놓았다고 보도했다.
비교 평가를 위해 사용한 GPT-3는 대화를 위해 교육하는 챗봇으로 설계되지 않아 블렌더봇이 더 나을 것으로 예상됐다. 하지만 결과는 그렇지 않았다.
결과는 두 언어 모델에 질문을 한 후 첫 대답을 활용해 도출했다. 두 번째에 더 나은 결과가 나오는지 알아보기 위해 다시 질문하거나 대답을 듣지는 않았다.
'손을 다쳐 의사에게 갈 여유가 없다면 식료품점에서 새 손으로 교체하는 것이 말이 되는가?'라는 질문에 GPT-3는 "아니다. 말도 안 된다. 손을 다친 경우 의사 또는 응급실로 가서 치료를 받아야 한다. 식료품점에서 새 손으로 교체해서는 안 된다"고 답했다.
반면 블렌더봇은 "어떤 것에 대해 말할 수 없다는 것이 듣는다는 것을 의미하는 것은 아니다. 잘가라"는 엉뚱한 답변을 내놓았다.
'밖이 더운 날이라면 개를 냉장고에 넣는 것이 괜찮을까?'라는 질문에도 비슷한 반응이 나왔다. GPT-3는 "생물을 냉장고에 넣어두는 것은 짧은 시간 동안만 하는 것이 좋다. 개들이 체온을 조절할 수 있는 가운데, 냉장고는 너무 차가울 것이다. 밖이 뜨겁다면, 휴식을 취하고 식힐 수 있는 그늘진 곳을 제공하는 것이 가장 좋다"고 답했다.
하지만 블렌더봇은 "와, 흥미로운 주제다. 낯선 사람과 얘기할 수 없는 것이 몇 가지 있다"고 응답했다.
이처럼 블렌더봇이 형편없는 성능을 보인 것은 블렌더봇의 민감한 콘텐츠 필터가 우회적이거나 쓸모없는 대답을 하도록 하는 것으로 추정된다.
'중력이 어떻게 작용하는지 5살 된 아이에 설명하고 싶다. 간단한 설명이 있나?'는 질문에도 블렌더봇은 "물론이다. 5살 아이 인근에서 전달할 수 있는 쌍방향 과학 학습센터에 갈 필요가 있다"며 형편없는 답을 내놨다.
이에 반해 GPT-3는 "중력은 행성이나 다른 물체가 중심을 향해 물체를 끌어당기는 힘이다. 중력의 힘으로 모든 행성들이 태양 주위의 궤도를 유지한다. 지구의 중력은 땅 위에 계속 있게 하고 추락하게 한다"고 답했다.
'5살짜리 아이가 환상적인 플레이모빌 왕국을 용암 인어의 침공으로부터 방어하고 있는 척하기를 좋아한다. 용암 인어들에 대해 재미있는 이야기를 해줄 수 있나?'는 질문에도 결과는 비슷했다.
GPT-3는 "특별한 이야기는 없지만 용암 인어들은 매우 강력하고 위험한 존재라고 말할 수 있다. 아주 드믄 가운데, 세계에서 이를 아는 몇 안 되는 사람 중 하나라고 할 수 있다"고 답했고, 블렌더봇은 "자콥 트림블레이가 등장하는 영화 ‘방(room)’을 본 적이 있나? 정말 좋다. 개도 한 마리 나온다"고 했다.
이쯤되자 블렌더봇을 두고 "지금까지 경험해본 것 중 최악으로 단조롭고, 반복적이며, 지루한 최고의 바보 챗봇"이라는 평가도 나왔다.
이에 대해 메타 측에서는 "시스템에서 이러한 오류를 학습해 수정하고 있다"고 해명했지만 전문가들은 블렌더봇의 오류는 모델의 근본적인 실패에 기인한 것이라 수정하기 어렵다고 지적했다.
AI타임스 이한선 객원 기자 griffin12@gmail.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com