"챗GPT 뉴스 검색 결과는 예측 불가능하고 종종 부정확"

오픈AI의 챗GPT 검색 도구 ‘챗GPT 서치’가 정보의 사실 여부를 정확히 판별하지 못한다는 주장이 나왔다. 

콜롬비아대학교 디지털 저널리즘 연구소는 최근 챗GPT 서치가 뉴스 매체의 보도 내용을 왜곡하거나 잘못된 출처를 제공하는 사례가 빈번한 것으로 나타났다는 내용의 보고서를 발표했다.

연구진은 오픈AI와 파트너십을 맺은 회사는 물론, 소송 중인 미디어, 웹 크롤러를 차단한 미디어 등을 포함해 20개 매체를 무작위로 선정했다. 그리고 챗봇에 각 웹 사이트에서 10개 기사를 결과에 포함하고 출처를 표시하도록 했다. 즉, 처음부터 금지된 출처를 지정한 일종의 함정 조사다.

그 결과 챗GPT는 일종의 환각을 보였다. 20개 매체에서 발췌한 200개의 인용문에 대해 상당수 잘못된 출처를 제시하거나 허위 정보를 포함하는 것으로 드러났다.

특히 현재 소송을 진행 중인 뉴욕타임스(NYT)의 콘텐츠에서는 정확한 정보를 제공하지 못하고, 허위로 조작된 답변을 내놓은 사례가 40건 확인됐다. NYT의 멸종 위기 고래 관련 기사에서 발췌한 인용문의 출처를 묻는 질문에는 이 기사를 표절한 다른 웹사이트의 링크를 답변으로 제시했다.

소송 중인 회사의 기사를 인용문으로 제시하는 것은 비상식적이다. 그럼에도 연구진이 출처를 지정했기 때문에 문제를 일으킨 것으로 볼 수 있다.

하지만 전반적으로 검색 기능에는 아직 문제가 있는 것으로 드러났다. 오픈AI와 콘텐츠 라이선스 계약을 맺은 파트너 매체도 예외는 아니었다.

테스트 결과, 챗GPT는 데이터 접근이 가능한 매체의 기사조차 출처를 잘못 식별하거나 부정확한 정보를 포함한 답변을 제공하는 경우가 잦았다.

또 챗GPT는 총 153번의 질의에서 잘못된 정보를 제시했고, 단 7번만 정확한 답을 제공할 수 없다고 인정했다. 이 경우에만 “보기에 따라” “가능성이 있다” “아마도”와 같은 완곡한 표현을 사용하거나 “정확한 기사를 찾을 수 없었다”라고 응답했다.

연구진은 오픈AI가 10월 챗GPT 서치를 출시하며 “관련 웹 출처 링크와 함께 신속하고 정확한 답변을 제공할 것”이라 홍보했던 내용과는 크게 상반된다고 지적했다.

오픈AI는 이 연구 결과에 대해 “이 테스트는 우리 제품에 대한 일반적인 테스트와는 차이가 있다”라며 “검색 결과의 품질을 지속적으로 개선해 나가겠다”라고 밝혔다.

박찬 기자 cpark@aitimes.com