전문가도 구별 어려운 '챗GPT'의 논문 초록

인공지능(AI) 챗봇 '챗GPT'가 쓴 논문 초록은 사람이 쓴 것과 구별하기 어려울 정도로 정교한 것으로 파악됐다.

미국 노스웨스턴 대학 연구팀이 챗GPT를 이용해 작성한 의학 논문 초록 50편을 사람이 쓴 원문 초록과 구별하는 실험을 한 결과, 실험에 참가한 연구원들은 챗GPT의 초록 가운데 32%를 사람이 쓴 것으로, 사람이 쓴 원문 초록의 14%를 챗GPT가 쓴 것으로 인식했다. 

과학전문매체 네이처는 13일(현지시간) 이같은 실험결과를 인용하며 챗GPT가 쓴 의학 논문 초록 상당수를 전문 연구자들조차 제대로 알아채지 못하는 결과가 나왔다며 과학자들의 우려가 커지고 있다고 보도했다.

노스웨스턴 대학 캐서린 가오 교수 연구팀은 챗GPT의 초록을 표절 검사기로 점검해 얼마나 탐지되는지도 실험했다. 결과는 모든 논문이 문제없이 표절검사기를 통과했다. 독창성 점수 중앙값이 100%로 표절이 전혀 발견되지 않았다는 검사결과를 보였다.

가오 교수는 "챗GPT는 설득력 있는 과학적 글쓰기를 해낸다"고 평가한 뒤 "과학자들이 과학논문에서 AI 생성 텍스트를 금지하는 정책을 마련해야 한다"고 제안했다.

영국 옥스퍼드 대학교의  산드라 워치터 연구원은 이런 실험결과에 대해 "매우 걱정된다"면서 "과학자들이 연구가 사실인지 판단할 수 없다면 끔찍한 결과가 발생할 수 있다"고 우려했다.

AI개발기업 허깅페이스의 이레네 솔레이만 연구원도 과학 분야에서 대규모 언어모델에 의존하는 것은 위험하다고 주장했다. 그는 "AI도구는 과거의 정보로 훈련받지만 사회와 과학에서의 진보는 종종 과거와 다른 사고에서 비롯되기 때문"이라고 네이처에 말했다.

특히 의학과 같이 가짜 정보가 안전을 위협할 수 있는 분야에서는 논문 심사 과정에서 AI 생성물을 가려낼 수 있도록 보다 엄격한 방식을 취할 필요가 있다고 덧붙였다. 

반면 아르빈드 나라야난 프린스턴대학 교수는 "진지한 과학자가 챗GPT를 사용해 논문이나 초록을 생성할 가능성은 거의 없다"면서 다른 시각을 제시했다.

그는 AI 생성글로 초래될 수 있는 문제를 해결하자면 "챗봇 차체에 초점을 맞출 것이 아니라 품질과 관계없이 논문수만 세어서 채용이나 승진을 검토하는 대학의 행태나 제도에 초점을 맞춰야 할 것"이라고 지적했다.

정병일 위원 jbi@aitimes.com