프로젝트 팀 노마다마스는 프롬프트 엔지니어링으로 'GPT-4' 성능을 강화, 수능 국어 2등급(상위 5%)을 달성했다고 17일 밝혔다.
노마다마스는 포스텍영재기업인교육원 AI 과정의 지도교수 정철현 박사와 제자들로 이뤄진 팀이다. 이번 프로젝트는 '한국어 모델의 성능이 뒤떨어지는 이유'에 의문을 가지며 시작했다고 밝혔다.
특히 CoT(Chain-of-Thoughts) 방식의 프롬프트 엔지니어링 기술을 GPT-4에 적용, 언어 모델이 사람의 논리적 사고 과정을 따르도록 프롬프트를 가공해 능력을 끌어올렸다고 전했다. CoT는 '특정 임무'의 수행 능력을 강화해 GPT 모델의 성능을 향상한 것으로 잘 알려져 있다.
또 특정 문제 유형에 맞춘 프롬프트 엔지니어링을 이용할 경우, 1등급(상위 4%) 성적도 가능하다고 덧붙였다.
노마다마스는 보안 위협과 환각 증세가 없는 문서 검수 AI 코프라이빗GPT(KoPrivateGPT) 프로젝트도 진행 중이다.
정철현 지도 교수는 “초거대 AI의 한국어 능력이 아직 떨어진다고 알려진 바와는 다르게, 이미 최상위 수준에 도달했다는 것을 확인할 수 있었다”며 “국가적 관점에서는 독과점을 견제하는 오픈소스 한국어 모델의 발전이 중요하고, 기업적 관점에서는 프롬프트 엔지니어링과 문서 기반 질의 응답 등 활용 기술이 중요해질 것”이라고 말했다.
한편 노마다마스는 사용자가 언어모델의 한국어 기반 논리 능력을 향상할 수 있도록 오픈소스로 프로젝트를 공개했다.
이 프로젝트는 평가원 국어 문제를 변환한 데이터, 언어 모델의 API를 활용해서 자동으로 시험을 볼 수 있는 코드, 1등급을 받은 프롬프트 등을 포함한다.
깃허브를 통해 누구나 무료로 사용할 수 있다.
장세민 기자 semim99@aitimes.com
