인공지능(AI) 언어 데이터 전문 플리토(대표 이정수)는 업스테이지(대표 김성훈)와 한국지능정보사회진흥원(NIA, 원장 황종성)이 공동 주최하는 '오픈 Ko-LLM 리더보드’에 벤치마크 데이터셋을 제공했다고 12일 밝혔다.
오픈 Ko-LLM 리더보드는 한국어 대형언어모델(LLM) 성능 평가 플랫폼이다.
플리토는 집단지성 플랫폼 운영을 통해 실제적인 '언어 데이터'를 수집, 동시통역 및 대화통역, 실시간 통역 및 번역 솔루션을 제공하고 있다. 한국어 데이터에도 강세를 보여 '국내 대표 언어 기업'으로서 협업에 참여했다는 설명이다.
특히 ▲상식 추론과 문맥 이해 능력 ▲수학적 추론과 계산능력 등을 평가할 수 있는 벤치마크 데이터셋을 한국어로 제공했다. 협업 2개월여만에 이뤄낸 성과다. 이에 기존 평가 항목인 ▲추론 능력 ▲상식 능력 ▲언어 이해력 ▲환각 방지 능력 ▲한국어 상식 생성 능력과 더불어 총 7가지의 평가 지표를 갖추게 됐다.
플리토는 앞으로도 지속 협업하며 한국어 LLM 성능을 평가하고 향상시키기 위한 고품질 언어 데이터 구축을 추진할 예정이다. 실제 상용 분야에 적용된 한국어 언어모델을 평가할 수 있는 벤치마크 데이터 셋을 업스테이지와 협력해 구축 중이다. 연내 오픈 Ko-LLM 리더보드를 통해 추가 공개할 계획이다.
이정수 플리토 대표는 "한국어 언어모델 리더보드가 국제적인 평가 기준을 갖추게 돼서 의미가 크다”라며 “다년간 쌓아온 언어 데이터 구축 기술 능력을 바탕으로 한국형 AI 생태계 발전에 더욱 힘을 쏟겠다”라고 말했다.
한편 플리토는 지난달 9일 업스테이지와 AI 언어 데이터 구축을 위한 MOU를 체결했다. 양사는 태국어, 일본어, 베트남어, 라오스어, 크메르어 등 상대적으로 언어 데이터가 부족한 아시아 권역에 대한 데이터셋 구축을 중심으로 협업하기로 했다.
장세민 기자 semim99@aitimes.com
