플리토, ‘한국어 LLM 리더보드’ 신규 평가 지표 데이터셋 추가 제공

인공지능(AI) 언어 데이터 전문 플리토(대표 이정수)는 한국형 대형언어모델(LLM)을 평가하는 ‘오픈 Ko-LLM 리더보드’에 신규 평가 지표 데이터셋을 추가 제공했다고 22일 밝혔다.

오픈 Ko-LLM 리더보드는 국내 LLM 성능을 평가하기 위한 공개 플랫폼이다. 지난해 9월부터 한국지능정보사회진흥원(NIA)과 업스테이지가 공동 운영하고 있다. 현재 리더보드에 참여한 언어 모델 수는 1500개를 돌파했다.

플리토는 지난 6월 추가한 ‘상식 추론’과 ‘수학적 추론’ 지표 구축에 참여한 데 이어, 이번에는 ‘감성 평가(Ko-EQBench)’와 '지시준수(Ko-Instruction Following)’ 벤치마크에도 한국어 데이터셋을 제공했다.

감성 평가 지표는 대화 맥락에서 다양한 감정과 사회적 상호작용을 이해하는 능력을 검증한다. 지시준수 지표는 주어진 지시에 따라 정확히 행동하는지를 평가한다. 특히 지시준수 평가 항목은 기업 전용 언어 모델의 지시사항 이행 척도를 확인할 수 있는 중요한 기준이라는 설명이다.

이정수 플리토 대표는 “이번 평가 항목의 추가로 국내 생성 AI 모델의 발전이 한 걸음 더 앞당겨질 것으로 기대한다”라며 “앞으로도 한국어 성능이 보다 더 객관적이고 체계적으로 평가될 수 있도록 고품질 언어 데이터를 제공하는 데 힘을 보태겠다”라고 말했다.

장세민 기자 semim99@aitimes.com