업스테이지-NIA, ‘오픈 Ko-LLM 리더보드’ 27일 오픈

업스테이지와 한국지능정보사회진흥원(NIA)이 국내 인공지능(AI) 산업 경쟁력 증진을 위해 한국어 대형언어모델(LLM)의 성능을 평가하고 비교할 수 있는 리더보드를 만든다.

업스테이지(대표 김성훈)는 NIA와 공동 주최로 한국어 LLM 리더보드인 ‘오픈 Ko-LLM 리더보드’를 구축, 27일 오픈한다고 25일 밝혔다. 양측은 이를 위해 지난 4일 MOU를 체결했으며, 업스테이지는 1T클럽에 이어 오픈LLM 리더보드까지 더해 한국 AI 생태계 외연을 지속 확대할 계획이라고 전했다.

오픈 Ko-LLM 리더보드는 누구나 한국어 LLM 모델을 등록하고 다른 모델과 경쟁할 수 있는 공개 플랫폼이다. 관심이 있는 연구자는 27일 이후 허깅페이스의 오픈 Ko-LLM 리더보드 스페이스에서 자세한 정보를 확인하고 참여할 수 있다.

업스테이지와 NIA의 오픈 Ko-LLM 리더보드는 허깅페이스가 운영하는 오픈LLM 리더보드의 기존 데이터를 단순히 번역한 것이 아니라, 한국어 특성과 문화를 반영한 고품질의 데이터를 자체 구축한 한국어 특화 리더보드다.

또 ‘상식생성’ 기준을 추가해 한국어 LLM 모델의 성능과 다양성을 평가할 수 있도록 했다. 상식생성은 업스테이지와 임희석 고려대 교수 연구진과 협업으로 구축한 데이터셋으로, 역사 왜곡과 환각 오류, 형태소 오류, 불규칙 활용 오류, 혐오 표현 등에 대한 광범위한 유형을 포함한 질문지로 구성했다. 이를 통해 AI가 주어진 조건에 대해서 생성해 낸 결과물이 한국어 사용자의 일반 상식에 부합하는지를 측정한다.

이를 통해 국내에서 가장 대표적인 환각 예시로 인용되는 '세종대왕의 맥북던짐 사건' 등의 사례를 방지, 한국어와 역사에 대해 적합한 모델을 평가할 수 있다는 설명이다.

오픈 Ko-LLM 리더보드가 한국어 LLM 연구의 수준과 경쟁력을 높이고, 한국어 데이터의 양과 질을 개선하며, 한국어 LLM의 국제적 인지도를 제고할 것으로 기대하고 있다. 이를 기반으로 다양한 연구자들의 결과를 공유하고 공동 연구 및 협력을 촉진할 수 있으며 이를 통한 성능 수준의 향상과 산업 분야 확대에도 기여할 것으로 예상한다고 전했다.

또 한국어 데이터를 기반으로 리더보드를 개설함으로써 공개 연구결과의 투명성과 신뢰성을 확보하고 국제적 인지도를 제고, 다양한 언어 연구 활성화의 시작점으로 주목받을 것으로 기대했다.

이번 리더보드 개설에는 KT와의 협업도 한몫했다고 밝혔다. KT 클라우드의 인프라 지원을 통해 리더보드를 안정적으로 운영할 것이라고 전했다.

업스테이지는 리더보드와 1T클럽을 기반으로 국내 LLM의 독립적인 생태계 조성에 기여할 계획이다.

김성훈 업스테이지 대표는 “업스테이지가 NIA와 함께 한국어 LLM의 경쟁력을 증진하고 연구 수준을 더욱 높일 수 있는 오픈 Ko-LLM 리더보드를 개설하게 돼 무척 기쁘다”며 “앞으로도 1T클럽을 포함한 고품질 한국어 데이터 공유는 물론 리더보드를 통한 협업 촉진과 빠른 기술 전파 등을 통해 한국 AI 생태계 확장과 발전에 노력할 것”이라고 말했다. 

이주영 기자 juyoung09@aitimes.com