셀렉트스타, 벤치마크 '코넷' 논문 공개…"하반기 새로운 리더보드 론칭"

인공지능(AI) 데이터 전문 셀렉트스타(대표 김세엽)는 12일 서울 코엑스에서 열린 '생성 AI 레드팀 챌린지'에서 국내 대형언어모델(LLM)이 한국 문화에 대한 이해와 지식을 갖추고 있는지 평가하는 벤치마크인 '코넷(KorNAT)'을 발표했다. 

지난해 한국지능정보사회진흥원(NIA)의 '인공지능 학습용 데이터 구축 사업'의 일환으로 셀렉트스타는 SKT, LG, 네이버, KT와 공동으로 LLM 신뢰성 벤치마크 데이터를 구축한 바 있다. 또 이를 통해 새로운 리더보드를 운영하겠다는 뜻도 이미 밝혔다.

이 데이터셋을 바탕으로 한국과학기술연구원(KAIST) 김재철AI대학원과 협력해 논문을 발표하고 국제 학술대회 ACL 2024의 심사 결과를 기다리고 있다.

연구의 핵심은 특정 국가의 맞춤형 LLM이 해당 국가 구성원의 사회적 가치관 및 기본 지식과 얼마나 일치(alignment)하는가를 평가하는 것이다.  

기존 벤치마크 데이터는 LLM의 성능과 윤리적 문제에 대해서만 평가했으나 코넷은 1만개의 평가 데이터로 면밀히 구축한 데이터셋을 구축하고 설문 조사 이론에 기반해 수차례 인간의 검토를 거쳐 그 품질과 신뢰성을 개선했다.

셀렉트스타는 올 하반기에는 코넷 데이터셋 등 LLM 신뢰성 벤치마크 데이터를 기반으로 온라인 평가가 가능한 공개 리더보드 출시를 준비하고 있다.

김세엽 셀렉트스타 대표는 “생성 AI 레드팀 챌린지에서 코넷 논문을 발표한 것은 AI 신뢰성의 중요성에 대한 공감대를 형성하고 우리의 기술력을 널리 알릴 수 있는 좋은 기회였다”라고 말했다.

김재철 KAIST AI대학원장은 “코넷 논문 발표는 한국에서 요구하는 기본상식과 가치관을 전 세계 LLM에 반영할수 있는 중요한 연구 결과”라고 축사를 전했다.

 박수빈 기자 sbin08@aitimes.com