업스테이지(대표 김성훈)는 최근 평가지표를 전면 개편한 오픈 Ko-LLM 리더보드가 122개 모델에 대한 평가를 완료, 현재 2038개 모델 평가를 앞두고 있다고 27일 밝혔다.
업스테이지 관계자는 "기존, 신규 업로드 모델을 동시 평가 중이며 1주차에만 88개 모델에 대한 평가를 완료했다"라고 말했다.
현재 리더보드에는 @maywell 개발자의 '미스트랄 7B 인스트럭트'를 기반으로 하는 모델이 1~4위를 휩쓸었다. 개발자는 현재 야놀자에 근무 중인 머신 러닝 연구자인 것으로 알려졌다.
특히 Ko-GSM8K(초등수학) 지표에서 점수가 월등히 높게 나타났다. 다른 상위권 모델이 모두 0점이나 1점대를 기록하는 반면, 이 개발의모델은 최대 25.63점까지 기록했다.
업스테이지와 한국지능정보사회진흥원(NIA)이 공동 주최하는 리더보드의 상세 내용은 NIA 홈페이지나 허깅페이스 홈페이지에서 확인할 수 있다.
장세민 기자 semim99@aitimes.com
관련기사
