'오픈 Ko-LLM 리더보드 시즌2'가 모델 999개에 대한 평가를 완료했다. 국내 기업 모델이 1위를 지키는 가운데 해외 기업과 학계 연구 모델도 다수가 상위권에 진출한 상황이다.
리더보드를 운영하는 업스테이지(대표 김성훈)는 22일 현재 999개 모델에 대한 평가를 완료했으며, 292개 모델이 평가를 기다리고 있다고 밝혔다.
특히 3위 모델까지 평균 50점을 돌파했다.
그중 2017년 설립한 인공지능(AI) 및 빅데이터 전문 기업 링크브릭스(대표 김상규)가 1위와 4위를 차지했다.
링크브릭스의 창립 멤버 지윤성 데이터 사이언티스트는 '젬마-2-27b-it'를 베이스 모델로 감독미세조정(SFT) 및 직접선호최적화(DPO)를 진행했다고 설명했다.
특히 한국어-중국어-영어-일본어 교차 학습 데이터와 로지컬 데이터를 이용, 언어 교차 증강 처리 및 복잡한 한글 논리 문제에 대응이 가능하도록 훈련을 진행했다고 전했다.
토크나이저는 단어 확장 없이 베이스 모델 그대로 사용했다. 고객 리뷰나 소셜 포스팅에 특화했으며 고차원 분석 및 코딩 등에서 강화된 능력을 보인다고 전했다.
2위 모델은 중국 중산대학(SUN-YAT SEN UNIVERSITY) 소속이자 개발자 커뮤니티 ‘퓨즈AI’에 소속된 멤버들이 개발한 것으로 확인됐다.
5위도 교수와 학생 연합 연구팀 ‘프린스턴 NLP’의 모델이 차지했다. 이렇듯 학계 연구팀이 강세를 보이는 모습이다.
10위에는 독일계 기업 바고솔루션즈의 모델이 올랐다. 아시아나 영어권이 아닌 곳에서 높은 한국어 성능을 보인다는 점이 눈에 띈다.
이 외에도 기존 최상위권을 지키던 이스트소프트(대표 정상원)는 동일 모델로 여전히 9위를 지켰다.
업스테이지와 한국지능정보사회진흥원(NIA)이 공동 주최하는 리더보드의 상세 내용은 NIA 홈페이지나 허깅페이스 홈페이지에서 확인할 수 있다.
장세민 기자 semim99@aitimes.com
