오픈 Ko-LLM 리더보드
한국어 모델 성능을 평가하는 '오픈 Ko-LLM 리더보드'에 뉴 페이스가 등장했다. 명대우 마인즈앤컴퍼니 엔지니어가 업스테이지와 한국지능정보사회진흥원(NIA)이 공동으로 주최하는 12월 3주 순위에서 3위로 치고 올라왔다.
명대우 엔지니어의 모델은 '라마 2'를 기반으로 '직접 선호 최적화(DPO)' 강화학습법을 적용한 매개변수 13억개(13B) 모델이다.
특히 역사, 과학, 법학, 초등수학 등 57개 분야에 대한 지식을 측정하는 'Ko-MMLU(한국어 언어 이해력)' 테스트에서 44.84점을 기록, 10위권 모델 중 최고에 올랐다.
명대우 개발자는 데이터베이스 전문가로서 자연어와 딥러닝 관련 코세라(Coursera) 자격증을 다수 보유하고 있다. 2021년 LG AI연구소가 주최한 '카메라 이미지 품질 향상 AI 경진대회'에서 1119명 중 7위를 차지한 실력자다. 이 외에도 25개에 달하는 수상 경력을 보유 중이다.
더불어 마인즈앤컴퍼니는 지난 10월30일자 순위에서 'MNC-Jihun/Mistral-7B-OP-u1k-ver0.7' 모델로 1위를 차지하는 등 리더보드에서 두각을 나타내고 있다. 이번 주 9위도 이 회사의 모델이다.
마인즈앤컴퍼니는 국내 최초의 AI 전문 컨설팅 기업으로 출발한 전문가 집단으로, 최근 우리은행의 생성 AI 기반 'AI 뱅커' 서비스와 신한투자증권의 이상금융거래 탐지시스템(FDS) AI 모델을 구축하는 등 활발한 사업을 펼치고 있다.
명 개발자는 시스템 카드를 통해 "우리는 다양한 AI 모델을 만들고, 비즈니스에 적용할 수 있는 솔루션을 개발한다. 그리고 생성 AI의 경우 코드 어시스터트, TOD 챗봇, LLM옵스 등의 제품을 개발 중이며 엔터프라이즈 AGI(Artificial General Intelligence) 개발도 진행 중"이라고 회사를 소개했다.
한편 11월 7B 이하 분야에서 '이달의 모델'을 수상한 엔터테크 전문 미니레코드도 7위에 다시 모델을 올렸다. 이전에는 미스트랄 7B 모델을 이용했지만, 이번에는 라마2 모델로 13B 분야에서도 성과를 냈다.
이처럼 이번 주 순위에서는 2주 전 미스트랄 기반 모델이 상위권을 점령했던 것과는 달리, 다시 라마 2 베이스가 강세를 보인 것이 특징이다.
리더보드 상세 내용은 NIA 홈페이지나 허깅페이스 홈페이지에서 확인할 수 있다.
장세민 기자 semim99@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com