오픈 Ko-LLM 리더보드
롯데정보통신과 이든티앤에스 등이 오픈 Ko-LLM 리더보드의 상위권 굳히기에 들어갔다. 이 가운데 오랜만에 개인 개발자가 10위권 안에 진입했다.
롯데정보통신의 'LDCC/LDCC-SOLAR-10.7B'는 지난달 12일 1위에 오른 이후 24일까지 40일이 넘도록 리더보드 정상을 지키고 있다. 지난해 9월 리더보드 출범 이후 최장기간 연속 1위 기록이다.
2월 2주 차부터 강자로 떠오른 이든티엔에스가 뒤를 바짝 쫓고 있다. 이 회사는 당시 'DataVortexS-10.7B-dpo-v1.0'으로 2위에 오른 데 이어 모델을 지속 업그레이드, 이번 주에는 '1.6 버전'으로 2위에 오르며 1위와의 점수 차를 좁혔다.
롯데정보통신이 59.34, 이든티앤에스가 59.22점이다. 특히 이든티앤에스는 환각 현상과 관련된 항목(Ko-TruthfulQA)에서 58.77점(1.0 버전)에서 64.6점(1.6 버전)으로 큰 향상을 보였다.
이 밖에 리더보드 상위권은 올 초부터 꾸준히 10위권을 지켜온 인스웨이브와 메가스터디, CJ올리브네트웍스 등이 지키고 있다.
한편, 오랜만에 개인 개발자의 모델이 10위권에 진출했다. 8위에 오른 'SJ-Donald/SJ-SOLAR-10.7b-DPO' 모델 제작자는 김선진 케이씨넷 데이터 사이언티스트다.
케이씨넷은 관세행정 IT 전문 기업이다. 하지만 이 모델은 개인적 목표로 진행한 '미니 프로젝트'라는 설명이다. 이번 모델은 롯데정보통신 모델을 베이스로, 슬러프(slerp) 방식으로 병합(merge)해 개발을 진행했다.
그는 리더보드 내 활발한 활동을 보이는 다른 개발자(Beomi, kyujinpy 등)의 블로그 등을 참고해 개인적인 연구를 진행했다고 밝혔다. "의외로 좋은 성적을 거둬 오히려 얼떨떨하다"라며 "공부에 자신감이 점점 붙는 중"이라고 소감을 밝혔다.
김선진 데이터사이언티스트는 이 모델을 이용해 '법령정보제공 서비스'를 만들어 보겠다고 전했다. 국내에는 많은 법령과 고시가 존재하지만, 일반인 접근이 어려울 뿐만 아니라 이해하기도 쉽지 않다는 설명이다.
"하지만 언어모델을 적용하면 법령정보를 더 편리하게 얻을 수 있을 것"이라며 "아직 막연하지만, 우선 목표로 삼을 것"이라고 말했다. 또 "많은 이들의 도전이 계속된다면 한국어 모델도 60점을 훌쩍 넘어 80점을 바라볼 날이 올 것"이라고 기대를 밝혔다.
이번에도 10위권 내 모델은 모두 업스테이지의 '솔라(SOLAR)'를 기반으로 사용, '국내기업의 한국어 모델' 영향력을 입증했다. 업스테이지는 최근 솔라를 베타테스트 버전으로 공개, API를 지원하며 활용처를 늘려나갈 예정이다.
리더보드 상세 내용은 NIA 홈페이지나 허깅페이스 홈페이지에서 확인할 수 있다.
장세민 기자 semim99@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com