인공지능(AI) 전문 아크릴(대표 박외진)은 대형언어모델(LLM) '조나단 아름(ALLM)'이 웨이트앤바이어스(W&B)에서 운영하는 '호랑이 리더보드'에서 오픈소스 부문 1위에 올랐다고 1일 밝혔다.
호랑이 리더보드는 한국어 LLM 모델 성능을 평가하는 플랫폼으로, 지난 4월 론칭했다. 언어 이해와 언어 생성 능력을 다각도로 평가, 결과를 공개하고 있다.
아크릴이 개발한 조나단 아름은 언어 이해와 생성 능력에서 높은 점수를 획득, 평균 점수 0.6675로 전체 3위에 올랐다.
1위 앤트로픽 '클로드 3 오퍼스(0.7542)'와 2위 오픈AI 'GPT-4(0.7363)'이 폐쇄향 모델이라는 점을 감안하면, 오픈 소스 중 1위를 차지했다.
특히 4위인 구글의 '제미나이 프로(0.6645)'와 5위 미스트랄의 '라지(0.6259)' 등 쟁쟁한 모델에 앞섰다.
아크릴 측은 "우홍욱 성균관대학교 교수 연구팀과의 공동연구를 통해 이번 성과를 달성할 수 있었다"라며 "이번 연구는 아크릴이 자체 수집하고 개발한 한국어 데이터셋을 활용해 진행했으며, 8B 크기의 소형 모델로 대형 모델을 능가하는 성능을 달성했다"라고 말했다.
미세조정의 경우도 조나단 플랫폼으로 진행해 최적의 성능을 이끌어냈다고 강조했다. 아크릴의 LLM옵스는 미세조정과 검색 증강 생성(RAG) 등에 최적화, 분산 머신 러닝 플랫폼 조나단과 결합해 LLM의 빠른 학습이 가능하다고 덧붙였다.
한편 호랑이 리더보드에는 최근 1~2개월 새 출시된 고성능 모델 다수가 아직 등록되지 않은 상태다. '클로드 3.5 소네트' 'GPT-4o' '라마 3.1' '미스트랄 라지2' '제미나이 1.5 플래시' 등은 아직 리더보드에 반영하지 않은 결과다.
하지만 최근 허깅페이스 LLM 리더보드가 대폭 개편된 이후, 국내 모델이 글로벌 순위에서 두각을 나타낸 것은 처음이다.
박외진 아크릴 대표는 "이번 호랑이 리더보드에서의 1위는 한국어 LLM 기술력의 도약을 의미하며, 앞으로도 지속적인 연구와 개발을 통해 더욱 향상된 성능을 제공하겠다"라며 "동시에 LLM옵스 기술력을 입증하는 결과로, 앞으로도 다양한 분야에서의 연구 개발을 통해 혁신적인 AI 모델을 선보이겠다"라고 말했다.
장세민 기자 semim99@aitimes.com
