업스테이지, '솔라 프로 프리뷰' 모델로 허깅페이스 리더보드 1위 달성

업스테이지가 지난 11일 오픈소스로 공개한 ‘솔라 프로(Solar Pro)’의 초기 테스트용 모델 ‘솔라 프로 프리뷰(Solar Pro Preview)’ 버전이 허깅페이스 오픈 LLM 리더보드에서 1위를 차지했다. 오픈 소스 모델 성능 1위에 오른 것은 지난해 8월 이후 1년여만이다.

업스테이지는(대표 김성훈)는 솔라 프로 프리뷰 모델이 출시 직후 오픈 LLM 리더보드에서 매개변수 70B 미만 기준 1위를 달성했다고 19일 밝혔다.

현재는 매개변수 70B 미만 모델 기준 3위, 전체 15위를 기록하고 있다.

특히 글로벌 리더보드가 시즌2로 개편한 이후 벤치마크 난이도가 대폭 높아진 것을 감안하면 놀라운 성과라는 분석이다. 220억(22B) 매개변수만으로 평균 점수 39.61을 기록, 대형언어모델(LLM)에 버금 가는 성능을 보여주고 있다.

아직 테스트 버전이라는 것을 고려하면, 향후 성능이 더 고도화할 전망이다.

업스테이지 관계자는 "우리가 만든 최신 모델이 다시 한 번 글로벌 리더보드에서 세계적인 수준을 입증하게 돼서 기쁘다"라며 "특히 솔라 프로는 LLM의 감성 지능과 고급 추론 능력을 평가하는 EQ 벤치와 MAGI-Hard 평가에서 'GPT-4o 미니'보다 우수한 성능을 기록, 처음으로 GPT-4 제품군을 능가하기도 했다"라고 말했다.

이어 "이로써 업스테이지 솔라는 경량 언어모델 중에서는 국내뿐만 아니라 빅테크와 비교해서도 독보적인 위치를 다지고 있다"라고 강조했다.

한편, 업스테이지는 지난해 8월 허깅페이스의 오픈 소스 LLM 리더보드에서 1위를 차지한 바 있다. 이어 솔라는 올해 초 미세조정 버전으로 많은 개발자들이 활용, 허깅페이스 리더보그 1~10위를 휩쓴 바 있다. 

EQ 벤치와 글로벌 리더보드는 각각 해당 웹사이트에서 확인할 수 있다.

장세민 기자 semim99@aitimes.com