업스테이지가 대형언어모델(LLM) ‘솔라(Solar)’의 대규모 업데이트를 예고했다.
업스테이지(대표 김성훈)는 11월 출시 예정인 차세대 LLM ‘솔라 프로(Solar Pro)’의 초기 테스트용 모델 ‘솔라 프로 프리뷰(Solar Pro Preview)’ 버전을 오픈소스 및 무료 API를 통해 전면 공개한다고 11일 밝혔다.
솔라 프로는 솔라 LLM 시리즈의 상위 모델이다. 정식 출시에 앞서 개발자들이 테스트해 볼 수 있도록 프리뷰 버전의 오픈 소스 공개를 결정했다. API 호출 비용까지 무상 지원한다.
프리뷰 버전은 영어만 지원하며 입력 토큰 수도 4096자로 제한하지만, 공식 출시 버전에서는 컨텍스트 창을 대폭 확대한다고 강조했다. 하지만, 정확한 수치는 밝히지 않았다.
무엇보다 솔라 프로는 220억(22B) 매개변수로, 기존 ‘솔라 미니(10.7B)' 대비 두배 이상 커지고 성능도 대폭 향상했다고 강조했다.
또 DUS(깊이 확장 스케일) 기술 등 자체 LLM 모델링 방법론을 고도화, 여전히 단 1개의 GPU에서 구동이 가능한 수준으로 경량화에 성공했다. 이는 업스테이지의 개발 방향이기도 하다.
인문학 뿐만 아니라 과학-기술-공학-수학(STEM) 종합 지식을 평가하는 ‘MMLU 프로’, 지시 이행 능력을 평가하는 ‘IF이벨’ 등 최신 LLM 벤치마크 지표에서 솔라 미니보다 평균 51% 이상 성능이 향상했다.
최신 지표인 MMLU 프로는 LLM 답변의 정확도를 기존 사지선다에서 10개까지 늘린 벤치마크다. 이로 인해 정답률이 낮아지고 학부생 수준 이상의 추론을 요구, 고난도로 정평이 높다는 설명이다.
특히, 마이크로소프트의 ‘파이-3 미디엄’, 메타의 ‘라마 3.1 8B’, 미스트랄AI-엔비디아 의 ‘네모 12B’, 구글의 ‘젬마 2 27B’ 등 비슷한 크기의 빅테크 모델 성능을 모두 뛰어넘은 수치라고 강조했다. 매개변수가 3배 이상 큰 ‘라마 3.1 70B’ 등 다중 GPU를 요구하는 모델과도 유사한 수준의 성능이다.
이처럼 솔라 프로는 인간 평균치를 상회하는 방대한 지식과 추론 능력을 기반으로 ▲문서 및 보고서 작성 ▲데이터 분석 및 관리 ▲프로젝트 관리 등 업무 영역 전반에서 고성능 AI를 구현할 수 있는 수준에 도달했다고 강조했다.
이에 앞서 업스테이지는 지난해 8월 허깅페이스의 오픈 소스 LLM 리더보드에서 1위를 차지한 모델을 기반으로 솔라를 개발했다. 이후 솔라는 국내를 대표하는 오픈 소스 모델로 자리잡았다.
김성훈 업스테이지 대표는 “자체 기술로 개발한 세계 최고 수준 LLM 솔라를 통해 글로벌 AI 시장에 도전장을 내민 만큼 더욱 강력한 차기 모델을 야심 차게 준비하고 있다”라며 “최소의 인프라 비용으로 업계 최강의 성능을 자랑하는 솔라 프로를 프리뷰 버전으로 많이 테스트해보기를 바란다”라고 말했다.
한편, 모델 학습 방법에 대한 자세한 사항은 11월 공식 출시 시기에 맞춰 '기술 논문'으로 공개할 예정이라고 전했다. 또 멀티모달모델 개발 계획은 아직 구체적으로 정해진 것이 없다고 덧붙였다.
장세민 기자 semim99@aitimes.com
