네이버클라우드(대표 김유원)는 경량 추론 모델 ‘하이퍼클로바X 시드 씽크 14B’를 상업용 무료 오픈 소스로 출시했다고 22일 밝혔다.
특히 연구용으로 제한하지 않고, 비즈니스에도 적용할 수 있게 완전 무료로 공개했다. 다양한 산업 영역에서 국내 AI 생태계를 활성화하려는 의도라고 전했다.
이번 모델은 지난달 30일 발표된 추론 모델 ‘하이퍼클로바X 씽크’를 경량화한 모델이다.
중요도가 낮은 매개변수를 가지치기(pruning)하면서도, 원본 모델이 가진 지식을 최대한 보존했다고 설명했다. 가지치기한 모델의 지식을 작은 모델에 증류(distillation)하는 방식으로 학습 비용을 크게 낮췄다.
특히, 140억(14B) 매개변수에 불과하지만, 훨씬 작은 '큐원 2.5-0.5B' 모델보다 더 적은 비용으로 학습했다고 밝혔다. 비슷한 크기의 '큐원 2.5-14B'와 비교하면 1회 학습 비용은 약 100분의 1 수준으로 떨어진다는 설명이다.
하지만, 한국어 및 한국문화, 코딩-수학 관련 성능을 측정하는 벤치마크에서 14B나 더 큰 32B 모델과 비슷하거나 높은 평균 점수를 기록했다고 덧붙였다.
성낙호 네이버클라우드 하이퍼스케일 AI 기술 총괄은 “수많은 실험과 개선을 통해 설계한 효율적인 학습 전략을 바탕으로 동일 규모에서 비용-성능 등이 더 효과적인 추론모델을 구축할 수 있었다”라며 “토대부터 자체 기술로 구축한 하이퍼클로바X가 한국 AI 생태계의 본격적 성장을 이끌 수 있기를 기대한다”라고 말했다.
이 모델은 허깅페이스에서 다운로드할 수 있다.
장세민 기자 semim99@aitimes.com
