미스트랄 AI가 동급 최고 성능을 자랑하는 새로운 오픈 소스 멀티모달 소형언어모델(sLM)을 출시했다. 딥시크의 등장 이후 저비용 고효율을 내세운 모델이 잇달아 등장하고 있다.
미스트랄 AI는 17일(현지시간) ‘미스트랄 스몰 3.1(Mistral Small 3.1)'이라는 새로운 소형 LMM을 무료로 공개했다.
이 모델은 텍스트와 이미지를 동시에 처리할 수 있고, 최대 12만8000 토큰의 컨텍스트 창을 제공한다.
초당 150 토큰의 처리 속도로 빠른 응답을 요구하는 애플리케이션에 적합하며, 빠른 응답 대화 지원과 낮은 지연 시간의 함수 호출, 특정 분야 미세조정 등의 기능을 제공한다.
알고리즘 개선과 학습 최적화를 통해 높은 정확도를 유지하면서 모델 크기와 계산 요구 사항을 줄였다.
특히 단일 'RTX 4090'이나 32GB RAM이 탑재된 맥(Mac)에서 실행할 수 있다는 것이 특징이다.
최근 코히어는 GPU 2개(A100 또는 H100)만으로도 구동하는 '커맨트 A'를 내놓았고, 구글도 단일 GPU나 TPU에서 작동한다는 '젬마 3'를 출시했다. 하지만 미스트랄은 그보다 사양이 낮은 소비자용 PC에서도 온디바이스 실행이 가능하도록 설계됐다.
벤치마크에서도 뛰어난 결과를 기록했다. 텍스트 지시와 멀티모달 지시, 다국어 지원, 긴 문맥 처리 등 다양한 테스트에서 젬마 3와 'GPT-4o 미니' 등보다 우수한 성능을 보였다.
미스트랄 스몰 3.1은 허깅페이스에서 다운로드 가능하며, 미스트랄 AI의 개발자 플랫폼인 ‘라 플랫폼(La Plateforme)’과 구글 클라우드 버텍스 AI(Vertex AI)에서도 바로 사용할 수 있다. 향후 엔비디아 NIM과 마이크로소프트(MS) 애저 AI 파운드리에서도 제공될 예정이다.
한편, 딥시크가 등장한 뒤 주요 AI 기업은 잇달아 효율을 강조한 모델을 출시하고 있다.
구글은 지난주 ‘제미나이 2.0’ 모델을 경량화한 오픈 소스 멀티모달 모델 젬마 3를 ▲10억 ▲40억 ▲120억 ▲270억 매개변수 버전으로 출시했다. 코히어도 커맨드 A가 비추론 모델 중 가장 뛰어난 성능을 자랑한다고 소개했다.
지난달에는 MS가 멀티모달 처리와 하드웨어 효율성을 최적화한 오픈 소스 모델 ▲파이-4-멀티모달 ▲파이-4-미니를 출시했다. 이들 모델은 각각 56억개와 38억개의 매개변수를 가진 엣지 및 모바일 기기용 모델로, 다양한 벤치마크에서 최첨단(SOTA) 성능을 기록한 것으로 알려졌다.
박찬 기자 cpark@aitimes.com
