프랑스 인공지능(AI) 스타트업 미스트랄이 개발자와 기업이 특정 사용 사례에 맞춰 AI 모델을 미세조정할 수 있도록 하는 '맞춤형 모델 제작 서비스'를 출시했다. 미국 본격 진출에 맞춰 온프레미스 모델 구축 지원에 나선 셈이다.
테크크런치는 5일(현지시간) 미스트랄이 AI 모델을 특정 요구 사항에 맞게 쉽고 효율적으로 미세조정하는 세가지 서비스 옵션을 출시했다고 보도했다.
첫번째 옵션은 셀프 서비스다. 기업이 워크스테이션, 서버 및 소규모 데이터센터 노드 등 자체 인프라에서 미스트랄의 오픈 소스 모델을 미세조정할 수 있는 소프트웨어 개발 키트(SDK) ‘미스트랄-파인튠(Mistral-Finetune)’을 출시했다.
미스트랄-파인튠은 메모리 효율적이고 성능이 뛰어난 미세조정을 가능하게 하는 로라(LoRA) 기술을 기반으로 구축됐다. 이 SDK를 통해 성능이나 메모리 효율성을 희생하지 않고도 자체 인프라에서 모든 오픈 소스 모델을 미세조정할 수 있다.
미스트랄은 이 SDK가 다중 GPU 설정에 최적화됐지만, '미스트랄 7B'와 같은 더 작은 모델을 미세조정하는 데는 단일 엔비디아 A100 또는 H100 GPU로도 스케일 다운할 수 있다고 설명했다.
140만개의 오픈AI 챗GPT 대화 모음으로 구성된 울트라챗(UltraChat)같은 데이터셋에서 미스트랄-파인튠을 사용, 8개의 H100에 걸쳐 미세조정하는 데 약 30분이 소요된다고 밝혔다. 미스트랄-파인튠은 깃허브에서 무료로 사용할 수 있다.
개발자와 기업이 더 관리된 솔루션을 선호하는 경우, 미스트랄의 API를 통해 관리형 미세조정 서비스를 사용할 수 있다. 현재는 '미스트랄 스몰'과 앞서 출시한 미스트랄 7B 모델을 지원하며, 몇주 안에 더 많은 모델이 추가될 예정이다.
이 서비스는 효율적인 미세조정을 위해 내부적으로 로라 어답터를 사용한다. 이를 통해 훈련 및 추론 비용을 모두 절감할 수 있다.
마지막 서비스는 미스트랄이 직접 기업형 맞춤 모델을 구축해 주는 것이다.
이를 통해 특정 도메인에 대해 고도로 전문화되고 최적화된 모델을 구축할 수 있다는 설명이다. 현재는 일부 특정 고객만 활용할 수 있다.
한편 미스트탈은 최근 미국 기업들의 수요 확대에 맞춰 오픈 소스 모델을 온프레미스 방식으로 구축해 주는 사업을 본격화했다. 이번에 내놓은 서비스도 이런 목적으로 출시한 것으로 볼 수 있다.
박찬 기자 cpark@aitimes.com
