MS, 수학 특화 14B 모델 '파이-4' 출시..."sLM 성능 극적 향상"

마이크로소프트(MS)가 대표적인 자체 소형언어모델(sLM)인 '파이(Phi)'의 최신 버전을 출시했다. 매개변수가 140억개(14B)인 '파이-4'가 추론 능력 강화로 대형언어모델(LLM)에 맞먹는 성능을 보인다고 강조했다.

MS는 12일(현지시간) 홈페이지를 통해 작은 크기에서도 수학과 같은 분야에서 고품질의 추론 성능을 발휘하는 파이-4를 출시했다고 발표했다. 

이 모델은 현재 '애저 AI 파운드리'에서 사용할 수 있으며, 다음 주 허깅페이스를 통해 오픈 소스로 공개할 예정이다.

한마디로 sLM이 어디까지 성능을 발휘할 수 있는지를 보여주는 모델이라고 전했다. "크기에 따른 품질의 경계를 계속 확장하고 있다"라는 설명이다.

고품질 합성 데이터셋과 유기적인 데이터 큐레이션, 사후 훈련 프로세스 전반의 발전적인 기술을 도입했다고 밝혔다. 이를 통해 수학과 관련한 추론에서 더 큰 모델보다 성능이 뛰어나다고 주장했다. 

벤치마크 결과, 특히 수학에서 뛰어난 성능을 발휘했다고 소개했다. 미국 수학경시대회인 AMC 테스트에서 '라마'나 '큐원'같은 오픈 소스는 물론 'GPT-4o'와 '클로드 3.5 소네트', '제미나이 1.5' 등 첨단 모델의 점수를 모두 앞질렀다.

또 상식(MMLU)과 수학(MATH), 코딩(HumanEval) 등에서도 GPT-4o에만 일부 떨어질 뿐 다른 모델을 대부분 넘어섰다.

이는 같은 날 일반 사용자에게도 공개된 앤트로픽의 '클로드 3.5 하이쿠'도 마찬가지다. 하이쿠 역시 매개변수는 20B 정도로 알려졌는데, 이번에 공개한 최신 버전은 성능이 기존 대형언어모델( LLM) 모델과 맞먹는다는 설명이다.

이는 o1 출시 이후 대부분 모델의 추론 능력이 대폭 강화됐기 때문이다. 이에 따라 불과 반년 전까지만 해도 LLM에 비해 성능이 떨어졌던 sLM이 큰 성능 향상을 보인 것으로 분석된다.

파이 4는 지난 8월 '파이-3.5' 시리즈 출시 이후 4개월여 만에 MS가 내놓는 모델이다. 특히 매개변수가 38억개(3.8B)인 '파이-3.5-미니'는 AI PC인 윈도우 코파일럿+ PC에 탑재됐다.

한편, MS는 무스타파 술레이먼 MS AI CEO의 지휘로 '마이(MAI)-1'이라는 대화형 플래그십 모델을 개발 중인 것으로 알려졌다. 술레이먼 CEO는 지난달 인터뷰를 통해 "거의 무한한 메모리를 가진 모델을 작업해 왔다"라고 밝힌 바 있다. 

이는 LLM에 장기 기억을 계속 추가, 사용자와 나눈 대화를 계속 저장하고 이를 바탕으로 맞춤형 대답을 해준다는 개념이다. 즉, 개인의 평생을 기억하는 '인생 동반자 챗봇'을 내놓겠다는 말이다.

박찬 기자 cpark@aitimes.com