알리바바, 대표 오픈 소스 모델 ' 큐원 3' 공개...MoE·하이브리드 등 트렌드 반영

알리바바가 간판 모델인 ‘큐원 3(Qwen 3)’를 공개했다. 두드러진 혁신 기능은 없지만 최근 등장한 플래그십 모델들의 장점을 골고루 반영한 것으로, 일부 성능에서 구글과 오픈AI의 최신 모델을 뛰어넘는다고 주장했다.

알리바바는 28일(현지시간) 하이브리드 추론 모델 제품군 ‘큐원 3’를 공개했다. 매개변수 6억개부터 2350억개까지 다양한 크기로 구성됐다.

그 중 두개의 모델에 전문가 혼합(MoE) 방식을 적용했다고 밝혔다. 하나는 총 2350억개의 매개변수와 220억개의 활성 매개변수를 가진 '큐원3-235B-A22B'이고, 다른 하나는 총 300억개의 매개변수와 30억개의 활성 매개변수를 가진 소형 모델 '큐원3-30B-A3B'다.

하지만 이 모델에 대한 벤치마크를 공개했을 뿐, 실제 모델을 출시하지는 않았다. 

대신 오픈 소스로 공개한 것은 ▲큐원3-32B ▲14B ▲8B ▲4B ▲1.7B ▲0.6B 등이다. 이 6개의 모델은 MoE 방식이 아니라, 전체 매개변수를 활용하는 덴스(dense) 모델이다.

어쨌거나 알리바바는 큐원 3의 가장 큰 특징으로 MoE 아키텍처를 통해 작업을 세분화하고 전문 모델에 작업을 분담, 연산 효율을 높였다는 것을 들었다. 이는 '딥시크-R1'과 같은 아키텍처다.

또 추론-비추론 선택이 가능한 ‘하이브리드’ 모델이다. 복잡한 문제에는 시간과 사고 과정을 동원해 추론하고, 간단한 요청에는 빠르게 응답한다. 이 방식은 앤트로픽의 '클로드 3.7 소네트' 출시 이후 '그록-3'가 도입하는 등 새로운 모델의 기준이 되고 있다.

총 119개 언어를 지원하며, 약 36조개의 토큰으로 학습됐다. 학습 데이터는 교과서, 질의응답 쌍, 코드, AI 생성 콘텐츠 등으로 구성됐다.

이 외에도 코딩 및 에이전트 기능을 최적화했으며, 모델 컨텍스트 프로토콜(MCP) 지원도 강화했다. 이런 점도 최근 트렌드 그대로다.

벤치마크 결과, 이전 버전인 '큐원 2'보다 전반적으로 성능이 향상됐다. 일부 테스트에서는 오픈AI의 'o3-미니'나 구글의 '제미나이 2.5 프로'보다 우수한 결과를 보였다.

특히 대형 MoE 모델인 큐원3-235B-A22B는 '코드포스(Codeforces)'와 수학 테스트 'AIME', 추론 평가 'BFCL' 등에서 o3-미니를 능가했다. 또 소형 MoE 모델인 큐원3-30B-A3B는 활성 매개변수가 10배나 많은 'QwQ-32B'보다 뛰어난 성능을 기록했다.

현재 출시된 가장 큰 모델은 큐원3-32B로, '딥시크-R1'를 포함해 여러 오픈 소스 및 상용 모델과 비교해 경쟁력이 있다. 오픈AI 'o1'보다 라이브코드벤치(LiveCodeBench)에서 높은 점수를 기록했다.

큐원 3 라인업은 전반적으로 매개변수가 더 많았던 큐원 2.5 라인업과 비슷한 성능을 보인다.

즉, 큐원3-1.7B/4B/8B/14B/32B 모델이 각각 큐원2.5-3B/7B/14B/32B/72B 모델에 대응하는 성능을 보인다. 특히 STEM이나 코딩, 추론 등에서 큐원 2.5를 앞선다. 

또 도구 호출(tool-calling)과 명령어 이해, 특정 데이터 포맷 복사 등 에이전트로서의 기능이 뛰어나다고 강조했다. 

큐원 3는 허깅페이스와 깃허브를 통해 오픈 라이선스로 다운로드 가능하거나 곧 제공될 예정이며, 알리바바 클라우드의 커뮤니티 모델스코프(ModelScope)에서도 사용할 수 있다. 

박찬 기자 cpark@aitimes.com