큐원2.5-코더 벤치마크 결과 (사진=알리바바)
큐원2.5-코더 벤치마크 결과 (사진=알리바바)

알리바바가 새로운 AI 코딩 어시스턴트 '큐원2.5-코더(Qwen2.5-Coder)'를 출시하며 허깅페이스에서 두번째로 인기 있는 모델로 자리 잡았다. 

벤처비트는 12일(현지시간) 알리바바 클라우드가 기존의 '큐원 2.5-코더 1.5B'와 '7B' 버전에 이어 ▲0.5B ▲3B ▲14B ▲32B 매개변수의 4가지 버전을 추가 공개했다고 전했다.

이에 따라 큐원2.5-코더는 총 6가지 모델 옵션을 제공하며, 다양한 컴퓨팅 리소스를 가진 개발자들이 골라서 사용할 수 있게 됐다.

큐원2.5-코더는 12만8000 토큰의 컨텍스트 창과 함께 92개의 프로그래밍 언어를 지원한다. 특히 '큐원2.5-코더-32B-인스트럭트' 모델은 오픈 소스 코딩 모델 중에서 가장 뛰어난 모델로 평가받고 있으며, 'GPT-4o'나 '클로드'를 능가하는 코딩 능력을 갖췄다.

벤치마크 결과 (사진=알리바바)
벤치마크 결과 (사진=알리바바)

코드 생성 능력을 측정하는 핵심 지표인 휴먼이밸(HumanEval) 벤치마크에서 92.7%, MBPP에서 90.2%를 기록했으며, 실제 코딩 과제를 평가하는 라이브코드벤치(LiveCodeBench)에서는 31.4%의 정확도를 달성했다. 이는 오픈AI와 앤트로픽의 모델을 능가하는 결과다.

또 대부분 AI 코딩 도구가 파이썬이나 자바스크립트와 같은 주요 언어에 집중하는 반면, 큐원2.5-코더는 하스켈(Haskell)과 라켓(Racket)과 같은 특수 언어를 포함해 총 92개 언어에 대해 뛰어난 성능을 발휘했다.

코딩 능력 외에도 일반적인 문제 해결과 수학적 능력에서도 높은 점수를 기록했다.

현재 큐원2.5-코더는 허깅페이스에서 이용 가능하며, 64GB의 맥북 프로 'M2'에서도 실행할 수 있을 만큼 최적화됐다.

박찬 기자 cpark@aitimes.com

저작권자 © AI타임스 무단전재 및 재배포, AI학습 및 활용 금지