미스트랄 AI, 첫 코드 생성 모델 '코드스트랄' 출시

프랑스의 간판 스타트업 미스트랄 AI가 첫번째 코드 생성 인공지능(AI) 모델 ‘코드스트랄(Codestral)’를 공개했다. 미스트랄은 코드스트랄이 개발자들의 코딩 실력을 향상시켜 워크플로우를 가속하고 애플리케이션을 구축할 때 시간과 노력을 절약하는 데 도움이 된다고 주장했다.

테크크런치는 29일(현지시간) 미스트랄이 80개 이상의 프로그래밍 언어로 훈련한 220억 매개변수의 코드 생성 AI 모델 ‘코드스트랄 22B’를 오픈 소스로 출시했다고 소개했다.

코드스트랄 22B는 3만2000개 토큰의 컨텍스트 창을 제공하며, 코딩 기능을 완료하고, 테스트를 작성하고, 부분 코드를 입력할 수 있을 뿐만 아니라 코드베이스에 대한 질문에 영어로 답변할 수 있다.

미스트랄은 이 모델을 허깅페이스에 오픈 소스로 공개했지만, 코드스트랄 및 결과물을 상업적 활동에 사용하는 것을 금지한다. 대신 미스트랄의 유료 API를 통해 코드스트랄을 상업적 용도로 사용할 수 있다. 

또 관심 있는 개발자는 미스트랄의 무료 챗봇 '르 샤(Le Chat)'에서 모델의 지침 버전과 채팅해 코드스트랄의 기능을 테스트할 수도 있다.

코드스트랄은 일부 벤치마크에서 '코드라마 70B' '딥시크 코더 33B' 및 '라마 3 70B'와 같은 경쟁 제품의 성능을 능가하지만, 폭발적인 수준은 아닌 것으로 나타났다.

파이썬 코드 완성을 평가하기 위해 설계된 리포벤치(RepoBench)에서 코드스트랄은 34%의 정확도 점수로 세가지 모델보다 성능이 뛰어났다. 파이썬 코드 생성을 평가하는 휴먼이밸(HumanEval)과 파이썬 출력 예측을 테스트하는 크럭스이밸(CruxEval)에서 각각 81.1%와 51.3%의 점수로 경쟁 제품을 능가했다.  

C++, C 및 타입스크립트에 대한 휴먼이밸의 모델 성능은 최고는 아니었지만, 모든 테스트를 합친 평균 점수는 61.5%로 가장 높았으며 특히 라마 3 70B의 61.2%를 앞섰다. SQL 성능에 대한 스파이더(Spider) 평가에서는 63.5%의 점수로 2위를 차지했다.

미스트랄은 라마인덱스, 랭체인, 컨디뉴닷데브, 탭나인, 제트브레인스 등의 기업들이 이미 코드스트랄 테스트를 시작했다고 밝혔다.

한편 코드 생성 AI는 최근 치열한 경쟁이 벌어지는 분야다. 지난 3월에는 허깅페이스가 엔비디아, 서비스나우 등 빅테크들과 협력, 오픈 소스 코드 생성 대형언어모델(LLM) '스타코더2(StarCoder2)' 시리즈를 출시했다. 특히 메타는 지난 1월 ‘코드 라마 70B’를 오픈 소스로 출시, 기존 유료 서비스와의 경쟁을 예고했다. 반면 MS는 기존 코드 생성 기능을 확장해 기업용으로 적합하게 만든 '코파일럿 엔터프라이즈'를 월 39달러의 유료 모델로 출시했다. 

특히 3월에는 코그니션이 최초의 코드 생성 AI 에이전트 '데빈'을 선보였고, 이어 코디움이 비슷한 SW 개발용 AI 에이전트를 내놓았다. 

박찬 기자 cpark@aitimes.com