일론 머스크가 오픈 소스로 출시한 챗봇 '그록'의 실체가 드러났다. 매개변수 3140억개로 역대 오픈 소스 모델 중 가장 크다. 그러나 핵심 기능인 '실시간 X(트위터) 접속' 기능은 오픈 소스 버전에서 빠진 것으로 나타났다.
벤처비트와 테크크런치 등은 17일(현지시간) 머스크의 xAI가 그록을 오픈 소스로 공개했다고 보도했다. 이는 지난 11일 머스크의 예고 이후 6일 만이다.
이를 통해 그록의 세부 사항을 밝혔다. xAI는 “그록-1의 기본 모델 가중치와 네트워크 아키텍처를 공개한다”라며 "그록은 사전 훈련된 매개변수 3140억개의 혼합 전문가(MoE) 모델"이라고 발표했다.
이제까지 등장한 오픈 소스 모델 중 가장 큰 매개변수다. 메타의 '라마 2'의 매개변수 700억개(70B)보다 4배 이상 크다.
또 인기 모델인 믹스트랄 8x7B와 같이 MoE를 사용하고 있다는 것도 처음 알려졌다. MoE는 오픈AI가 'GPT-4'에 도입하며 잘 알려진 '모델 쪼개기' 기법이다.
그록은 상업적 사용과 수정 및 배포가 가능한 아파치 라이선스 2.0에 따라 오픈 소스로 제공된다.
또 xAI는 지난해 10월 머신러잉 프레임워크인 JAX와 Rust 기반의 커스텀 학습 스택을 사용해 아키텍처를 개발, 특정 토큰의 가중치 중 25%만 활용해 효율을 향상했다고 설명했다.
하지만 학습 데이터는 공개하지 않았다. 또 그록의 기능 중 가장 큰 차별점으로 평가받는 X의 실시간 연결 기능도 오픈 소스에는 빠졌다. 이 기능은 여전히 월 16달러의 X 유료 구독자만 사용할 수 있다.
머스크가 그록을 무료로 내놓게 된 것은 오픈AI 소송 건 때문이다. 머스크는 오픈AI가 당초 약속을 어기고 기술을 폐쇄했다고 비난하며, 자신은 오픈 소스로 모델을 공개하기에 이르렀다.
공교롭게도 그록이 오픈 소스화되자 오픈AI 직원들도 이 모델에 관심이 있다는 글을 올렸다. 기술 커뮤니티에는 그록의 분석으로 떠들썩한 분위기다.
이 때문에 기존 오픈 소스 모델들도 본격적인 성능 경쟁에 나서는 등 오픈 소스 진영 전체에 자극이 될 것이라는 예측이 나오고 있다.
임대준 기자 ydj@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com