중국 대형언어모델(LLM) 스타트업의 선두 주자인 01.AI가 현재 1000억개가 넘는 매개변수를 갖춘 새로운 독점 대형언어모델(LLM)을 개발 중이라고 밝혔다. 오픈 소스 모델로 인기를 얻었지만, 독자 모델을 기반으로 수익을 창출하겠다는 의도다.
디 인포메이션은 27일(현지시간) 이카이푸 01.AI CEO와의 인터뷰를 통해 이런 사실을 밝혔다고 보도했다.
이에 따르면 이 CEO는 "지난달 첫번째 오픈 소스 대형언어모델(LLM)인 'Yi-34B'를 출시했지만, 향후 수익을 위해 매개변수 1000억개 이상의 기업 전용 독점 LLM을 개발하고 있다"라고 밝혔다.
01.AI는 저명한 벤처투자가이자 구글 차이나의 전 사장인 이카이푸가 지난 3월 설립한 스타트업으로, 구글이나 마이크로소프트(MS), 화웨이, 알리바바 등 빅테크 출신의 LLM 전문가로 구성돼 있다. 특히 설립 8개월 만에 기업 가치가 10억달러(약 1조3000억원)를 넘어서며 '유니콘 기업'에 등극했다.
또 창업 7개월 만에 첫번째 오픈 소스 LLM ‘Yi-34B’를 출시, 허깅페이스의 LLM 리더보드에서 1위를 기록하며 이름을 알렸다. Yi-34B는 340억개의 매개변수로 훈련한 파운데이션 모델로, 중국어와 영어를 지원한다. 하지만 독자 모델로 알려졌던 Yi-34B는 사실 메타의 '라마 2'를 미세조정한 모델로 밝혀져 논란이 일기도 했다.
한편 이 CEO는 중국 AI 업계에 대해 "소수의 큰 승자만이 살아 을 것"이리고 예측했다. 중국이 미국보다 훨씬 더 경쟁이 치열한 시장이라는 설명이다.
지정학적인 문제로 인해 중국의 LLM이 미국 시장에 진출하는 것은 사실상 불가능할 것이라도 말했다. 대신 중동 등 미국의 리더십이 선호되지 않거나 받아들여지지 않는 세계 다른 지역에 기회가 있다고 내다봤다. 특히 LLM은 국가마다 다른 언어, 문화, 이념, 종교 등에 기반한 데이터로 훈련하는 '소버린 AI' 구축이 필요하다고 주장했다.
이 밖에도 LLM 개발의 성패 요인으로 AI 훈련 비용 문제를 꼽았다. 01.AI는 GPU를 최대한 효율적으로 활용하는 독자적인 방법을 구축했다고 밝혔다. 수십명의 엔지니어로 별도의 '인프라 팀'을 구성, 하드웨어와 소프트웨어 최적화를 전담한다는 설명이다.
중국 AI 시장이 미국의 칩 수출 통제로 여전히 어려움에 직면해 있다고 지적했다. 하지만 이 회사는 미국의 제재를 예상, 적극적으로 엔비디아 GPU를 비축한 것으로 알려졌다.
향후 18개월 동안 사용이 충분한 GPU 물량을 확보했다는 리 CEO는 엔비디아 GPU의 생산성을 높여주는 쿠다(CUDA) 소프트웨어 라이브러리를 대체할 수 있도록 새로운 비표준 GPU를 프로그래밍하는 소프트웨어 라이브러리를 구축하고 있다고도 덧붙였다.
박찬 기자 cpark@aitimes.com
