앤트로픽이 공개한 최신 모델 '클로드 3.7 소네트'의 개발 비용이 수천만달러에 불과한 것으로 알려졌다. 수억달러가 들어간다고 알려진 파운데이션 모델 비용에 비해 매우 적은 것으로, 이는 모델 훈련 기술의 발전을 의미한다는 분석이다.
유명 AI 평론가인 에단 몰릭 펜실베이니아대학교 와튼스쿨 교수는 "새 모델에 대한 평가 글을 올린 뒤 앤트로픽에서 연락이 왔는데, 새 모델은 10^26 FLOP 모델로 간주하지 않는다고 말했다"라는 게시물을 X(트위터)에 올렸다.
이어 "개발에는 수천만달러밖에 들지 않았지만, 앞으로는 모델이 훨씬 더 커질 것이라고 전했다"라고 덧붙였다.
10^26 FLOP은 인공지능(AI) 모델을 훈련하는 데 사용되는 부동 소수점 연산의 양을 의미한다.
특히, 현재 첨단 모델을 규정하는 기준으로 통한다. 바이든 행정부는 사전 신고해야 하는 프론티어 모델의 임곗값으로 이를 채택했다. 즉, 현재 출시된 모델을 훈련하는 데 사용된 것보다 많은 양이다.
앤트로픽은 새 모델의 규모가 이전보다 크지는 않다는 것을 의미한 것이다. 반면, 성능에서는 첨단을 기록했다고 강조한 셈이다.
또 첨단 모델의 경우, 훈련 비용은 1억달러를 훌쩍 넘어가는 것으로 알려졌다. 오픈AI는 2023년 출시한 'GPT-4'를 훈련하는 데 8000만~1억달러(약 1146억~1443억원)를 투자한 것으로 알려졌다. 또 지난해 발표된 스탠포드대학교의 'AI 인덱스'에 따르면, 구글은 2024년 초에 출시한 '제미나이 울트라'에 2억달러(약 2866억원)를 쓴 것으로 밝혀졌다.
딥시크는 'V3' 훈련에 558만달러(약 80억원)이 들었다고 밝혔는데, 이는 제반 경비나 인건비, GPU 추가 비용 등을 제외한 것으로 알려져 있다.
따라서 앤트로픽의 설명은 첨단 모델의 개발에 들어가는 비용이 저렴해지고 있다는 것을 의미한다.
이에 대해 기술전문가인 베제이 SL은 "앤트로픽의 이번 설명은 효율적인 스케일링 기술을 통해 이전에 추정했던 것보다 적은 원시 계산으로 인상적인 성능을 달성할 수 있음을 강조한다"라며 "이는 아키텍처 혁신과 학습 방법론 개선이 순수한 계산과 함께 점점 더 중요한 역할을 하고 있음을 의미한다"라고 밝혔다.
한편, 앤트로픽이 다음에 출시할 모델은 규모가 훨씬 커질 것이라고 예고한 점도 주목할 만하다. 이는 다리오 아모데이 CEO가 밝힌 양방향 음성 모드와 메모리 기능을 추가한 강력한 후속 모델을 의미한다.
따라서 몇달 안으로 추론은 물론, 멀티모달 기능을 갖춘 새로운 프론티어 모델이 등장할 것으로 보인다.
임대준 기자 ydj@aitimes.com
