인공지능(AI) 칩 스타트업 삼바노바가 1조개 이상의 매개변수를 갖춘 대형언어모델(LLM)을 출시했다. 이 모델은 독립적으로 훈련된 56개의 모델을 조합, 프롬프트와 요청에 따라 최적의 모델로 라우팅하는 ‘전문가 구성(CoE, Composition of Experts)’ 아키텍처를 특징으로 한다.
벤처비트는 28일(현지시간) AI 칩 스타트업 삼바노바가 56개의 오픈소스 AI 모델로 구성된 1조 매개변수의 LLM ‘삼바-1(Samba-1)’을 출시했다고 보도했다.
이에 따르면 삼바-1은 오픈AI의 'GPT-4'와 같은 단일 모델이 아니라 CoE 아키텍처 방식으로 결합된 56개의 AI 모델 조합이다.
삼바-1은 단일 대형모델이 아닌, 독립 모델 조합이기 때문에 사용자의 프롬프트에 맞춰 모델을 연결하는 방식을 제어할 수 있다. 또 삼바-1의 전체 크기는 매개변수 1조개에 달하지만, 사용자의 요청에 맞춰 개별 또는 소규모 모델 그룹을 조정할 수 있기 때문에 비용과 시간을 아낄 수 있다.
삼바-1 모델은 기업이 모델을 사용자 정의하고 배포할 수 있도록 지원하는 풀스택 AI 소프트웨어 도구인 ‘삼바노바 스위트(SambaNova Suite)’의 일부로, 삼바노바가 개발한 AI 칩 ‘SN40L’에서 구동된다.
호드리구 리앙 삼바노바 CEO는 “우리가 지금 하고 있는 일은 사전 구성, 사전 훈련 및 사전 최적화된 완성 모델을 제공하는 것”이라며 “이를 통해 기존처럼모델 하나가 모든 작업을 수행하지 않아도, 추론을 위한 고성능 및 대규모 배포를 효율적으로 수행할 수 있다”라고 말했다.
이어 “삼바-1은 하드웨어를 포함한 풀스택 프레임워크 형태로, 온프레미스는 물론 프라이빗 클라우드에서 사용할 수 있다"라고 덧붙였다.
삼바-1을 구성하는 56개의 모델에는 '라마 2' '미스트랄' '팰컨' '디플롯' '클립' '라바' 등 유명 오픈 소스 모델이 대부분 포함됐다.
이들 모델을 개별 학습한 다음 삼바-1 내부에서 서로 상호 작용할 수 있도록 별도 과정을 거쳤다. 이를 통해 특정 쿼리에 대해 답변을 제공하는 한 모델의 스레드가 다음 모델의 입력이 되는 방식으로, 사용자에 가장 적합한 단일 1조 매개변수 모델로 최적화한다는 설명이다.
LLM 여럿을 연결한다는 아이디어는 새로운 것이 아니다. 널리 사용되는 오픈 소스 '랭체인(LangChain)' 기술은 사용자는 주어진 프롬프트에 어떤 모델 체인을 사용할지 모델 체인을 미리 결정할 수 있는 기술이다. 하지만 삼바-1을 사용하면 개별 전문가 모델이 프롬프트와 응답을 기반으로 동적으로 연결될 수 있어 유연성이 향상된다는 것이 차별점이라고 설명했다.
또 GPT-4나 미스트랄과 같은 LLM에 적용 중인 ‘전문가 혼합(MoE, Mixture of Experts)’과도 다르다고 밝혔다. MoE는 단일 모델이 여러 데이터셋을 훈련, 잠재적으로 데이터셋의 보안 및 개인정보 보호를 침해할 수 있다.
반면 삼바-1의 ‘전문가 구성’은 각 전문가 모델을 자체 보안 데이터셋에 대해 개별적으로 훈련하는 방식이다. 훈련 데이터의 보안 제한 사항이 전문가 모델에만 전파되기 때문에 안전하고 비공개적으로 모델을 훈련, 배포 및 추론할 수 있다는 설명이다.
이로 인해 삼바-1은 1조개의 매개변수 모델을 제공하지만, 기업에 따라 매개변수가 크게 줄어들 수도 있다. 단일 대형모델이 아닌 여러 특수 모델을 함께 사용함으로써, 고성능 작업은 물론 간단한 작업도 동시에 효율적으로 처리할 수 있다는 설명이다.
리앙 CEO는 “모든 프롬프트를 처리하는 데 전체 1조개의 매개변수가 동시에 활성화될 필요가 없다”라며 "전체를 움직이는 단일 대형 모델 대신, 필요한 전문가 모델만 사용할 수 있기 때문에 효율성, 설치 공간, 전력 및 대역폭 등의 효율을 극대화할 수 있다"라고 말했다.
반면 이 모델을 사용하려면 삼바노바가 제작한 AI 칩을 반드시 활용해야 한다는 제약이 따른다. 이 때문에 테크크런치는 "결국 AI 번들링에 불과하다"라는 평을 남겼다.
박찬 기자 cpark@aitimes.com
