심볼리카, '트랜스포머' 대안 프레임워크 구축..."LLM 비용 문제 해결"

인공지능(AI) 스타트업 심볼리카 AI가 생성 AI 모델 구축을 위한 새로운 접근 방식을 선보였다. '트랜스포머' 기반 아키텍처를 활용한 기존 대형언어모델(LLM)들과 달리, 이 접근 방식은 기호(Symbols)를 조작해 작업을 정의하는 ‘심볼릭 AI(Symbolic AI)’ 기법을 도입했다.

로이터와 테크크런치 등은 9일(현지시간) AI 스타트업 심볼리카 AI가 기존과는 다른 생성 AI 모델 구축 접근 방식을 앞세워 3300만달러(약 450억원) 규모 투자를 유치했다고 보도했다. 이번 투자는 코슬라 벤처스가 주도하고, 애브스트럭처 벤처스, 버클리 벤처스, 데이 원 벤처스, 제너럴 카탈리스트 등이 참여했다.

심볼리카는 '챗GPT' 등 트랜스포머 아키텍처에 기반한 LLM을 실행하는데 많은 비용이 드는 문제를 해결하는 것을 목표로 하고 있다.

2017년 구글이 개발해 공개한 트랜스포머는 LLM 대중화를 가능케 한 주역으로 꼽힌다. 하지만 한계도 명확하다. 트랜스포머 기반 모델은 입력되는 모든 정보를 처리하기 때문에 컨텍스트 창 길이에 따라 계산량이 비선형적으로 증가한다. 컨텍스트 창이 10배 늘면 필요로 하는 컴퓨팅 파워는 100배로 증가할 수 있다는 이야기다.

또 컨텍스트 길이가 커질수록 훨씬 더 큰 메모리 공간을 필요로 하기 때문에 하드웨어 리소스 없이 긴 컨텍스트 창을 실행하기 어렵다. 

게다가 엄청난 양의 데이터와 에너지를 사용하고, 검증하기 어렵고, 부정확한 진술을 사실인 것처럼 출력하는 환각 경향이 있다.

이에 따라 심볼리카는 입력 간의 상황적, 통계적 관계를 사용하고 제공된 과거 정보로부터 학습하는 트랜스포머와 달리, 기호(Symbols) 조작을 통해 작업을 정의하는 구조화된 모델을 통해 AI 모델 구축에 접근했다. 심볼릭 AI에서 기호는 일련의 규칙을 나타내며, 코딩이나 워드 프로세싱 기능과 같은 특정 작업에 대해 사전 훈련될 수 있다.

심볼리카는 범주형 딥 러닝 개념에 따라 기호 간 관계를 정의하는 '구조화(structured)된 수학'을 사용한다. 최근 구글 딥마인드와 공동 집필한 논문을 통해 "구조화된 모델은 데이터 기본 구조를 분류하고 인코딩 및 부호화하므로, GPT와 같은 크고 복잡한 비정형 모델보다 적은 연산 능력으로 실행할 수 있고 전체 데이터에 덜 의존할 수 있다"라고 설명했다.

죠지 모건 심볼리카 CEO는 “전통적인 딥 러닝 및 생성 언어 모델은 유용한 결과를 생성하기 위해 상상할 수 없는 규모, 시간 및 에너지가 필요하다”라며 "새로운 모델을 구축함으로써 심볼리카는 더 낮은 데이터 요구 사항, 더 짧은 훈련 시간, 더 낮은 비용 및 입증된 올바른 구조화된 출력을 통해 더 높은 정확도를 달성할 수 있다"라고 주장했다.

심볼리카는  모델을 구축하고 이들 모델이 해석 가능하도록 지원하는 툴킷을 제작할 계획이다. AI가 내린 결정이 어떻게 해서 나왔는지 이해하게 되면, 모델 투명성이 높아져 개발자들은 쉽게 모니터링하고 디버깅할 수 있을 것이라는 설명이다.

이 회사 역시 새로운 모델을 활용해 코딩 AI 에이전트 시장에 뛰어들 예정이다. 코그니션의 '데빈'과 코디움의 '코디움메이트' 등 소프트웨어 개발 AI 에이전트가 최근 등장, 시장을 달구고 있다.

모건 CEO는 “심볼리카를 활용한 첫 제품은 코딩 어시스턴트일 것”이라고 말했다. 모델을 구축하고 훈련하는 시간을 감안하면, 2025년초에나 출시될 전망이다.

박찬 기자 cpark@aitimes.com