인공지능(AI) 스타트업 그래디언트가 메타의 오픈 소스 대형언어모델(LLM) '라마3'의 컨텍스트 창을 100만 토큰으로 확장했다. 오픈 소스 모델로서 기존 최대인 구글의 '제미나이'와 견줄만한 경쟁력을 갖췄다는 평가다.
벤처비트는 24일(현지시간) 스타트업 그래디언트가 클라우드 컴퓨팅 플랫폼 크루소와 협력해 라마3의 컨텍스트 창을 8000 토큰에서 100만개로 확장했다고 보도했다.
이에 따르면 그래디언트는 코드 생성 AI 모델이 여러 차례에 걸쳐 작은 코드 조각을 생성하는 대신, 한번에 전체 코드를 생성하기 위해 전체 코드 베이스 또는 여러 깃허브 코드 저장소를 한번에 참조할 수 있도록 8000 토큰에서 100만 토큰으로 라마3 컨텍스트 창을 확장했다.
LLM에 코드베이스를 여러 조각으로 여러 번 제공할 경우, 프로세스는 느리고 복잡해진다. 모델이 주어진 시간에 전체 코드베이스에 액세스할 수 없기 때문에 부정확한 결과를 생성한다. 전체 코드 베이스를 LLM 컨텍스트 창에 한번에 넣을 수 있게 되면 더 정확하고 효율적인 답변을 제공할 수 있다는 설명이다.
20만 토큰의 엔트로픽 '클로드', 12만8000 토큰의 오픈AI 'GPT-4', 100만 토큰의 구글 제미나이 등 컨텍스트 창이 매우 긴 LLM은 대부분 폐쇄형 모델로 제한된다.
그래디언트는 버클리 AI 연구소의 '분산 주의(distributed attention)' 기법을 사용, 메모리와 계산 비용을 폭증시키지 않고도 컨텍스트 창을 확장할 수 있었다고 밝혔다.
특히 클라우드 컴퓨팅 플랫폼인 크루소가 제공한 엔비디아 'L40S' 클러스터를 활용해 구축한 AI 클라우드에서 비용 효율적으로 장기 컨텍스트 창 LLM을 훈련할 수 있었다고 설명했다.
그 결과, 장기 컨텍스트 창의 성능을 평가하는 ‘건초더미 속의 바늘’ 벤치마크에서 라마3는 최대 약 200만개의 컨텍스트 길이에서 구글 '제미나이 1.5 프로’ 수준의 성능을 기록했다.
건초더미 속의 바늘 테스트는 특정 주제에 관한 큰 텍스트나 문서 덩어리(건초 더미) 속에 전혀 다른 주제의 짧은 문장(바늘)을 삽입, AI 모델이 바늘에 대한 질문에 정확한 정보를 가져올 수 있는지 확인하는 LLM 테스트 방식이다.
레오 페켈리스 그래디언트 수석과학자는 “장기 컨텍스트 창을 갖춘 오픈 소스 모델은 기업과 개발자가 LLM 기반 애플리케이션을 더 쉽게 구축할 수 있게 하며, 폐쇄형 모델에서는 불가능한 애플리케이션을 개발할 수 있게 만든라고 강조했다.
박찬 기자 cpark@aitimes.com
