세레브라스, 자체 개발한 소형언어모델 오픈소스로 공개

인공지능(AI) 칩 개발업체인 세레브라스가 자체 슈퍼컴퓨터 '안드로메다'에서 훈련한 소형 언어모델 7종을 오픈소스로 공개했다.

이 회사가 무료로 출시한 언어모델은 '챗GPT'와 유사한 기능을 하는 인공지능 모델이다. 다만 훈련에 활용한 매개변수가 1억1100만개에서 130억개로 챗GPT에 쓰인 1750억개와 비교하면 매우 적은 편이다.

로이터통신에 따르면 세레브라스는 28일(현지시간) AI 연구 개발 커뮤니티에서 더 많은 협업을 촉진하기 위해 이들 모델을 무료로 출시했다고 발표했다.

이와관련 앤드류 펠드만 CEO는 "AI기술을 오픈 소스로 공개하지 않으려는 경향이 나타나고 있는데 이는 개발에 막대한 비용이 들어가기 때문이라 놀라운 일은 아니다"면서 "하지만 오픈소스는 많은 진보를 이뤄온 동력이기 때문에 소형 모델을 무료로 공개한다"고 취지를 밝혔다.

세레브라스는 이번에 공개한 소형언어모델은 엔비디아 시스템에서 추가 훈련을 하거나 맞춤형으로 조정할 수도 있다며 가장 큰 모델 훈련 기간은 일주일이 조금 넘게 걸렸다고 설명했다.

또 매개변수가 작은 모델은 전화나 스마트 스피커에 배치할 수 있고, 큰 모델은 개인용컴퓨터나 서버에서 활용할 수 있다고 밝혔다. 

매개 변수가 많은 대형언어모델은 더 복잡한 생성 기능을 수행할 수 있는 반면 소형언어모델은 훈련 비용과 기간을 줄일 수 있고, 실제 응용프로그램과 통합하기가 더 쉽다는 이점이 있다. 

정병일 위원 jbi@aitimes.com