(영상제작=AI타임스)
소형 언어 모델이 뜨고 있습니다. LLM, 즉 대형 언어 모델이라는 용어에 빗대서 부르는 'sLLM'이라는 신조어까지 생겼습니다.
언어모델의 크기를 결정하는 매개변수는 오픈AI의 'GPT-3’의 경우 1750억개, 구글의 '팜(PaLM)'은 5400억개에 달합니다. 이런 대형 모델에 비해 변수의 수가 60억 내지 100억대로 비교적 작은 언어 모델을 소형 언어 모델이라고 업계에서 지칭하고 있습니다.
소형 언어 모델은 훈련하는 데 드는 데이터나 시간, 비용이 상대적으로 적고 다른 애플리케이션과 통합하기 쉽다는 장점이 있습니다.
구글의 ‘팜’은 슈퍼컴퓨터 두 대로 50일 이상 훈련했습니다. 오픈AI의 GPT-3는 훈련 비용이 1000만달러(약 132억원)가 든 것으로 알려져 있습니다. 이런 거대 모델을 훈련한 데이터셋도, 공개되진 않았지만 수십억개 단위의 크기였던 것으로 알려져 있죠.
반면에 스탠포드대학교 연구진이 개발한 매개변수 70억개의 소형 언어 모델 ‘알파카 7B’는 52000개의 데이터를 기반으로 클라우드 서비스에서 제공하는 컴퓨터 8대를 이용해 3시간만에 훈련을 끝냈습니다. 단돈 600달러(약 79만원)가 들었구요.
그런데도 성능은 실험 결과 GPT 시리즈와 비슷했다고 합니다. 이메일이나 소셜 미디어의 글 작성, 생산성 도구 등 다양한 분야에서 GPT와 비교해봤더니 알파카는 90개 항목에서, GPT는 89개 항목에서 성능이 상대보다 앞섰다고 합니다.
연구진은 “모델 크기와 훈련 데이터가 작은 데도 이런 결과가 나온 데 대해 우리도 무척 놀랐다”며 “알파카를 대화형으로 시험해 보니 종종 챗GPT와 비슷한 행태를 보였다”고 밝혔습니다.
물론 이처럼 작은 모델은 대형 모델에 비해 다양성이 떨어질 수 있고 성능을 비교 평가하는데 한계가 있을 수 있습니다.
그렇지만 ‘알파카 7B’는 누구나 싸고 쉽게, 쓸만한 언어 모델을 만들 수 있다는 가능성을 보여줘서 주목받았습니다. 이후에 데이터브릭스라는 기업이 비용 100달러로, 서버 1대에서 3시간을 훈련해 구축한 변수 60억개의 소형 언어 모델 ‘돌리’를 내놨습니다.
또 세레브라스가 매개변수 1억개부터 130억개 사이인 소형 언어모델 7종을 오픈소스로 공개했고, 갓잇AI는 클라우드를 이용하지 않는 온프레미스(사내구축)형 소형 언어 모델 '엘마'를 출시했습니다.
이런 소형 언어 모델은 기업 입장에서 싸고 빨리 만들 수 있는 데다가 보유한 데이터를 활용해 맞춤형으로 구축할 수 있기 때문에 앞으로 더욱 각광받을 것으로 예상됩니다. 기업들이 저마다의 언어모델을 갖는 시대가 올 수 있다는 전망까지 나오네요.
이어서 기술 동향 전해드립니다.
기술 동향
■ 챗GPT 같은 대형 언어 모델과 개별 기업의 애플리케이션을 쉽게 연결할 수 있도록 도와주는 클라우드 기반의 플랫폼 '픽시(Fixie)'가 출시됐습니다. 에이전트를 구축해 양쪽을 연결합니다.
■ 생성 AI로 회의 내용을 요약하고 공유해주는 도구들이 잇달아 출시되고 있습니다. 마이크로소프트(MS)와 구글에 이어 줌, 시스코가 이 대열에 합류했습니다. ‘리드’라는 스타트업이 1시간 회의를 2분 영상으로 요약하는 도구도 내놨습니다.
■ 지난해 인공지능(AI) 분야의 민간 투자가 10년 만에 처음 감소세를 기록했습니다. 918억6000만달러(약 120조8000억원)로 2021년 1253억6000만달러(약 164조8500억원)에 비해 27%나 감소했습니다. 경제 불확실성과 투자 조정 국면이 겹치면서 이런 추세가 나타난 것으로 분석됩니다.
■ 메타가 로봇에 눈을 달았습니다. 일상적인 작업을 수행하는 수천개의 비디오로 구성된 ‘에고4D(Ego4D)’ 데이터셋으로 훈련한 인공 시각 피질인 ‘VC-1’을 공개했는데, 사람의 개입 없이 카메라 입력을 인식해 작업을 수행할 수 있답니다.
이어서 업계 주요 동향 전해드립니다.
업계 동향
■ 이미지 생성기 '미드저니'의 무료 평가판 서비스가 일시 중단됐습니다. 최근 교황이나 도널드 트럼프 전 미국 대통령 등 유명인을 소재로 한 가짜 사진이 미드저니로 만들어져 논란이 빚어진 데 따른 것으로 추정됩니다.
■ 구글이 호텔을 검색하고 비행기 티켓을 예약하며 휴가 중에 할 일을 찾을 수 있도록 하는 AI 기반의 검색 기능을 도입했습니다. 검색 엔진을 온라인 쇼핑에 보다 적합한 도구로 만들려는 의도라고 합니다.
■ 이탈리아의 독립적인 개인정보보호 기구 가란테가 지난달 31일 “사용자 연령을 확인할 수 없어서 미성년자가 해로운 내용에 노출될 수 있다”는 등의 이유로 챗GPT 사용을 금지했습니다. 그런데 마테오 살비니 이탈리아 부총리는 이에 대해 “과도하다”고 비판해 논란이 벌어지고 있습니다.
■ '해리 포터 바이 발렌시아가'라는 54초짜리 영상이 온라인에서 인기를 끌었습니다. 패션쇼 영상에 등장하는 모델의 얼굴을 해리 포터나 헤르미온느 등 영화 속 인물로 합성했습니다.
정병일 위원 jbi@aitimes.com
