앤트로픽 CEO "아직 스케일링 법칙 유효...2~3년 뒤에는 초지능 등장할 것"

다리오 아모데이 앤트로픽 CEO가 최근 제기되는 '스케일링 법칙'의 한계 도달에 따른 대형언어모델(LLM)의 성장 정체에 대해 반대 입장을 밝혔다. 즉, 어떤 식으로든 LLM 성능이 지속 발전, 몇년 뒤에는 '초지능(Superintelligence)'이 등장할 것이라고 강조했다.

아모데이 CEO는 12일(현지시간) 유명 유튜버이자 기술 전문가인 렉스 프리드먼의 팟캐스트에 출연, 5시간에 걸쳐 초지능과 앤트로픽의 개발 상황 등에 대한 이야기를 나눴다.

그중 가장 눈길을 끈 것은 LLM 성능 향상 한계에 대한 부분이다. 이는 최근 오픈AI와 구글 등이 공통으로 지적하는 내용으로, 더 많은 컴퓨팅 인프라와 데이터를 투입하면 사전 훈련(pre-train)으로 LLM 성능을 일정 수준 끌어올릴 수 있다는 것이 한계를 맞았다는 내용이다. 이 때문에 오픈AI나 구글 등은 사후 훈련(post-training) 비중을 높여, 추론 기능을 강화하고 지도학습 등으로 성능 향상을 꾀하는 것으로 알려졌다.

그러나 아모데이 CEO는 여전히 모델을 확장하는 것이 더 유능한 AI로 가는 경로라고 주장했다. 그는 "앞으로 몇 년이 지난 10년과 같을 것이라고 말할 수 있는 귀납적 추론 외에는 딱히 근거를 댈 수 있는 것은 아니다"라며 "아마도 확장은 계속될 것이고, 우리가 아직 이론적으로 설명하지 못한 마법 같은 것이 있을 것"이라고 말했다.

하지만 그 역시 추론 강화와 사후 훈련을 좋은 방법으로 꼽았다. 또 "스케일링 가설은 빅 네트워크와 관련이 있는 것 같다. 빅 데이터가 지능으로 이어진다"라며 "우리는 언어 이외의 많은 영역에서 확장 법칙을 문서화했다"라고 밝혔다. 이는 이미지와 동영상 등으로 학습하는 일종의 '세계 모델(LWM)'에 대한 이야기다. 

비록 성능 향상 폭이 줄어들어도, 사전 학습 강화를 위한 인프라 투자는 계속될 것으로 봤다. 내년에는 모델 훈련을 위한 클러스터 구축에 수십억달러를, 2027년까지는 수천억달러를 지출할 것으로 예상했다.

그리고 앤트로픽의 장점인 모델 정렬이 매우 어렵다고도 털어 놓았다.

그는 "모델을 제어하는 ​​것은 정말 어렵다. 특히 모델의 행동을 일광성 있게 조종하는 것은 정말 어렵다"라며 "이는 '두더쥐 잡기' 게임과 비슷해서 하나를 때려 넣으면 다른 곳이 튀어나오며, 이를 눈치채지 못하고 지나가는 경우도 많다"라고 말했다.

그런데도 앤트로픽이나 다른 회사가 2026년 또는 2027년까지 초지능을 만들어낼 것으로 예상했다. "초지능이 등장하지 않을 거라는 이유나 논리를 찾아내기 점점 더 어려워지고 있다"라는 말이다.

하지만 진심으로 걱정하는 것은 초지능의 등장 여부가 아니라, 이로 인해 벌어질 현상에 관한 것이라고 밝혔다. 

"초지능의 등장으로 인해 경제와 권력이 특정 기업에 집중될 수 있다는 점이 걱정"이라며 "진짜 문제는 이를 통한 권력 남용"이라고 말했다.

임대준 기자 ydj@aitimes.com