나델라·벤지오 "테스트-타임 컴퓨트가 새로운 AI의 스케일링 법칙"

사티아 나델라 마이크로스프트(MS) CEO와 딥러닝의 대가 요슈아 벤지오 몬트리올대학교 교수가 나란히 추론 중심의 '테스트-타임 컴퓨트'가 새로운 확장의 법칙이 될 것이라고 밝혔다. 지난 10년간 인공지능(AI) 발전의 근간이었던 '스케일링 법칙'이 한계에 달하며 AI 발전 속도가 느려질 것이라는 것을 부정한 것이다.

나델라 CEO는 18일(현지시간) 미국 시카고에서 열린 '이그나이트 2024(Ignite 2024)' 기조연설에 등장, AI는 6개월마다 2배씩 발전할 것이라고 말했다.

그는 18개월마다 컴퓨팅 성능이 두배씩 늘어난다는 '무어의 법칙'을 언급하며, AI는 그보다 빠른 6개월마다 성능이 두배로 늘어날 것이라고 밝혔다.

이어 지난 몇주 동안 AI 성능이 벽에 부딪혔다는 논쟁이 일어났다고 전하며, "이는 물리적 법칙이 아니며 단지 경험적의 관찰"이라고 지적했다. 또 중요한 것은 모델 아키텍처는 물론 데이터와 시스템 등 모든 분야에서 혁신이 일어나고 있다는 것이라고 말했다.

나아가 "새로운 확장 법칙이 등장하는 것을 목격하고 있다"라며 "이는 오픈AI가 테스트-타임 컴퓨트, 또는 추론으로 불리는 기술로 AI를 어떻게 개선했는지에서 확인할 수 있다"라고 전했다.

벤지오 교수도 같은 날 파이낸셜 타임스의 칼럼을 통해 오픈AI의 'o1'을 "스케일링의 새로운 형태(new form of computational scaling)"라고 소개했다.

그는 대형언어모델(LLM)에는 '사고의 사슬(CoT)' 등 몇가지 발전이 있었으며, 오픈AI의 o 시리즈가 이를 더 발전시켰다고 설명했다. 

이어 "따라서 우리는 새로운 형태의 계산적 스케일링이 나타나는 것을 보고 있다"라며 "더 많은 훈련 데이터와 더 큰 모델뿐만 아니라 답변에 대해 생각하는 데 더 많은 시간을 할애, 수학과 컴퓨터 과학 및 과학과 같은 추론 중심 작업에서 상당히 향상된 역량으로 이어질 것"이라고 말했다.

추론 능력 향상이 향후 LLM 개발의 핵심이 될 것이라는 말은 계속 등장했다. 특히 샘 알트먼 오픈AI CEO는 지난해 11월 o1의 바탕이 된 '큐스타(Q*)'에 대해 "인공일반지능(AGI)의 돌파구를 찾았다"라고 강조한 바 있다. 또 o1 출시 이후 구글이나 앤트로픽도 추론 기능을 개발 중이라는 말이 나왔다.

그러나 오픈AI가 사전 훈련(pre-training)으로 큰 모델 향상을 이루지 못했고 이어 구글과 앤트로픽도 비슷한 문제를 겪는다는 말이 등장하며, 추론 기능 향상은 이를 해결할 '새로운 스케일링 법칙'으로 중요성이 강조되고 있다.

더불어 현재 AI 기술이 애플리케이션에 제대로 적용되지 않았으며, 모델 개선보다 최적화된 애플리케이션을 개발하는 것만으로도 엄청난 발전을 이룰 수 있다는 지적도 이어졌다.

아니니 미드하 앤드리슨 호로비츠 파트너는 "순수한 애플리케이션 수준 작업만으로도 모델 성능이 최소 10~20배 향상할 것이라고 확신한다"라고 말했다. "지능적인 프롬프트, 최적화된 UX, 정확한 타이밍에 모델에 컨텍스트를 전달해 AI가 빛을 발할 수 있도록 하는 것만으로도 충분하다"라는 설명이다.

AI 모델이 가진 능력을 애플리케이션 형태로 100% 전달하지 못한다는 지적은 이전에도 등장했다. UI 측면에서도 현재 일반적인 형태인 챗봇이 정답인지에 대해서는 의문이며, 챗봇과 소통하는 경우에는 음성과 텍스트가 엄청난 차이를 보인다는 지적도 나왔다.

이처럼 현재 LLM의 능력을 제대로만 활용해도 체감할 수 있는 성능이 크게 늘어날 것이라는 것이 마드하 파트너의 말이다.

알트먼 CEO가 최근 레딧 사용자들과의 채팅에서 "현재의 장비만으로도 AGI를 달성할 수 있다"라며 "다음에 큰 돌파구를 마련할 것 같은 것은 에이전트라고 생각한다"라고 답한 것이 이에 해당한다.

즉, 에이전트는 기존 모델의 성능만으로 사용자와 상호작용하는 방식을 완전히 바꾸고 모델의 성능을 극대화할 수 있기 때문이다.  

나델라 CEO도 이그나이트에서 "코파일럿은 AI의 UI가 될 것"이라고 밝혔다.

임대준 기자 ydj@aitimes.com