[11월4주] '스케일링 한계'로 피해 볼 1순위는 엔비디아...이에 대한 대응은 < 뉴스 브리핑 < 포커스 < 기사본문

이번 주에도 미국에서는 스케일링 법칙(Scaling Laws)의 한계 문제로 이야기가 끊이지 않았습니다. 며칠 전에는 사티아 나델라 마이크로소프트 CEO와 요수아 벤지오 몬트리올대학교 교수도 한마디씩 했습니다. 그들은 추론이 '새로운 스케일링의 법칙'이라고 강조했습니다.

그런데 사실 이 문제로 가장 고민이 될 사람은 따로 있습니다. 바로 젠슨 황 엔비디아 CEO입니다.

스케일링 법칙이 한계를 맞았다는 것은 GPU가 앞으로 더 팔리지 않는다는 것을 의미할 수 있기 때문입니다.

현재는 더 많은 GPU를 투입하고 더 많은 데이터를 공급해 사전 훈련(pre-training)에서 인공지능(AI) 모델 성능을 높이는 것이 일반적입니다. 지금까지 10년 동안 모델은 이런 식으로 발전했습니다.

하지만 이런 스케일링 법칙이 벽에 막힌다면, 앞으로는 더 많은 GPU를 투입할 필요가 없어집니다. GPU 판매의 대부분은 모델 개발을 지원하는 클라우드 사업자들에게서 발생합니다.

또 대안으로 등장한 '테스트-타임 컴퓨트'는 GPU나 데이터가 필요한 훈련이 아니라, 모델에게 생각할 시간을 더 주는 추론에 초점을 맞춘 기술입니다.

GPU도 추론 기능을 처리하지만, 다른 칩에 비해 가격이 엄청나게 비쌉니다. 세레브라스나 그로크 등 추론 전문 칩을 제작하는 스타트업은 훨씬 저렴한 가격에 GPU보다 수십배 빠른 추론 속도를 제공하고 있습니다.

엔비디아는 지난 19일 3분기 실적 발표를 진행했습니다. 기술에 이해가 있는 투자자라면 당연히 이 문제에 대해 어떻게 대응할 것인지를 물어봐야 했는데, 매체들의 관심은 최근 발생한 '블랙웰'의 발열 문제나 매출에만 맞춰졌습니다.

결국 하루가 지난 뒤 관련 소식이 등장했습니다. 테크크런치 20일 보도에 따르면 컨퍼런스 콜 도중 이 문제에 대한 질문이 나왔다고 합니다. 황 CEO도 신경을 많이 쓴 듯한 답변을 내놓았습니다.

그 역시 오픈AI의 'o1'과 테스트 타임 컴퓨트를 "가장 흥미로운 개발 중 하나"이며 "새로운 스케일링 법칙"이라고 불렸습니다. 그리고 이는 엔비디아의 사업에서 앞으로 더 큰 역할을 할 수 있다고 대응했습니다.

하지만 더 중요한 것은 아직도 모델 개발자들은 사전 훈련에 더 많은 컴퓨팅과 데이터를 추가하고 있다고 밝힌 점입니다. "파운데이션 모델 사전 훈련 스케일링은 온전하며 계속되고 있다"라는 말입니다.

이어 "아시다시피 이것은 근본적인 물리 법칙이 아니라 경험적 법칙이지만, 증거에 따르면 스케일링이 계속되고 있다"라며 "그러나 우리가 배우고 있는 것은 그것(사전 훈련)만으로는 충분하지 않다는 것"이라고 덧붙였습니다.

이는 다리오 아모데이 앤트로픽 CEO가 최근 컨퍼런스에서 한 말과 일치합니다. 오픈AI나 구글은 현재 GPU를 추가하는 것만으로는 성능 향상을 크게 못 느낄지 모르지만, 이는 개별적인 경험일 뿐이며 앤트로픽은 아직 그 점을 못 느끼겠다고 밝혔습니다.

또 모델 성능이 지체되는 것을 컴퓨팅 추가의 한계만으로 단정할 수도 없다는 것입니다. 여기에는 모델 아키텍처의 문제도 있을 수 있고, 데이터의 한계일 수도 있으며, 이 모든 것이 합쳐진 결과일 수도 있다는 말입니다.

게다가 현재는 GPU 10만개를 투입한 콜로서스가 가장 큰 슈퍼컴퓨팅 클러스트인데, 만약 20만개를 투입할 경우나 또는 '블랙웰'이나 향후 등장할 '루빈'을 투입할 경우 성능이 어떻게 될지는 모른다는 것입니다. 이런 점을 '경험적 법칙'이라고 칭한 것입니다.

사실 GPU 투입량과 모델 성능의 상관관계가 밝혀진 것은 아닙니다. 그래서 황 CEO는 AI 개발사들이 앞으로도 최대한 많은 GPU를 투입할 것으로 본 것입니다.

그리고 추론의 경우에도 다른 회사의 칩이 더 저렴할 수는 있지만, '쿠다(CUDA)'나 관련 솔루션 등을 감안하면 엔비디아에서 벗어나기는 어려울 것으로 보고 있는 것입니다.

그는 이를 "모두가 쿠다와 엔비디아 아키텍처를 기반으로 하면 더 빨리 혁신할 수 있다는 것을 알고 있으며, 모든 것이 작동해야 한다는 것을 알고 있다"라는 말로 표현했습니다.

이처럼 스케일링 법칙의 한계라는 것은 기술인들의 문제 이상이 돼가고 있습니다. 엔비디아가 시가총액 1위 기업이 된 것이 대표적인 예입니다.

그런데 만약 AI의 성장이 한계에 부딪혔고 이로 인해 엔비디아가 부진할 것이라는 이야기가 공식화되면, 어떤 일이 생길지는 뻔합니다. 며칠 전 유럽 중앙은행이 경고했듯 글로벌 스필오버가 벌어질 수 있습니다.

황 CEO도 이런 말을 남겼습니다. "우리의 희망과 꿈은 언젠가 세상이 엄청난 추론을 하는 것으로, 그때가 AI가 진정으로 성공하는 때"라는 것입니다. 스케일링 한계가 오든 추론이 중심이 되든, 엔비디아 외에 당장 대안이 있는 것은 아닌 것도 사실입니다.

이어 지난주 주요 이슈입니다.

챗GPT를 삼성의 기기에 통합하려는 협상이 진행 중인 것으로 알려졌습니다. 시리에 챗GPT를 탑재한 것과 비슷하다는 설명입니다. 구체적인 내용은 없지만, 내년 출시될 갤럭시 S25에 챗GPT가 기본 탑재될 가능성이 점쳐집니다.

AI 챗봇이 일생의 대화를 모두 기억하고 이에 맞춰 학습이나 건강, 일상의 모든 것들을 도와주는 동반자 역할을 할 것이라는 예측이 나왔습니다. 당장 내년에 MS가 이런 챗봇을 내놓을 것으로 보입니다.

트럼프 당선 이후 머스크 CEO에 대한 이야기가 끊이지 않고 있습니다. 이번에는 피차이 구글 CEO와 트럼프의 통화 도중 불쑥 끼어들었다고 합니다. 한마디로 '니가 왜 거기서 나와' 상황입니다.

AI타임스 news@aitimes.com