비디오 생성이 인공지능(AI) 칩 시장의 95%를 점유하고 있는 엔비디아 GPU의 약점으로 지목됐다. 비디오 처리에 비효율적이라는 말인데, 그럼에도 현존 AI 칩 중에서는 가장 성능이 뛰어나다는 게 문제다.
디 인포메이션은 6일(현지시간) 엔비디아의 최첨단 GPU인 'H100'가 모델을 훈련하는 데 필요한 엄청난 양의 비디오 데이터를 처리할 만큼 메모리가 충분하지 않다고 지적했다.
비디오 생성 스타트업 루마 AI의 공동 설립자인 아밋 제인 CEO는 "비디오 생성 모델의 훈련 데이터는 언어 전용 모델의 몇백 테라바이트(TB)를 넘어, 페타바이트(PB) 단위로 쉽게 확장될 수 있다"라고 말했다. 1PB는 1000TB, 약 50만 시간의 비디오에 해당한다.
또 “GPU 간 데이터 전송 속도가 충분히 빠르지 않은 것도 비디오 생성에 병목 현상을 일으킨다”라고 지적했다. 이는 비디오 데이터가 언어 데이터나 이미지 데이터보다 훨씬 크기 때문에 칩 간에 빠르게 전송할 수 있는 것이 중요하기 때문이다.
이것들은 사소한 문제가 아니다. GPU로 비디오 생성 모델을 훈련하고 실행하는 데 따른 어려움은 AI 비디오 시장의 발전을 지연시켰을 가능성이 크다. 오픈AI가 '소라(Sora)'를 6개월 전에 선보이고도, 아직 공개 출시하지 못하는 것에는 이런 문제도 한몫했을 것이라는 추측이다.
실제로 루마는 지난 6월 '드림 머신'을 출시한 직후, 사용자 급증에 따른 시스템이 과부하로 웹사이트가 하루 종일 다운됐다. 이로 인해 3~4개의 다른 제공업체로부터 며칠 동안 수천개의 GPU를 수급한 것으로 알려졌다.
이런 제한 사항에도 불구하고, 아직 비디오 모델 훈련에는 엔비디아 GPU가 최고 옵션이다. 그래서 비디오 생성 회사들은 엔비디아의 차세대 AI 칩인 '블랙웰'을 테스트해보기를 기대하고 있다. 이 칩의 훨씬 더 큰 메모리가 비디오 생성 모델 훈련과 관련된 일부 문제를 해결할 수 있을 것으로 예상하고 있다.
그러나 비디오 모델은 AMD와 같은 경쟁사에게도 기회가 될 수 있다는 분석이다.
AMD의 'MI300X' 칩은 엔비디아의 H100보다 두배 이상의 메모리를 가지고 있다. 또 급성장하는 비디오 생성 시장에서 일찍 개발자들과 협력할 기회를 가질 수 있다. 제인 CEO는 “특히 모델을 실행하는 추론 과정에서 개발자들이 엔비디아가 아닌 GPU를 사용할 수 있는 유연성이 더 많다”라고 말했다.
AMD가 이 시장에서 진출할 가능성은 엔비디아의 블랙웰 칩 출시 지연으로 인해 더 커질 수 있다. 원래 올해 초 출시될 예정이었던 블랙웰 칩은 설계 결함으로 인해 3개월 이상 지연될 가능성이 있다.
박찬 기자 cpark@aitimes.com
