엔비디아가 연내에 H100 GPU 55만개를 공급할 것으로 알려졌다. 이것으로 생성 AI 개발 붐으로 품귀 현상을 빚고 있는 GPU의 공급 부족 문제가 어느 정도 해소될 수 있을 전망이다.
파이낸셜타임스(FT)는 14일(현지시간) 엔비디아가 2023년에 TSMC에서 생산한 H100 GPU 55만개를 출하할 예정이라고 내부 사정에 정통한 소식통을 인용해 보도했다.
이에 따르면 출하된 칩의 대부분은 미국 기술 회사에 공급될 것으로 알려졌다. 엔비디아는 이에 대해 논평을 거부했다.
출시할 GPU의 정확한 사양은 알 수 없지만, 엔비디아 H100 80GB HBM2E 컴퓨팅 GPU 카드는 미국에서 약 3만달러(약 4000만원)에 팔리고 있다. 1만4592 쿠다 코어를 탑재하고 FP16dptj 1513테라플롭의 성능을 제공하는 최고 성능의 GPU로, 이 가격은 사실상 가장 저렴한 수준이다. 중국에서는 7만달러 수준에 거래되는 실정이다.
엔비디아 H100 기반 제품에는 1만6896개의 쿠다 코어로 FP16에서 1979테라플롭 성능을 제공하는 H100 SXM 80GB HBM3과 H100 NVL 188G HBM3 듀얼 카드 솔루션이 포함된다. 이러한 제품은 폭스콘이나 콴타 같은 서버 업체에서 판매하거나 엔비디아가 직접 판매하는 서버 내부에 공급한다.
또 엔비디아는 72코어 그레이스 CPU와 H100 80GB HBM3E 컴퓨팅 GPU로 구성된 GH200 그레이스 호퍼 플랫폼 출시도 앞두고 있다. 내년 2분기쯤 양산에 들어갈 것으로 알려졌다.
엔비디아는 H100 SXM, H100 NVL 및 GH200 그레이스 호퍼 제품의 가격을 공개하지 않고 있다. 엔비디아와 특정 고객 간의 거래량과 비즈니스 관계에 따라 가격이 달라지기 때문이다.
하지만 H100 기반 제품을 최저가인 3만달러에 판매하더라도 GPU에서만 올해 165억달러(약 22조원)를 더 벌어들이게 된다. 이전 세대 'A100' GPU도 여전히 판매 중이며, 중국 전용 'A800'과 'H800' 모델로 올해 이미 10억달러(약 1조3000억원)를 확보했다는 소식도 전해졌다.
또 이런 GPU 수요는 글로벌하게 발생하는 것으로 알려졌다. 사우디아라비아와 아랍에미리트(UAE)가 자체 대형언어모델(LLM) 모델 개발을 위해 엔비디아의 고성능 반도체를 대량 매입하고 있는 것으로 전해졌다.
FT에 따르면 사우디가 주문한 H100은 최소 3000개에 달한다. 개당 가격이 4만달러(약 5300만원)에 이르는 이 칩은 사우디 킹압둘과학공대(카우스트)를 위해 주문한 것으로 올해 말까지 3000개 H100 반도체를 인도받을 계획이다. 총주문액은 1억2000만달러(약 1605억원) 규모다.
UAE도 오픈소스 LLM인 '팰컨 AI'를 위해 엔비디아 칩을 수천개를 확보한 것으로 알려졌다.
따라서 엔비디아가 엄청난 수익을 올릴 것이라는 예측이 나오고 있다.
엔비디아의 데이터 센터 사업은 2024년 회계연도 1분기에 42억8400만달러(약 5조7000억원)를 기록했다. AI 열풍을 감안하면 2분기 수익이 더 높을 것으로 예상된다.
FT는 내년으로 넘어가도 신기록 경신이 계속될 것이 확실시된다고 분석했다.
"엔비디아의 파트너 TSMC가 CoWoS 패키징 용량을 늘리기 위해 시설을 확충하고 있다"며 "엔비디아가 지배하는 AI 및 고성능 컴퓨팅(HPC)을 위한 컴퓨팅 GPU 부족은 주로 TSMC의 제한된 CoWoS 패키징 생산 능력에 기인하기 때문"이라고 설명했다.
박찬 기자 cpark@aitimes.com
