구글이 최고 사양의 엔비디아 ‘블랙웰’ AI GPU 기반 'NVL72 클러스터'를 구글 클라우드 서비스로 선보였다. 이는 지난 1월 마이크로소프트(MS)가 엔비디아 NVL72 클러스터를 애저 클라우드 서비스로 출시한 데 이어 두번째 사례다.
구글 클라우드는 20일(현지시간) 엔비디아 'GB200' 기반 NVL72 클러스터를 활용한 'A4X 가상 머신(VM)'을 미리보기로 출시했다고 발표다.
A4X VM은 72개의 B200 블랙웰 GPU와 36개의 그레이스 CPU로 구성됐으며, 대규모 AI 워크로드를 수행할 수 있도록 설계됐다. 특히 긴 컨텍스트 윈도우를 지원하는 대형언어모델(LLM)과 추론 모델, 그리고 높은 동시 실행이 요구되는 환경에서 최적의 성능을 발휘하도록 최적화됐다는 설명이다.
이 시스템은 'NV링크(NVLink)' 기술을 활용해 72개의 GPU 간 메모리를 원활하게 공유할 수 있어 응답 속도와 추론 정확도를 높인다. 또 동시 추론 요청을 처리할 수 있는 기능을 갖추고 있어 멀티모달 AI 애플리케이션에도 적합하다고 전했다.
성능 면에서 A4X VM은 이전 세대인 'H100' GPU 기반 'A3 VM'보다 4배 높은 훈련 효율을 제공하는 것으로 평가된다. 구글은 GB200 NVL72 시스템 한대가 1엑사플롭스(ExaFLOPS)가 넘는 연산 성능을 제공할 수 있으며, FP8/INT8/FP6 기준으로 최대 1440 페타플롭스(PFLOPS)의 성능을 발휘한다고 밝혔다. 이를 통해 대규모 AI 모델의 훈련과 추론을 동시에 수행하는 것이 가능해진다고 소개했다.
동시에 일반적인 AI 훈련 및 개발을 위한 'A4 VM'도 제공한다. 이는 B200 GPU와 아직 공개되지 않은 프로세서를 사용하며, 일반적인 AI 훈련 및 미세조정에 적합하다.
아직 A4X 및 A4의 가격 정보는 공개되지 않았다.
한편, 구글은 자체적으로 개발한 AI 칩인 텐서처리장치(TPU)를 구글 클라우드에서 독점적으로 사용하고 있다. 이를 통해 엔비디아 GPU에 대한 의존도를 낮추는 동시에 AI 연산 비용을 절감하는 효과를 누리고 있다.
박찬 기자 cpark@aitimes.com
