마이크로소프트(MS)가 애저 클라우드 서비스에 엔비디아의 최신 'H100'을 도입했다. 서비스용으로 H100 인프라를 공급하는 것은 처음이다.
MS는 엔비디아 A100 GPU 기반의 인공지능(AI)용 가상머신(VM) ‘ND A100 v4’에 이어 최신 H100 GPU 기반의 ‘ND H100 v5’ 가상머신을 공식 출시했다고 7일(현지시간) 애저 블로그를 통해 밝혔다.
이번 서비스는 대형언어모델(LLM)을 훈련하고 실행하는 데 필요한 대규모 컴퓨팅 인프라를 제공한다. ND H100 v5 VM은 지금까지 등장한 컴퓨팅 인프라 중 가장 강력한 것으로 꼽힌다. 현재는 미국 동부 및 미국 중남부 지역에서 사용할 수 있다.
ND H100 v5 VM의 기본 성능은 4세대 인텔 제온 프로세서 기반 사파이어 래피즈이며, 엔비디아 H100 GPU 8개와 16채널 4800MHz DDR5 DIM 등으로 구성했다.
대규모 AI 개발을 위해 모든 컴퓨팅 파워를 옵션을 통해 조절할 수 있다는 점이 특징이다. 특히 GPU는 엔비디아의 퀀텀2 인피니밴드를 이용해 기본 8개에서 최대 수십만개까지 확장 가능하다.
GPU 간 초당 400기가비트, VM간 초당 3.2테라비트의 대역폭을 갖춘 엔비디아의 퀀텀2 인피니밴드를 통해 GPU 전체에서 전세계적으로 최고 성능을 보장한다. 더불어 PCIe Gen5를 통합해 GPU당 초당 64기가바이트의 대역폭을 제공하고 DDR5 메모리를 통합해 가장 큰 AI 훈련 데이터 세트를 처리할 수 있도록 더 빠른 데이터 전송 속도를 지원한다.
MS는 ND H100 v5 VM가 BLOOM 175B 종단 간 모델 추론과 같은 LLM에서 행렬 곱셈 연산 속도가 6배 빨라지고 최대 2배 더 빠른 추론 속도를 기록했다고 주장했다. 또 클라우드 환경에서 엑사스케일의 슈퍼컴퓨팅을 클라우드 환경에 구축하고 생성 AI나 LLM 등을 개발할 수 있다고 설명했다.
신규 서비스 외에도 오픈AI의 GPT-4 및 GPT-35-터보를 제공하는 애저 오픈AI 서비스의 확대를 발표했다. 애저 오픈AI 서비스는 원래 미국 동부, 프랑스 중부, 미국 중남부 및 서유럽 지역에서만 제공했지만, 이제는 캐나다 동부, 미국 동부 2, 일본 동부 및 영국 남부 지역에서도 액세스할 수 있다.
MS는 애저 오픈AI 서비스를 이미 1만1000개 이상의 기업이 사용하고 있으며 매일 약 100명의 신규 사용자로 추가중이라고 밝혔다.
니디 샤펠 MS 애저 총괄 책임자는 "이번 확장으로 우리는 새로운 지역에서 가장 진보한 생성 AI 모델인 GPT-4의 가용성을 높이고 있다"라며 "향상된 기능을 통해 더 많은 기업이 콘텐츠 생성, 문서 인텔리전스, 고객 서비스 등을 위해 GPT-4의 기능을 활용할 수 있다"고 말했다.
박찬 기자 cpark@aitimes.com
