메타 AI, 클라우드 공급자로 마이크로소프트 애저 선택

메타(Meta)는 AI 연구 및 개발을 위해 마이크로소프트 애저(Azure)를 전략적 클라우드 공급자로 선택했다. 메타(Meta)와 마이크로소프트(Microsoft)는 지속적으로 AI 파트너십을 확대하고 있으며 이번 소식은 마이크로소프트 빌드 2022(Microsoft Build 2022) 개발자 컨퍼런스에서 발표됐다.

마이크로소프트와 메타는 개발자가 서로 다른 AI 프레임워크 간에 딥러닝(deep learning) 모델을 이동하기 위한 ONNX(Open Neural Network Exchange)를 2017년에 발표하고 ONNX 형식의 모델에 대한 추론 엔진인 ONNX 런타임을 2018년에 오픈 소스화한 바 있다. 메타와 마이크로소프트는 AI 분야에서 긴밀하게 협력해왔으며 이러한 협력의 일환으로 메타는 애저의 슈퍼컴퓨팅 성능 사용을 확대해 AI 연구 및 개발을 가속화할 계획이다.

메타는 대규모 AI 연구 워크로드 중 일부를 위해 애저의 최신 가상 머신(VM) 시리즈(NVIDIA A100 Tensor Core 80GB GPU를 특징으로 하는 NDm A100 v4 시리즈)를 사용하는 5400 GPU의 전용 애저 클러스터를 활용할 것이다. 지난해 메타는 대규모 AI 연구, 특히 분산형 AI 학습에 애저 VM을 사용하기 시작했다. 

다른 퍼블릭 클라우드 제품에 비해 VM 간의 GPU-GPU 대역폭이 4배인 애저 플랫폼은 더 빠른 분산 AI 학습을 가능하게 한다. 예를 들어 메타는 최근 이를 사용해 OPT-175B 언어 모델을 학습하기도 했다. 애저의 NDm A100 v4 VM 시리즈는 또한 몇 개의 GPU에서 수천 개에 이르는 모든 크기의 클러스터를 자동으로 동적 구성할 수 있는 유연성과 실험 중에 일시 중지 및 재개할 수 있는 기능을 제공한다.

이제 메타 AI 팀은 사용량을 확장하고 더 많은 첨단 기계 학습 워크로드를 애저로 가져와 선도적인 AI 연구를 더욱 발전시킬 수 있게 된다. 메타의 AI 부사장 제롬 페센티(Jerome Pesenti)는 성명을 통해 “애저의 컴퓨팅 성능과 VM당 1.6TB/s의 상호 연결 대역폭을 통해 우리는 더 크고 혁신적인 AI 모델을 더 잘 수용하기 위해 계속 증가하는 학습 수요를 가속화할 수 있다”고 말했다.

또한 메타와 마이크로소프트는 애저에서 파이토치(PyTorch) 딥러닝 프레임워크 채택을 확장하고 실험에서 프로덕션까지 개발자의 여정을 가속화하기 위해 협력할 계획이다. 애저는 고성능 하드웨어(NDv4 및 Infiniband)를 사용해 파이토치 사용자를 위한 포괄적인 하향식 스택을 제공한다. 마이크로소프트는 올해 말 새로운 파이토치 개발 가속기를 구축해 애저에서 파이토치 기반 솔루션의 신속한 배포를 촉진할 것이다. 마이크로소프트는 또한 파이토치에 대한 엔터프라이즈급 지원을 계속 제공해 고객과 파트너가 클라우드와 에지 모두에서 파이토치 모델을 프로덕션에 적용할 수 있도록 할 방침이다.

AI타임스 박찬 위원 cpark@aitimes.com

[관련기사]AI와 클라우드컴퓨팅 확산되지만 더딘 생산성 회복

[관련기사]MS, 개발자 위한 AI 도구 대거 공개..."개발에만 집중하는 환경 만들 것"