메타가 차세대 인공지능(AI) 애플리케이션을 지원하는 자체 인프라를 구축한다.
이를 위해 AI칩 개발과 슈퍼컴퓨터 및 데이터 센터 구축 등을 비롯한 일련의 하드웨어 및 소프트웨어 프로젝트를 내놓았다.
마이크로소프트(MS)와 구글의 뒤를 이어 메타도 메타버스 외에 AI 개발에 주력하고 있다는 점을 보여주기 위한 행보로 보인다.
테크크런치는 18일(현지시간) 메타가 ‘AI 인프라 스케일 2023(AI Infra @Scale)’이라는 온라인 이벤트에서 AI 워크로드와 비디오 처리 작업을 위한 칩 개발, 새로운 AI 최적화 데이터 센터 설계 및 AI 연구를 위한 새로운 슈퍼컴퓨터 구축에 대한 자체 개발 프로젝트를 공개했다고 보도했다.
메타가 이같은 계획을 구체적으로 공개한 것은 이번이 처음이다.
메타는 우선 AI 작업을 지원하는 'MTIA(Meta Training and Inference Accelerator)'와 적은 에너지로 비디오를 전송하는 'MSVP(Meta Scalable Video Processor)' 2종의 AI칩을 공개했다.
MTIA는 메타의 자체 AI 소프트웨어를 구동하기 위해 설계된 맞춤형 프로세서다. 이미 훈련된 AI 모델이 예측하거나 행동을 취할 때 추론을 지원한다.
이 칩은 소셜미디어 이용자에게 콘텐츠와 광고 표시에 이용되는 메타의 추천 알고리즘을 강화하는 데 이용할 예정이다.
메타는 당초 AI 추론 작업에 그래픽처리장치(GPU)를 이용하려 했다. 하지만 해당 작업에 적합하지 않은 것으로 판단해 MTIA를 설계했다고 설명했다.
MSVP는 에너지 소모량을 줄이면서 비디오를 대량으로 처리하는데 최적화 한 프로세서다. 하루에 40억개의 비디오를 처리하는 작업을 수행하도록 설계했다. 페이스북이나 인스타그램에 동영상을 게재할 때 활용할 예정이다.
이와 관련 메타측은 하루에 40억개의 비디오를 메타가 원하는 만큼 효율적으로 처리해 전달할 수 있는 반도체 칩을 시중에서는 구할 수 없어 직접 개발하기로 했다고 배경을 소개했다.
메타는 이들 칩을 메타가 자체 개발한 AI 프레임워크인 ‘파이토치(Pytorch’에 접목해 메타버스와 생성 AI 관련 작업에 활용할 계획이다. 대만 TSMC에서 7나노미터 공정으로 제조한다.
메타는 훈련 및 추론 워크로드 모두를 위한 차세대 AI 하드웨어를 지원하기 위해 특별히 설계한 새로운 데이터센터도 준비하고 있다고 밝혔다.
새로운 데이터 센터는 수냉식 AI 하드웨어와 수천 개의 MTIA 칩을 연결하는 고성능 네트워크 설계를 기반으로 한다.
산토시 야나르단 메타 인프라 부사장은 "핵심 아이디어는 데이터 센터 규모의 AI 훈련 클러스터를 구축하는 것”이라고 말했다.
또 챗GPT를 구동하는 것과 유사한 기술인 대규모 언어 모델을 훈련하기 위한 AI 슈퍼컴퓨터인 '리서치 슈퍼클러스터(RSC)' 2단계 구축계획도 공개했다.
새로운 RSC는 1만6000개의 엔비디아 A100 GPU와 엔비디아 퀀텀인피니밴드 16Tbps 인터커넥트로 구성한다. 대규모 언어 모델과 자연어 AI 번역 시스템을 훈련하는데 사용할 예정이다. 컴퓨팅 파워는 5엑사플롭스(EF) 규모다.
엔지니어의 코드 작성에 도움을 주는 생성 AI 기반의 코드 작성 보조도구 '코드컴포즈'도 함께 공개했다. 코드컴포즈는 오픈소스로 공개할 예정이다.
박찬 기자 cpark@aitimes.com
