1350만 코어 AI 슈퍼컴퓨터 ‘안드로메다’ 공개
미국의 스타트업 세레브라스(Cerebras Systems)가 딥 러닝을 위한 1350만개의 코어 ‘안드로메다(Andromeda)’ AI 슈퍼컴퓨터를 공개했다고 로이터통신이 14일(현지시간) 보도했다.
세레브라스는 AI 소프트웨어를 실행하도록 특별히 설계된 WSE-2라는 칩을 판매한다. 세레브라스가 선보인 새로운 안드로메다 슈퍼컴퓨터는 WSE-2 칩을 기반으로 한다.
전통적으로 수백 또는 수천 개의 컴퓨터 칩은 웨이퍼라고 하는 12인치(30cm) 실리콘 디스크에서 제조되며 나중에 개별 칩으로 쪼개서(slicing) 패키징 되지만, 세레브라스의 WSE-2는 하나의 웨이퍼를 구성하는 칩을 쪼개지 않고 전체 웨이퍼를 사용해 인간 뇌의 뉴런 수보다 많은 120조 개의 매개변수를 가진 신경망 모델을 처리하는 세계에서 가장 큰 AI 프로세서다. 가장 큰 GPU보다 56배 더 크고, 2조 6000억 개의 트랜지스터와 85만개의 컴퓨팅 코어가 있다.
세레브라스에 따르면 안드로메다는 AI 애플리케이션을 실행할 때 1엑사플롭(Exaflop) 이상의 성능을 제공할 수 있다. 1엑사플롭은 초당 100만조 계산과 같다. 안드로메다의 성능은 텍스트 번역 및 소프트웨어 코드 생성과 같은 작업을 수행할 수 있는 복잡한 신경망인 대규모 언어 모델 교육에 적합하다.
세레브라스는 WSE-2를 CS-2라는 데이터 센터 기기의 일부로 판매합니다. CS-2 시스템에는 냉각 장비, 네트워킹 하드웨어 및 칩을 사용하기 쉽게 만드는 기타 지원 구성 요소와 함께 단일 WSE-2 칩이 포함되어 있다.
세레브라스가 공개한 안드로메다 슈퍼컴퓨터는 클러스터에서 함께 연결된 16개의 CS-2 기기로 구성된다. 스타트업에 따르면 이 슈퍼컴퓨터에는 AMD의 라이젠(Ryzen) 시리즈 중앙 처리 장치(CPU) 1만8176개도 탑재되어 있다.
대규모 언어 모델과 같은 고급 AI 애플리케이션은 종종 단일 칩에서 실행하기에는 너무 복잡하다. 일반적으로 여러 GPU로 분할해야 한다. 이러한 GPU는 계산이 정확하게 수행되도록 작업을 조정해야 한다.
많은 수의 칩을 조정하는 것은 하드웨어 집약적인 알고리즘이 필요한 복잡한 작업이다. 데이터 센터에 칩이 많을수록 칩을 오케스트레이션(orchestration)하는 데 더 많은 컴퓨팅 용량이 필요하다. 결과적으로 대규모 AI 클러스터에서 처리 용량의 상당 부분이 칩 동기화를 유지하는 데 사용된다.
세레브라스의 안드로메다 슈퍼컴퓨터는 각각 단일 WSE-2 칩을 포함하는 16개의 CS-2 시스템으로 구성된다. 슈퍼컴퓨터의 16개 WSE-2 칩은 수천 개 이상의 GPU를 포함하는 기존 AI 클러스터보다 훨씬 적은 하드웨어 리소스로 조정할 수 있다.
그 결과 안드로메다는 거의 완벽에 가까운 확장성을 제공한다. 고객이 추가 CS-2 시스템을 연결하여 슈퍼컴퓨터를 확장하면 CS-2 컴퓨터 장치를 추가함에 따라 신경망의 훈련 시간이 거의 완벽한 비율로 감소한다는 것을 의미한다. 그 이유는 칩 조정 작업에 상대적으로 적은 양의 하드웨어를 할당하기 때문이다.
세레브라스는 캘리포니아주 산타클라라의 데이터 센터에 3500만달러를 들여 안드로메다를 구축했다. 오크리지 국립 연구소에 있는 현재 세계에서 가장 빠른 슈퍼컴퓨터인 프론티어(Frontier)는 1.103엑사플롭으로 수행할 수 있다. 그 컴퓨터를 만드는 데 6억 달러가 들었다.
박찬 위원 cpark@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com