미국의 인공지능(AI) 칩 스타트업 세레브라스가 세계에서 가장 빠른 AI 프로세서를 출시했다. 엔비디아의 'H100' GPU 62개에 해당하는 성능을 하나의 프로세서에서 제공한다고 주장했다.
톰스하드웨어는 13일(현지시간) 세레브라스가 12인치 웨이퍼 크기의 AI 프로세서 ‘WSE-3(Wafer Scale Engine 3)’를 출시했다고 보도했다.
이에 따르면 WSE-3는 TSMC 5나노 공정으로 제작된 웨이퍼 한개 크기의 거대한 프로세서로 4조개의 트랜지스터가 포함됐다.
무려 90만개의 AI 코어와 44GB의 온 칩 SRAM을 하나로 통합, 이론상 엔비디아 H100 GPU 62개에 해당하는 최대 125 FP16 페타플롭스(PF) 성능을 제공한다. 1PF은 초당 1000조번의 계산에 해당한다.
2세대 WSE-2보다 성능은 2배 향상했지만 전력 소모는 동일해 전력 효율성도 우수하다는 주장이다.
WSE-3는 최대 24조개의 매개변수로 AI 모델을 훈련하는 데 사용할 수 있는 세레브라스의 'CS-3' 슈퍼컴퓨터를 구동한다.
CS-3 슈퍼컴퓨터는 1.5TB, 12TB 또는 1.2PB의 외장 메모리를 지원할 수 있다. 따라서 파티션이나 리팩토링 없이 단일 논리 공간에 대규모 모델을 저장할 수 있어 훈련 프로세스를 간소화하고 개발자의 효율성을 높일 수 있다는 설명이다.
확장성 측면에서 CS-3는 최대 2048개의 시스템으로 클러스터를 구성할 수 있다. 4대의 시스템으로 클러스터를 구성할 경우, 700억 매개변수의 '라마 2'를 단 하루 만에 훈련할 수 있다.
CS-3 슈퍼컴퓨터는 엔비디아 DGX-H100에 비해 성능은 8배 빠르고 1900배 더 많은 메모리를 제공하며 600배 더 큰 모델을 처리할 수 있다. 또 대형언어모델(LLM)의 학습을 간소화, GPU에 비해 최대 97% 적은 코드가 필요하다. 예를 들어 'GPT-3' 크기의 모델은 565줄의 코드만 필요하다는 설명이다.
앤드류 펠드만 세레브라스 CEO는 "8년 전 우리가 이 여정을 시작했을 때 모두가 웨이퍼 규모 프로세서는 헛된 꿈이라고 말했다"라며 "WSE-3은 전문가 혼합(MoE) 모델부터 24조 매개변수 모델까지 최첨단 AI 작업을 위해 특별히 제작된 세계에서 가장 빠른 AI 칩"이라고 말했다.
한편 세레브라스는 CS-3 시스템 64개를 갖춘 AI 슈퍼컴퓨터인 '콘도르 갤럭시 3(CG-3)'를 구축하면서 아랍에미리트(UAE)의 국영 기업 G42와의 전략적 파트너십을 확대할 예정이라고 밝혔다.
두 회사는 이미 캘리포니아에 위치한 세계 최대 규모의 AI 슈퍼컴퓨터 '콘도르 갤럭시 1(CG-1)'과 '콘도르 갤럭시 2(CG-2)'를 함께 개발, 총 8개의 엑사플롭스 연산 성능을 갖췄다.
이 파트너십은 전 세계적으로 수십 엑사플롭(EF)의 AI 컴퓨팅을 제공하는 것을 목표로 한다. 1EF는 초당 100경번의 계산에 해당한다.
키릴 에브티모프 G42 CTO는 "세레브라스와의 전략적 파트너십은 G42의 혁신을 촉진하는 데 중요한 역할을 해왔다"라며 "전 세계적으로 AI 혁명을 가속화하는 데 기여할 것"이라고 말했다.
또 "8EF 성능을 자랑하는 차기 AI 슈퍼컴퓨터 콘도르 갤럭시 3는 현재 건설 중이며, 곧 우리 시스템의 총 AI 컴퓨팅 생산량을 16EF으로 끌어올릴 것"이라고 강조했다.
박찬 기자 cpark@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com