한국과학기술원(KAIST, 총장 이광형)은 전기및전자공학부 김주영 교수 연구팀이 대형언어모델(LLM)의 추론 연산을 효율적으로 가속하는 인공지능(AI) 반도체를 개발했다고 4일 밝혔다.
연구팀이 개발한 AI 반도체 ‘LPU(Latency Processing Unit)’는 LLM의 추론 연산을 효율적으로 가속한다. 메모리 대역폭 사용을 극대화하고 추론에 필요한 모든 연산을 고속으로 수행 가능한 연산 엔진을 갖춘 AI 반도체이며, 자체 네트워킹을 내장해 여러개 가속기로 확장이 용이하다고 설명했다.
이 LPU 기반의 가속 어플라이언스 서버는 고성능 GPU인 엔비디아 'A100' 기반 슈퍼컴퓨터보다 성능은 최대 50%, 가격 대비 성능은 2.4배가량 높였다고 전했다. KAIST는 "최근 급격하게 생성 AI 서비스 수요가 증가하고 있는 데이터센터에서 고성능 GPU를 대체할 수 있을 것으로 기대한다"고 강조했다.
이번 연구는 김주영 교수가 창업한 하이퍼엑셀에서 수행했으며, 지난달 12일 미국 샌프란시스코에서 열린 '국제 반도체 설계 자동화 학회(DAC)'에서 공학 부문 최고 발표상을 수상했다.
DAC는 국제 반도체 설계 분야의 대표 학회이며, 특히 전자 설계 자동화(EDA)와 반도체 설계자산(IP) 기술 관련 세계적인 반도체 설계 기술을 선보이는 학회다. DAC에는 인텔, 엔비디아, AMD, 구글, 마이크로소프트, 삼성, TSMC 등 세계적인 반도체 설계 기업이 참가하며, 하버드대학교, MIT, 스탠퍼드대학교 등도 참가한다.
KAIST는 김 교수팀이 LLM을 위한 AI 반도체 기술로 유일하게 수상한 것은 매우 의미가 크다고 강조했다. 이번 수상으로 LLM 추론에 필요한 비용을 크게 절감할 AI 반도체 솔루션으로 세계 무대에서 인정받은 것이라고 전했다.
김주영 교수는 “미래 거대 인공지능 연산을 위한 새로운 프로세서 ‘LPU’로 글로벌 시장을 개척하고, 빅테크 기업들의 기술력보다 우위를 선점하겠다”라고 포부를 밝혔다.
장세민 기자 semim99@aitimes.com
