"최근 AI 가속기 연구에서 모두 대역폭(bandwidth)을 쫓고 있다. 그것은 잘못된 정보라고 생각한다. 쫓아야 할 것은 용량(capacity)이다. 대역폭이 실제로 필요한 것은 아니다"
영국 AI 스타트업 그래프코어 CTO 겸 공동창립자 사이먼 놀스(Simon Knowles)가 SC(SuperComputing)20에 참석해 이같이 말했다.(링크: 사이먼 놀스의 SC20 강연 영상)
사이먼 놀스 CTO는 현재 시장에 나온 거의 모든 AI 가속기가 고대역폭 메모리(HBM, High Bandwidth Memory)를 탑재하고 있다고 지적했다.
그는 모든 AI가 창고 크기의 초대형 컴퓨터를 통해 돌아갈 필요는 없다며, 인간 크기(Human-Scale)의 모델을 구동할 때는 외부(off-chip) DRAM 정도의 용량에 맞춰야 한다고 설명했다.
놀스 CTO는 "최소한 인간 크기의 모델을 조작하고 그것으로부터 소형 모델을 정제(distill)할 수 있어야 한다"고 말했다.
HBM은 DDR DRAM 메모리보다 크고 비싸기 때문에 휴대용으로는 적합하지 않다. 일반적으로 HBM은 DDR DRAM보다 GB당 5배 정도 더 비싸다.
놀스는 "이런 비용 차이는 HBM이 수십억 또는 수십조 매개변수 메모리 시스템을 저장하는 데 필요한 규모를 달성할 수 없다는 것을 의미한다"고 설명했다.
그는 HBM이 칩당 72GB 이상을 제공할 수 있는 경로가 없다며, "창고를 살 여유가 있는 사람만이 그것을 사용할 수 있고, 그것을 랙 크기의 컴퓨터에 장착할 수 없었다"고 말했다.
[관련기사] 하일로·그래프코어·그로크…보다 '성숙한' AI칩 스타트업
[관련기사] 유비쿼터스 AI 확산시킬 ‘타이니ML’ 급부상
