구글이 슈퍼컴퓨터에 자체 개발한 맞춤형 광학 스위치를 도입해 4000개 이상의 칩을 연결, 인공지능(AI) 훈련 성능을 대폭 개선했다는 내용의 논문을 공개했다고 로이터가 4일(현지시간) 보도했다.
이에 따르면 광학 스위치로 칩을 연결한 슈퍼컴퓨터는 엔비디아의 A100칩을 사용한 시스템과 비교해 속도는 1.7배, 전력효율은 1.9배가 높게 나타났다. 엔비디아의 다른 고성능 칩인 H100을 탑재한 시스템과는 비교하지 않았다.
광학 스위치는 광 신호를 전기 신호로 바꾸어주거나 전기 신호를 광 신호로 바꿔주는 장치다. 전기 스위치보다 대역폭을 더 많이 제공하고, 에너지 소비도 적은 편이어서 대용량 데이터 전송이 필요한 분야에서 널리 사용되고 있다.
구글의 '바드'나 오픈AI의 '챗GPT'와 같은 대형언어모델LLM)을 구동하기 위해서는 여러 개의 칩을 연결해야 하기 때문에 슈퍼컴퓨터에서 칩 연결 방식은 매우 중요하다.
과거에는 단일 칩에서 구동할 수 있었던 모델이 크기(매개변수)가 폭발적으로 증가하면서 더 많은 칩을 연결해야 한다.
구글이 지난해 공개한 언어모델 ‘팜(PaLM)’의 경우 매개변수가 5400억개로 4000개의 칩을 장착한 슈퍼컴퓨터 두 대로 50일 이상 훈련했다.
정병일 위원 jbi@aitimes.com
관련기사
