데이터의 급격한 증가는 머신러닝, 딥러닝 학습을 바탕으로 인공지능(AI) 기술의 진보를 가져다줬다. 하지만 이런 데이터를 저장하는 용량, 불러오는 속도 등 빅데이터를 처리하는 기술의 구현이 점점 어려워지고 있다.
단순히 I/O(입력/출력 장치) 수나 대역폭을 넓힌다고 그에 비례해 성능이 늘어나지 않기 때문이다. 현재의 기술로는 하드웨어에서 병목현상이 발행할 수밖에 없다는 것이다.
[관련기사] "하드웨어 병목현상이 AI 기술 성장 발목 잡아"
EE타임스는 AI와 머신러닝 애플리케이션의 요구를 충족시키기 위해 데이터가 상주해야 할 위치인 메모리 연결이 중요하다고 3일 보도했다. 이런 메모리 연결과 관련된 기술을 '메모리 인터커넥트'라고 한다.
메모리가 어떤 프로세서와 어떻게 결합하는지에 따라 데이터 처리 성능이 달라지기 때문이다.
다만 EE타임스는 데이터의 처리 문제를 해결하는 것은 메모리 기업만의 일이 아니라고 지적했다. CPU(중앙처리장치)나 GPU(그래픽처리장치), NPU(신경망처리장치) 등 다른 AI 관련 기업들도 메모리 인터커넥트와 중요한 연관이 있다는 것이다.
AI 하드웨어 서밋에서 '메모리 인터커넥트의 도전과 해법을 주제'로 온라인 토론을 진행한 스티브 우 램버스(Rambus) 펠로우는 "우리 모두 AI의 여러 측면에서 일하고 있다"며 이야기를 열었다.
머신러닝 표준과 추론 벤치마크를 제공하는 단체인 ML커먼스(MLCommons)의 데이비드 칸터 상무는 메모리를 사용하는 목적과 범위 등 시스템의 니즈를 파악해야 한다고 설명했다.
칸터는 무엇을 하고 싶은지, 어떤 맥락에서 데이터 처리를 할 것인지에 따라서, 다이, 패키징, 보드 영역에서 메모 어디에 두고 연결시킬지 반드시 고민해야 한다고 말했다.
메모리의 배열 구조, 셀유형, 연결거리 등에 대한 최적화와 대역폭 등 다양한 요소를 고려해야 된다는 것이다.
◇ "메모리가 더 똑똑해져야 한다"…메모리도 지능적인 연결 중요해
이런 고려사항이 전통적인 메모리 회사나 이를 배치하는 하드웨어 회사의 몫만은 아니다. 최근에는 AWS(아마존웹서비스)나 구글 클라우드, 마이크로소프트 애저 등 AI 데이터센터를 운영하는 소프트웨어 업체에서도 메모리 문제에 관심을 갖고 있다.
사메르 쿠마르 구글 소프트웨어 엔지니어는 "AI 훈련은 메모리 최적화가 많이 수반된다"며 "매우 높은 효율을 얻는 것이 컴파일러에서 가장 중요한 단계"고 말했다.
그는 "메모리가 더 똑똑해져야 한다"고 강조했다.
스티브 우 펠로우는 "데이터 이동이 AI 애플리케이션의 특정 단계를 지배하기 시작했기 때문에 메모리 인터커넥트가 점점 더 중요해지고 있다"고 강조했다.
그는 "성능과 전력 효율 측면에서 점점 문제가 되고 있다"며, "데이터 속도를 높이는 것은 어려운 일"이라고 지적했다.
모두가 데이터 이동 속도를 두 배로 높이고 전력 효율도 두 배로 늘리고 싶어 하기 때문이다.
우 펠로우는 "우리가 의지해 온 많은 요령과 기술들은 더 이상 우리에게 쓸 수 없거나 느려지고 있다"며 "새로운 아키텍처에 대해 생각하고 데이터를 이동하는 방식을 혁신해야 한다"고 경고했다.
마벨(Marvel) ASIC(주문형반도체) 사업부의 이고르 아르소프스키 CTO는 마벨이 고객들에게 엣지 칩당 얼마나 많은 대역폭을 이동할 수 있는지, 얼마나 많은 대역폭을 메모리에 접근할 수 있는지에 대한 정보를 제공하면서 AI 시스템을 구축하는 고객들과 많은 시간을 보내고 있다고 말했다.
그는 "고객들은 점점 더 많은 I/O 대역폭을 원하고 있으며, 우리가 엣지에서 얼마나 많은 I/O 대역폭을 이동할 수 있는지 벽에 부딪히고 있다"고 설명했다.
I/O를 단순히 많이 연결한다고 그에 비례해 대역폭이 커지고 메모리가 전송량이 많아지지는 않는다는 것이다. 데이터 폭풍에서 하드웨어 병목현상이 발생할 수밖에 없다는 것이다.
칸터 박사는 "메모리에 실제로 저장하려면 엄청나게 큰 시스템 클러스터를 구축해야 한다는 것을 의미한다"며 비용적으로 맞지 않는다고 지적했다.
그는 하나의 솔루션이 아닌 다양한 방법으로 메모리를 처리해야 된다고 지적했다.
칸터는 "많은 메모리와 컴퓨팅을 통합해야 할 때 상호 연결이 이루어진다"며 "규모에 맞게 교육하려면 고객에게 적합하고 문제에 적합한 상호 연결이 정말로 필요하다"고 설명했다.
그는 "소규모 네트워크를 위해 하나의 GPU로만 훈련하기를 원한다면, 정말로 메모리 대역폭이 중요할 것"이라며, 대규모의 네트워크를 운영하는 AI 리더들은 이와 다른 방법의 해결책이 필요하다고 전했다.
[관련기사] 개발자 편의를 위한 'AI 하드웨어' 솔루션들
[관련기사] 엣지 AI에 따라 달라지는 메모리 기술
