AI는 왜 GPU인가?…GPGPU의 탄생
엔비디아, AI 가속기 시장 독점…AMD 점유율 '미미'
엔비디아 독점 이유는?…GPU 성능과 CUDA 플랫폼
[편집자 주] 인공지능(AI) 기술의 중심은 소프트웨어(SW) 기술이다. 어떤 모델을 구축하느냐, 어떤 언어를 사용할까, 데이터를 어떻게 분류할 것인가. 이런 질문에 대한 답이 SW에서 나오기 때문이다.
하지만 복잡한 AI SW를 구현하기 위해서는 높은 성능의 하드웨어(HW)가 필수적이다.
인공지능의 대표적인 방법론 중 하나인 머신러닝(ML). AI 성능을 대폭 끌어올린 딥러닝(DL). 인간 뉴런 구조를 본떠 만든 인공신경망(ANN, Artificial Neural Network).
이런 개념들은 80년대에도 활발히 연구됐다. 하지만 실제 구현은 불과 몇 년 밖에 안됐다. 컴퓨팅 성능이 그만큼 받쳐주지 못했기 때문이다. HPC(고성능컴퓨팅), AI 가속기, AI 프로세서, 고성능 메모리장치 등이 등장하면서 본격적인 AI 시대가 문을 열게 된 것이다.
칩러닝(ChipLearning)을 통해 AI를 구현하는 HW, 반도체 또는 '칩'이라고 불리는 HW 산업과 기술을 알아보자.
사람들이 컴퓨팅 파워를 이야기할 때 가장 먼저 꼽는 것은 바로 'CPU(중앙처리장치)'다. 프로세서라고 말하면 한 때는 CPU를 지칭할 때도 있었다.
하지만 AI에서 컴퓨팅 파워를 구분하는 기준은 CPU보다 GPU(그래픽처리장치) 차이를 더 많이 언급한다.
자연어처리(NLP)나 머신비전과 같은 AI 모델에서는 프로세서 병렬 연산 속도가 얼마나 빠르냐를 기준으로 성능을 구분한다. 그리고 GPU는 가장 대표적인 병렬 연산 가능한 프로세서다.
◆ AI는 왜 GPU인가?…GPGPU의 탄생
지금은 GPU 외에도 NPU(신경망처리장치)나 IPU(이미지처리장치) 등 다양한 병렬 연산장치가 개발되고 있다.
하지만 고전적인 컴퓨터 장치에서 프로세서는 단일 컴퓨팅 능력을 높인 CPU와 병렬처리기능을 높이는 GPU가 거의 전부였다.
GPU는 원래 이름 그대로 컴퓨터 그래픽 요소를 처리하기 위해 만든 개념이다. 하지만 GPU가 일반적인 연산에도 유용하게 쓰인다는 것이 알려지면서 범용 컴퓨팅 처리를 위한 GPGPU(General-Purpose computing on GPU) 기술이 개발됐다.
GPGPU라는 기술이 개발되면서 AI 성능은 급격히 성장했다. 영국 시장조사업체 키사코 리서치 미카엘 아조프 수석연구원은 엔비디아가 GPGPU 기술을 공개한 2010년부터 딥러닝 활용이 급격히 늘어났다고 말했다.
딥러닝 도입으로 수개월 걸리던 대형 신경망 네트워크 교육 시간이 불과 몇 시간에서 며칠 사이로 줄었기 때문이다.
GPU는 CPU와 전혀 다른 구조를 지녔다.
CPU는 다양한 환경에서 작업을 빠르게 수행하기 위해 복잡한 구조로 만들어졌다. 명령어 하나로 계산 여러 개를 한꺼번에 하거나 복잡한 수식 처리에 유리하다.
GPU는 그래픽과 같은 특화된 연산을 빠른 속도로 수행하기 위해 필요 없는 부분을 과감히 삭제했다. CPU가 10개 미만 고성능 코어 몇 개와 이를 보조하는 장치로 이뤄졌다면, GPU는 그냥 수백개 코어를 결합한 단순한 구조다.
그래서 GPU는 직접 작업을 처리할 수는 없다. 제어하는 영역은 CPU에게 맡겼기 때문이다.
이에 GPU는 연산력을 높이는 데 특화됐다. 예를 들어 3D 프로그램을 CPU만으로 돌리면 수시간이 걸리지만, GPGPU는 불과 수분에서 수십분이면 이를 처리한다.
GPGPU 기술은 딥러닝에 매우 적합하다. 딥러닝은 빅데이터를 바탕으로 모델 부피를 키워 성능을 높이는 시스템이다. 특정된 연산을 수없이 계산해야 한다. 계산이 많으면 많을수록 오차가 줄고 시스템의 정확도는 높아진다.
GPGPU 기술을 발전, 즉 GPU 성능 향상이 곧 AI 성능 향상이 된 시기가 온 것이다.
◆ AI 가속기 시장을 독점한 엔비디아?
현재 GPGPU용 GPU 시장은 엔비디아가 거의 독점하고 있다. 엔비디아는 GPU뿐만 아니라 AI 가속기 전체에서도 90% 이상 점유율을 지녔다.
시장조사업체 리프터(Liftr)는 지난해 5월 아마존웹서비스(AWS), 마이크로소프트(MS) 애저, 구글 클라우드, 알리바바 클라우드 등 글로벌 4대 클라우드 데이터센터에서 사용하는 AI 가속기 97.4%가 엔비디아 가속기라는 조사결과를 발표한 바 있다. AMD GPU는 1%, 자일링스 FPGA 1%, 알테라를 인수한 인텔 FPGA가 0.6% 정도를 차지하는 수준이었다.
최근 AMD가 자일링스를 인수하며 가속기 시장에 AMD 지분이 어느 정도 올라갔지만, 단순 합으로만 2% 수준의 점유율은 아직도 부족하다.
리프터에 따르면 엔비디아 제품들이 AI 가속기 시장에서 경쟁 중이다.
AWS에는 테슬라 M60이 36%, 테슬라 V100이 29%, 테슬라 K80이 24%를 차지했다. 모두 엔비디아 제품이다. 11% 정도가 자일링스 버텍스 울트라스케일+ VU9P FPGA를 가속기로 사용했다.
MS 애저와 구글 클라우드는 전체가 엔비디아 테슬라 GPU를 사용했다. 테슬라 K80, M60, P100, T4, V100 GPU가 주로 사용됐다.
중국 알리바바는 엔비디아 GPU를 주로 사용했지만 다양한 기업의 솔루션을 채택했다. ▲AMD 파이어프로 S7150 GPU 10% ▲인텔 아리아 10 GX 1150 FPGA 6% ▲자일링스 울트라스케일+ FPGA 2% 사용했다.
올해 엔비디아는 새로운 암페어 아키텍처 기반 A100 GPU를 공개했다. A100은 540억개 트랜지스터를 집적한 것과 같은 성능을 지녔다. 최대 9.7테라플롭스(TF, 1초에 1조회 연산)의 FP64 연산 능력으로 기존 볼타 아키텍처 기반의 V100보다 20배 뛰어난 성능을 지녔다.
최근 AWS와 애저는 데이터센터에 A100을 탑재했다. 양사는 얼마 전 A100기반 인스턴트(클라우드 회사가 제공하는 서버 서비스)를 제공한다고 밝혔다.
[관련기사] 엔비디아 A100 GPU, AWS 최신 머신러닝·HPC용 서버에 탑재
최신 MLPerf 벤치마크서 A100은 훈련과 추론, 두 영역에서 모두 최고 성능을 기록했다. MLPerf 훈련 벤치마크 3라운드에서 엔비디아와 구글은 8개 항목에서 1위를 차지했다. 추론에서는 A100이 CPU 대비 237배 뛰어난 성능을 기록하며 1위를 차지했다.
[관련기사] 엔비디아 최신 MLPerf 추론 결과 1위…단점은 가격·크기
◆ 엔비디아는 어떻게 AI 가속기를 독점했나?
A100과 같은 높은 성능 GPU를 바탕으로 AI 가속기 시장을 점령한 엔비디아 독주체제는 앞으로 계속될 전망이다. 단순한 가속기 성능 외에도 쿠다(CUDA)를 바탕으로 AI SW 설계도 함께 독점했기 때문이다.
AI용 가속기에 사용되는 엔비디아 GPGPU를 사용하기 위해서는 자사의 쿠다 SW를 반드시 익혀야한다.
쿠다와 비슷한 GPGPU 기술로 OpenCL이나 다이렉트컴퓨트(DirectCompute) 등이 있지만 이들은 업계 표준을 기준으로 개발해, 압도적인 엔비디아 GPU 환경에서는 쿠다보다 불편하거나 사용에 한계가 있다.
바로 엔비디아 HW에 액세스해 컨트롤할 수 있는 쿠다에 익숙한 개발자들에게 외면받기 쉽다는 것이다.
최근 엔비디아의 발표에 따르면 실제 쿠다를 활용하고 있는 개발자 수가 점점 늘어나고 있다. 8월말 기준 전 세계 200만명 이상의 개발자들이 엔비디아 개발자 프로그램에 등록했다.
엔비디아는 10억개 이상 쿠다 기반 GPU가 GPGPU 플랫폼을 실행한다고 전했다. 또한 엔비디아 개발자 회원뿐만 아니라 수많은 비회원도 GPGPU 플랫폼인 쿠다를 사용하고 있다.
등록 없이도 무료로 사용가능한 쿠다 다운로드 건수가 개발자 회원 수에 비해 월등히 높다는 것이다. 현재 월평균 3만9000여명이 개발자 프로그램에 가입하고 있고, 쿠다 다운로드 건수는 43만8000여 건에 이른다.
이 기사는 [AI칩러닝] AI의 핵심, GPU… 딥러닝의 유행을 불러오다 ②로 이어집니다.
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com