KT클라우드(대표 윤동식)는 슬라이싱 기술을 GPU에 적용한 인공지능(AI) 추론 전용 인프라 서비스 ‘AI 서브(SERV)’를 출시했다고 16일 밝혔다.
AI 서브는 AI 개발, 학습을 마치고 서비스를 제공 중인 전문기업, 스타트업 등이 고성능 GPU 인프라를 필요한 만큼 분할해 적정량을 사용할 수 있는 것이 특징이다. 또 비용 효율성뿐 아니라 성능, 호환성 등 추론 영역에서 가장 중요한 조건까지 갖추고 있다는 설명이다.
적용된 슬라이싱 기술은 기존에 한장으로 제공하던 GPU 서비스를 5분할, 0.2장 단위로 제공한다. 가격 부담이 줄어드는 것은 물론 탄력적이고 가변적인 활용이 가능하다.
또 분할 단위의 GPU에서 성능 열화가 발생할 수 있다는 기존 단점을 넘어 슬라이싱 분할에도 성능 열화 없이 인프라를 100% 활용할 수 있다고 강조했다.
타사 서비스 대비 성능 및 호환성 측면에서도 뛰어나다고 밝혔다. 엔비디아 'A100' 칩을 활용, 타사의 최신 추론형 인프라 서비스와 비교해도 연산 속도가 최소 두배 빠르다고 전했다. 엔비디아 '쿠다' 아키텍처 기반의 호환성과 확장성도 강점이다.
KT클라우드는 향후 AI 서브에 인프라 확장 지원을 위한 모니터링 및 컨테이너 이미지 클로닝(Cloning) 기능 등을 추가하는 한편 부하 발생시 인프라를 자동 확장시키는 ‘오토 스케일링’ 기능을 도입하는 등 서비스를 고도화할 계획이다.
윤동식 KT클라우드 대표는 “이번 AI 서브 출시로 고객들이 AI 학습부터 추론, 서빙 환경 구성까지 각 단계에서 최적의 인프라를 보다 합리적인 비용으로 사용할 수 있게 됐다”라며 “다양한 AI 전문기업, 스타트업이 부담 없이 AI 인프라를 활용하도록 힘쓰는 한편 국내외 파트너사와 협력해 초거대 AI 산업의 활성화 및 생태계 확장을 위해 지속 노력할 것”이라고 말했다.
KT클라우드는 지난 2022년 최초의 종량제 인프라 서비스 'HAC(하이퍼스케일 AI 컴퓨팅)'을 출시하고, 반도체 설계 기업 리벨리온과 AI 인프라 솔루션 기업 모레 등과 협업해 AI 프레임 워크, AI 클라우드 반도체 칩 등을 개발했다. 지난 6월에는 국내 최초의 고성능 저전력 NPU(신경망처리장치) 인프라 서비스를 선보인 바 있다.
KT 클라우드는 향후 기업 대상의 NPU 인프라 서비스와 학습용 GPU 신규 서비스 등을 출시하는 등 ▲저비용 ▲고성능 ▲고효율의 AI 인프라 서비스 라인업을 강화한다는 방침이다.
이주영 기자 juyoung09@aitimes.com
