신정규 래블업 대표는 19일 '제 13회 스마트테크코리아' 부대행사인 '더 웨이브 서울(THE WAVE Seoul)' 1일차 'Gen 인공지능(AI)' 세션에서 '생성의 점들을 잇다: 데스크톱 수준에서 자원 집약적 AI 워크로드'를 주제로 강연을 진행했다.
지능정보산업협회(AIIA), 엑스포럼, AI타임스가 주최·주관하는 '인공지능&빅데이터쇼'와 국대 최대 첨단 기술 전시회 '스마트테크코리아'는 테크콘, 더 웨이브 서울 등 컨퍼런스를 통해 40개 이상의 강연 세션을 선보이고 있다.
이에 GPU 분할 제공 기술을 갖춘 래블업도 참여, 로컬 AI와 온디바이스 AI 등 환경적 한계를 점차 줄이고 있는 인공지능의 현황, 그리고 전망에 대해 발표했다.
신정규 대표는 "최근 엔비디아 GPU 의존에 대한 문제가 제기되면서 '로컬 AI'가 다시 급부상하고 있다"라며 "이는 ▲적절한 성능의 오픈소스 모델 ▲모델을 돌려줄 수 있는 오픈 모델 런타임 ▲엄청나게 감소한 로컬 연산 자원 비용 등 조건이 갖춰졌기 때문"이라고 강조했다.
특히 라마.cpp의 경우 오픈AI 위스퍼를 CPU로 돌릴 수 있도록 지원하는 도구로서 "'오프라인에서 LLM이 작동한다면 라마.cpp를 기반으로 했다고 할 정도'로 유명해졌다"라고 설명했다.
향후 온디바이스, 로컬AI의 부흥에는 '하드웨어 설계' '모델 경량화 및 압축' '모델 인퍼런스 소프트웨어'가 기술적 포인트가 될 것이라는 설명이다.
신정규 대표는 "향후 2026년까지 외장형 NPU 시장의 재활성화 가능성을 전망하고 있다"라며 "동시에 구글, 마이크로소프트, 엔비디아 모두 ARM 기반 CPU를 발표한 상황에서 큰 경쟁 시장이 구축될 것"이라고 말했다.
이어 "이전에는 GPU 200개를 어디서 구하냐고 말하던 시대가 있었다"라며 "최근 라마3를 개발할 때 2만개 이상의 GPU를 사용한 바, 최근 경향을 살펴본다면 앞으로 AI 환경의 변화는 계속 빨라질 것"이라고 정리했다.
장세민 기자 semim99@aitimes.com
