인공지능(AI) 경량화 전문 스퀴즈비츠(대표 김형준)는 19~21일 서울 코엑스에서 열리는 국내 최대 AI 전시회 ‘2024 인공지능&빅데이터쇼’에 참가, AI 모델 경량화 소프트웨어 '아울라이트(OwLite)'의 주요 기능 업데이트를 발표한다고 12일 밝혔다.
아울라이트는 스퀴즈비츠가 개발한 AI 경량화용 ML옵스 툴킷이다. AI 기업들이 보유 모델 가중치나 데이터셋을 외부에 공유하지 않고도 자체적으로 AI 경량화 기술을 도입할 수 있도록 개발했다는 설명이다.
특히 추론 속도 관점에서 'AI 모델의 어떤 부분이 병목 현상을 보이는지' 등 분석도 가능하다. 경량화 옵션 추천 기능을 통해 비전문가도 쉽게 자신의 모델을 경량화해 볼 수 있는 것이 특징이다.
이번에는 아울라이트의 최신 업데이트를 진행, FP8 경량화 옵션을 추가했다고 밝혔다. FP8 포맷은 최신 GPU 아키텍처에서 지원하는 포맷으로 AI 모델 내에 이상치가 많은 경우 사용할 수 있는 포맷이다.
기존 FP16, INT8, UINT8 경량화 옵션에 더해 FP8 포맷까지 지원하게 되면서, 사용자들은 더욱 다양한 경량화 옵션을 통해 AI 모델을 최적화할 수 있다고 강조했다. 결과적으로 AI 서비스의 효율성을 높이고 운영 비용을 줄일 수 있을 것이라고 전했다.
김형준 스퀴즈비츠 대표는 “게임, 의료, 광고, 로봇 등 다양한 산업군의 기업이 스퀴즈비츠의 경량화 기술을 통해 서비스 비용 구조를 개선하고 있다”라며 “이번 행사를 통해 더욱 다양한 산업 분야의 플레이어들이 AI 경량화 기술을 알게되고 적용, 효율적으로 AI를 사용할 수 있길 바란다”라고 말했다.
한편 스퀴즈비츠는 최근 네이버, 인텔과 가우디(인텔의 AI 가속기) 기반 대형언어모델(LLM) 소프트웨어 개발 프로젝트에 참여해 글로벌 시장에서도 기술력을 인정 받고 있다.
장세민 기자 semim99@aitimes.com
