래블업(대표 신정규)은 '엔비디아 GTC 2024'에 실버 스폰서로 참가, 기술 세션 및 부스 전시를 진행한다고 15일 밝혔다.
AI 기술 관련 핵심적인 두가지 주제에 대해 발표할 예정이다.
첫번째 발표는 신정규 래블업 대표와 김준기 CTO가 진행한다. 양자화, Q로라(QLoRA) 등 리소스 절약 및 모델 압축 기술과 시각대형언어모델(vLLM), 텐서RT-LLM(TensorRT-LLM) 결합을 통해 '백엔드닷에이아이(Backend.AI)'가 어떻게 대규모 로컬 LLM을 효율적으로 조작하는지에 대해 소개한다.
두번째 발표는 20일 김준기 CTO가 진행한다. 클라우드 및 개인 PC의 GPU를 이용, 사용자 맞춤형 생성 AI를 개발 및 서비스하는 방법을 시연한다.
전시 부스에서는 엔비디아 DGX-레디(Ready) 소프트웨어인 '백엔드닷에이아이 엔터프라이즈'를 시연한다. 엔비디아 DGX 시스템 및 기타 GPU 가속 컴퓨팅 리소스의 성능을 극대화, 사용자 환경을 변경하지 않고도 GPU 사용성을 높여주는 AI 인프라스트럭처 운영 플랫폼이다.
래블업 관계자는 "GTC에서 다양한 글로벌 파트너사들과의 협력을 강화하며 함께 본격적인 글로벌 진출을 꾀할 예정"이라고 말했다.
장세민 기자 semim99@aitimes.com
관련기사
