인공지능(AI) 전문 코난테크놀로지(대표 김영섬)는 과학기술정보통신부가 추진하는 K-클라우드 기술개발 사업인 이종 AI 반도체 기반의 분산 추론 및 모델 최적화 기술 개발 과제에 선정됐다고 29일 밝혔다.
이 과제는 LLM 추론 비용을 줄이기 위해 NPU와 PIM 등 다양한 AI 반도체를 활용한 최적화 기술과 분산 소프트웨어 개발을 목표로 진행된다.
2029년 12월까지 약 4년 9개월간 총 104억원의 사업비가 투입된다. 주관연구개발기관은 한국전자통신연구원(ETRI)이며, 공동 연구 컨소시엄에는 리벨리온, 서울대학교, 한국과학기술원 등이 포함됐다.
이종 AI 반도체 환경에서 AI 모델을 유연하게 실행할 수 있는 서비스 프레임워크, 다양한 AI 가속기 기반 자원을 통합 관리하는 스케줄링 시스템, 그리고 실제 사용자 단말에서 구동 가능한 LLM-RAG 기반 통합 실증 서비스 등이 개발될 예정이다.
그 중 코난테크놀로지는 이종 AI반도체 환경에서의 LLM-RAG 분산 추론 통합 실증 서비스를 맡아 수행할 계획이다.
오창민 코난테크놀로지 언어음성연구소 상무는 “국내 AI 인프라의 기술 자립을 위한 핵심 과제에 참여하게 되어 의미가 크다”라며 “이종 AI 반도체 기반 추론 환경에서 고도화된 실증 서비스를 현실화하고, 차세대 AI 인프라 상용화에 기여하겠다”라고 말했다.
박수빈 기자 sbin08@aitimes.com
관련기사
