인공지능(AI) 및 클라우드 전문 에이프리카(대표 강선근)는 서울 코엑스에서 열린 'AI서밋 2024'에서 주철휘 AI연구소장이 폐쇄망 환경에서 고도화된 검색 증강 생성(RAG) 및 언어모델 최적화(LLMOps) 구축 방안을 제시했다고 17일 밝혔다.
이번 발표에서 주 소장은 사용자 데이터로 미세조정된 검색 및 생성 프라이빗 대형언어모델(LLM)들이 벡터 DB와 통합해 정확도와 효율성을 향상하는 방법론을 소개했다. 특히, 폐쇄망 환경에서 최적화된 LLM 기반 기술을 통해 제한된 인프라 상황에서도 고성능 AI의 구축 및 운영이 가능하다는 점을 강조했다.
또 에이젠틱(Agentic) RAG 기술을 소개했다. 이는 단순히 검색 결과를 제공하는 것을 넘어, ▲탐색적 검색 ▲동적 프롬프트 생성 ▲외부 툴 통합 등을 활용해 더 지능적이고 발전된 워크플로우를 지원하는 것이라고 전했다.
특히, 기존 RAG에서 구현이 어려웠던 회고 기반 복합 질의 처리와 외부 도구를 활용한 동적 데이터 접속 기능을 통해 AI 모델의 정확도를 향상한 사례를 구체적으로 설명했다.
더불어 주 소장은 에이프리카의 LLM옵스 솔루션 ‘치타’를 소개하며, 데이터 전처리부터 파인튜닝, 모델 서빙, 추론 모니터링까지 LLM 기반 개발과 운영의 전체 라이프사이클을 효율적으로 통합 관리할 수 있는 방안을 제시했다.
한편, 부스 운영을 통해서도 주목받았다고 밝혔다. 치타와 가젤 RAG를 활용한 구체적인 활용 방법을 소개하는 데모 시연도 진행, 참관객의 관심을 받았다고 전했다.
박병준 에이프리카 영업 총괄상무는 "AI서밋을 통해 폐쇄망 환경에서도 안정적이고 효율적인 AI 운영을 가능하게 하는 LLM옵스와 RAG 솔루션의 가능성을 널리 알릴 수 있었다"라며 "앞으로도 기업의 요구를 충족하고 엔터프라이즈 AI에 최적화된 플랫폼으로 자리 잡기 위해 지속적으로 노력하겠다"라고 말했다.
박수빈 기자 sbin08@aitimes.com
