”2025년 4분기 도쿄증권거래소 상장 이후에도 꾸준히 성장하기 위해 기술 고도화와 시장 확대 전략을 모색 중입니다. 일본 서비스 경험을 통해 개발한 '에이전트 RAG'를 고도화, 차별화된 서비스를 펼쳐 나가겠습니다.“
이원강 올거나이즈 부대표는 먼저 일본과 미국 등 해외에서의 성공 사례가 국내에서도 사업 확장의 계기가 됐다고 밝혔다.
그중 일본 실적이 단연 눈에 띈다. 미쓰이스미토모은행(SMBC), 노무라증권, 아사카은행, 다이와증권 등 세계적인 금융사는 물론, 외무성과 방위성 등 공공 기관이 올거나이즈의 '알리앱마켓'을 활용해 AI를 도입했다.
이 부대표는 “현재 300여 고객 중 250여개가 일본 기업“이라며 ”일본 시장에서는 서비스형 소프트웨어(SaaS)를 선호해 안정적인 매출을 기록하고 있다“라고 소개했다.
이처럼 일본에서 구축한 노하우를 바탕으로 국내에서는 하나증권과 NH투자증권 등으로 서비스를 확장했다.
특히 다수의 금융 기업에 상담 에이전트를 도입하며 방대한 내부 데이터를 잘 활용하는 것은 물론 답변 정확도를 높이기 위해 검색 증강 생성(RAG) 이상의 기술이 필요했다고 밝혔다.
이에 따라 개발한 것이 '에이전트 RAG'다. AI 에이전트의 장점과 사내 데이터의 효율적인 데이터베이스화를 결합한 것을 특징으로 꼽았다.
개발을 담당한 이정훈 AI엔지니어 팀장은 먼저 “기업 문서 데이터의 폴더별 계층 구조를 그대로 가져와서 DB화할 수 있다”라는 것을 강조했다.
보험사의 다양한 상품들은 거의 비슷한 내용으로 이뤄져 있다. 이때 기존 RAG 방식을 적용하면, 정보의 계층 구조를 파악하지 못해 질문 의도와 다른 답을 내놓는 경우가 있다는 지적이다.
이를 해결하기 위해 폴더별로 정리된 사내 데이터의 정보 층위를 반영, 답변을 가지고 올 수 있게 했다고 전했다.
더불어 사용자의 질문 의도를 명확하게 파악하기 위해 추가 질문을 생성하고 검색에 필요한 추가 API를 호출하는 AI 에이전트의 개념을 적용했다. 즉, 기존 RAG가 일회성이고 일방이었다면, 에이전트 RAG는 더 나은 답을 하기 위해 사용자와 지속적인 상호작용을 한다는 점이 차이다.
이를 통해 전체 상담 내용의 맥락을 기억하고 복합적인 질문에도 적절한 답을 찾을 수 있다는 설명이다. 이 팀장은 “에이전트 RAG는 정확한 답변을 찾기 위해 필요한 여러 도구를 지휘하는 오케스트레이션의 개념“이라고 전했다.
실제로 사용자는 항상 명확한 의도로 질문하는 것은 아니다. 모호한 질문이나 여러 질문이 섞여 있을 때는 대형언어모델(LLM)이 추가 질문을 생성해서 의도를 파악한다. 그 후 필요한 펑션콜을 정의, 필요한 API를 호출한다.
또 에이전트 RAG를 활용하면 LLM 재학습을 최소화할 수 있다는 것을 장점으로 들었다.
이 팀장은 “LLM 학습에는 여러 문답 시나리오 예측이 필요한데, 그럼에도 모든 시나리오에 대해 답변을 생성할 수 없었다“라며 ”대신, RAG를 고도화해 답변 정확도를 높이면 LLM 추가 학습이 필요하지 않다“라고 설명했다.
답변 생성 모델은 앤트로픽의 '클로드 3.5 소네트'나 오픈AI의 'GPT-4o' 및 'o1', 올거나이즈에서 개발한 소형언어모델(sLM) 중에서 선택할 수 있다.
이를 기반으로 지속적인 기술 고도화에 나서겠다고 강조했다. 이원강 부대표는 “오픈 소스 모델을 기반으로 에이전트 기능에 적합한 LLM을 개발할 것”이라고 전했다.
에이전트 RAG는 현재 베타 테스트 중으로, 올해 1분기 중 알리앱마켓 플랫폼을 통해 공개할 예정이다.
박수빈 기자 sbin08@aitimes.com
