인공지능(AI) 데이터 전문 비큐AI(대표 임경환)는 최근 뉴스 RAG 모델 'RDP 1'이 대형언어모델(LLM)과 검색 증강 생성(RAG)시스템 성능을 평가하는 '라가스(RAGAS)' 프레임워크에서 높은 점수를 받았다고 9일 밝혔다.
RAGAS는 RAG 성능을 평가하는 오픈 소스 프레임워크로, RAG 시스템의 검색·생성 부분을 세밀하게 분석한다. ▲ 생성된 답변이 주어진 문맥에 얼마나 충실한지를 평가하는 '충실성' ▲생성된 답변이 주어진 질문과 얼마나 관련성이 있는지를 평가하는 '답변 관련성' ▲검색된 문맥 정보 중 정답에 관련된 문서가 얼마나 상위에 위치하는지를 평가하는 '문맥 정밀도' ▲검색된 문서에서 정답에 필요한 정보가 얼마나 포함돼 있는지를 측정하는 '문맥 재현율' 등이 중요 지표다.
마이크로소프트 AI 플랫폼에서 LLM 신뢰성 검증 도구로 사용되는 등 글로벌 빅테크들이 LLM 신뢰성 검증과 RAG 시스템 효율성 증가를 위해 사용하는 글로벌 평가 프레임워크다.
비큐AI의 RDP 1 모델은 각 평가 항목별 평균 0.9 이상, 일부 항목에서는 0.95이상의 높은 성과를 달성했다. 특히 문맥 정밀도에 0.9697점을 기록했으며, 문맥 재현율에서 0.9222점을 기록하는 등 RAGAS 논문 스코어 대비 높은 점수를 보였다.
비큐AI는 RAGAS 프레임워크 결과는 RDP 1이 단순 뉴스 요약 수준을 넘어 원문에 충실한 답변을 생성한다는 점에서 신뢰성이 높다는 의미라고 설명했다.
비큐AI 관계자는 "실시간 데이터 파이프라인 플랫폼인 RDPLine을 통해 글로벌 뉴스 데이터를 포함한 다양한 데이터 파트너십을 강화하고 데이터를 확장하고 있다"라며 "이를 기반으로 금융, 증권, 통신, 빅테크 플랫폼, 자동차 인포테인먼트, 언론 등 산업별 다양한 플랫폼과 디바이스에 대화형 AI 뉴스 서비스를 실시간으로 연결하는 핵심 역할을 RDP 1이 담당할 것"이라고 말했다.
박수빈 기자 sbin08@aitimes.com
