전성재 페르소나AI 이사가 20일 '인공지능&빅데이터쇼'에서 열린 '2024국제 스마트 기술 컨퍼런스(테크콘)'에서 현재 검색 증강 생성(RAG)과 대형언어모델(LLM)의 한계점을 밝히고 새로운 데이터 기술을 개발하고 있다고 밝혔다.
전 이사는 "현재 많은 기업들이 LLM의 성능을 개선하고 환각을 줄이기 위핸 RAG를 사용하지만, RAG를 사용하기 위한 벡터 스페이스와 LLM을 위한 데이터셋 구축 방식이 달라 어려움을 겪고 있다"라고 말했다.
LLM과 RAG의 데이터 구조 자체가 다르기 때문에, 별도로 데이터를 구축하고 서로 다른 서버에 물리적으로 구축해야 한다는 어려움이 있다는 것이다.
특히 "현재 대형언어모델(LLM)의 크기는 점점 커지면서 메모리 용량도 커져야 하는 상황“이라며 ”RAG는 데이터를 맥락없이 조각 내 벡터로 만드는 기술이고, 검색에 대한 정확성이 보장되지 않으면 굳이 도입할 필요 없는 기술일 수도 있다"라고 설명했다.
그는 데이터에서 정보를 찾아내고 지식화할 수 있는 '데이터 클렌징’이 가장 중요하다고 말했다. 이에 페르소나 AI에서 "특정 기능에 맞게 데이터가 구조화되어 있는 데이터 저장소 '온톨로지(Ontology)'를 효율적으로 생성하기 위한 지식생성 AI를 개발하고 있다"라고 강조했다.
쉽게 말해 "LLM과 RAG에 동시에 사용할 수 데이터 구조"가 될 것이며 "온톨로지 데이터 생성 자체를 소형언어모델(sLM)로 만들어서 정형화된 데이터를 만들어주는 형태"라고 말했다.
현재 "프로토타입으로 내부테스트 중이며 하반기에 출시할 것으로 논의 중"이라고 덧붙였다.
박수빈 기자 sbin08@aitimes.com
