카카오(대표 정신아)는 인공지능 언어모델의 함수 호출(Function Call) 성능을 평가할 수 있는 데이터셋 ‘펑션챗-벤치(FunctionChat-Bench)’를 구축, 오픈 소스로 공개했다고 27일 밝혔다.
함수 호출은 인공지능(AI) 언어모델에 자체적으로 수행할 수 없는 동작을 지시하거나 사전에 학습하지 않은 정보를 실시간으로 받아올 수 있도록 언어모델과 API 등 외부 도구를 연결하는 기술을 의미한다. 대형언어모델(LMM) 기반 서비스 구현에 필수적인 기술이다.
예를 들어, 모델에 함수 호출 기능을 활용해 지도 등 특정 API를 연결하면, 실시간 도로정보를 호출해 답변을 받을 수 있게 된다.
카카오는 기술 고도화를 위해 국내 IT 기업 최초로 한국어 대화 환경에서의 성능을 다면적으로 평가할 수 있는 펑션챗-벤치 데이터셋을 구축했다. 기존의 함수 호출 성능 평가 데이터셋은 대부분 글로벌 기업에서 구축한 영어를 이뤄졌다. 한국어 기반 관련 데이터셋을 구축한 것은 카카오가 처음이라고 강조했다.
데이터셋은 ▲함수 이름과 인자 추출의 정확성 ▲함수 호출 결과 전달의 정확성 ▲누락 정보 인지를 통한 추가 질의 발생 여부 ▲호출 가능한 함수와의 관련성 감지 등을 평가하는 기준 항목으로 구성했다. 기존 데이터셋이 주로 '언어 모델의 정확한 함수 호출 메시지 생성 중심'으로만 이루어졌다면, 카카오의 경우 함수 호출 전후에 요구되는 '사용자와의 적절한 상호 작용 메시지 생성 능력'까지 평가 영역으로 포함시켰다는 설명이다.
카카오는 한국어 AI 언어모델 생태계의 활성화와 개방적 AI 환경을 위해 데이터셋을 오픈소스 커뮤니티 깃허브에 공개했다. 향후 데이터셋 규모를 늘리고 영어 버전을 추가하는 등 사용성을 지속 확장해 나갈 계획이다.
김병학 카카오 카나나 알파 성과리더는 “이번 데이터셋 구축 및 오픈소스 공개는 한국어 기반의 국내 AI 기술 생태계에 기여할 수 있는 의미를 지닌다”라며 “펑션콜 기술의 성능 평가 토대를 처음으로 마련한 만큼, 꾸준히 데이터셋의 활용성을 높여가기 위해 노력할 계획”이라고 말했다.
함수 호출 한국어 벤치마크 데이터셋은 깃허브 웹사이트에서 바로 만나볼 수 있다.
장세민 기자 semim99@aitimes.com
