인공지능(AI) 데이터 전문 스피링크(대표 고경민)가 AI 학습 데이터 구축 서비스 '텍스트넷'을 통해 사용자 측면에서 대형언어모델(LLM)을 평가하는 ‘LLM 사용성 평가 서비스’를 출시한다고 15일 밝혔다.
LLM 사용성 평가는 벤치마크를 통해 측정하는 성능 평가와 달리, 실제 사용자가 체감하는 만족도를 평가한다. 생성 AI의 ▲유창성 ▲정확성 ▲신뢰성 등의 지표를 바탕으로 결과물이 적절한지를 검토하며, 평가 지표는 3개의 대분류, 4개의 중분류, 12개의 소분류로 구성돼 있다.
또 평가 결과에 대한 분석을 통해 개선 방안까지 제공한다. 프로젝트 초반 서비스 형태와 목적, 주요 기능과 사용자 특성 등을 살펴 기본 평가 지표를 커스터마이징해 적용하기 때문에 높은 평가 신뢰도를 기대할 수 있다는 설명이다.
고경민 대표는 “AI 기반 서비스를 운영하는 기업에게는 고객 커뮤니케이션과 충성도의 바로미터인 AI 사용성이 벤치마크 성능만큼이나 중요한 지표”라고 말했다.
박수빈 기자 sbin08@aitimes.com
관련기사
