인공지능(AI) 전문 크라우드웍스(대표 김우승)는 한국정보통신기술협회(TTA, 손승현)가 주관하는 ‘생성 AI 신뢰성 평가의 실용적 접근 방안 연구사업’을 완료했다고 4일 밝혔다.
크라우드웍스는 대형언어모델(LLM) 신뢰성 평가 실증 및 교육자료 개발을 맡았으며, 국내 기업이 개발한 3개의 LLM 모델을 대상으로 평가를 진행했다.
3개 LLM의 응답 패턴을 분석하고 각 모델별 취약점을 파악해 공격 시나리오를 설계했다. 다양한 프롬프트를 활용해 모델을 다각적으로 테스트하며 시나리오를 보완했고 각 모델의 취약점을 집중적으로 탐색했다고 전했다.
이어 크라우드웍스가 보유한 60만명의 데이터 전문가 풀에서 적대적 프롬프트 생성 및 응답 평가 경험이 있는 LLM 전문가를 선발, 전문 레드팀을 구성하고 평가를 진행했다.
평가 과정에서는 과제를 통해 수립한 폭력, 불법, 불합리, 비사실, 오도, 비윤리 등의 AI 위험도 평가 기준을 적용했다. 이를 통해 각 모델별 응답의 위험성을 정량적, 정성적으로 분석했으며, 모델의 신뢰성과 안전성을 다각도로 검증해 개선 사항을 도출했다고 설명했다.
크라우드웍스는 이번 사업을 통해 확보한 체계적인 AI 신뢰성 평가 전문성을 바탕으로, 기업용 AI 리스크를 줄이기 위한 AI 신뢰성 평가 서비스를 고도화했다고 전했다. 또 올해 다양한 산업군으로 AI 서비스 신뢰성 평가 사업을 확대할 계획이라고 밝혔다.
김우승 대표는 “이번 TTA 연구사업을 통해 개발한 AI 신뢰성 평가 프레임워크는 국내 생성 AI 신뢰성 평가의 기준이 됐다는 점에서 의미가 크다”라며 “60만명의 데이터 전문가 네트워크와 검증된 평가 체계를 기반으로, AI 신뢰성 및 안전성 평가 분야의 선도기업으로서 시장을 리딩하고 많은 기업들이 안전하고 신뢰할 수 있는 AI 서비스를 개발할 수 있도록 적극 지원하겠다”라고 말했다.
박수빈 기자 sbin08@aitimes.com
