인공지능(AI) 전문 크라우드웍스(대표 김우승)는 최근 한국정보통신기술협회(TTA) 주관 ‘생성 AI 신뢰성 평가의 실용적 접근 방안 연구’ 사업에 선정됐다고 17일 밝혔다.
이외에도 자연어 처리 솔루션 전문 테디썸(대표 함영균), 연세대학교(김한샘 교수 연구팀) 3곳이 컨소시엄을 이뤄 참여한다.
이번 사업은 생성 AI의 안전성 및 신뢰성 확보를 위한 가이드라인을 마련하는 과정이다. ‘생성 AI 신뢰성 평가 프레임워크 개발 및 확산’을 목표로 한다. 연구마다 다르게 정의되고 있는 생성 AI에 대한 주요 위험요소의 정의를 체계화, 사회-문화적 특성을 고려해 실용적인 신뢰성 평가 프레임워크를 개발하고 생성AI의 위험과 부작용을 최소화한다는 목표다.
사업 범위는 ▲생성 AI 위험 정의 및 분류 체계화 ▲위험-평가 매트릭 매핑 구조 설계 ▲레드팀 테스팅 기법 수집 및 교육자료 작성 ▲평가 메커니즘 설계 ▲평가 방안의 실용성 파악을 위한 시범 적용 등이다. 크라우드웍스는 대형언어모델(LLM) 전문성을 바탕으로 AI 평가 프레임워크의 확산을 위한 교육자료 개발 및 프레임워크 실증을 맡는다.
구체적으로는 국내외 레드팀 테스팅 기법을 수집해 데이터를 바탕으로 악의적 프롬프트 특징과 패턴을 도출, 공격 프롬프팅 기법 및 유형 분석 내용이 포함된 레드팀 교육 가이드를 마련할 예정이다. 이후 생성 AI 신뢰성 평가 프레임워크 가이드 실증을 위해 국내 AI 모델을 대상으로 실제 공격을 수행하고 개선점 및 대응방안을 제시할 예정이다.
김우승 크라우드웍스 대표는 “AI 신뢰성과 안전성 평가 프레임워크는 AI 평가 표준화를 가속하고 AI의 상호운용성, 호환성을 높여 AI 산업 발전 속도를 높이게 될 것”이라며 “AI 신뢰성 기술 영역에서도 리더십과 경쟁력을 확보하고 한국이 AI 강국으로 도약할 수 있도록 최선을 다하겠다”라고 말했다.
장세민 기자 semim99@aitimes.com
