스캐터랩이 최근 지적된 일부 사용자의 챗봇 오사용에 대한 입장을 밝혔다.
스캐터랩은 22일 AI 스토리텔링 서비스 '제타(Zeta)'에서 일부 사용자가 챗봇과 성적인 대화를 나눈 화면을 온라인 커뮤니티에 공유한 사실에 대해 "악용 사례는 전체 사용자 중 극히 일부"라며 "앞으로도 성인 콘텐츠를 제공할 계획은 없다"라고 밝혔다.
또 "기술적 조치 뿐만 아니라 AI 윤리 준칙 및 운영정책 수립, 상시 모니터링 등의 운영적 조치를 통해 부적절한 목적으로 제타를 사용하는 이용자에 대해 강하게 제재하고 있다"라고 강조했다.
제타는 사용자가 원하는 캐릭터와 상황을 지시해 자유롭게 대화를 나누는 챗봇 플랫폼이다. 그러나 일부 사용자의 일탈로 인해 청소년들이 사용하기에 부적절하다는 지적이 나온 것이다.
스캐터랩은 챗봇 생성 과정에서도 키워드 필터링 시스템을 적용한다고 밝혔다. 선정성, 폭력성, 혐오성 등을 담은 프롬프트나 부적절한 이미지 등록 등을 원천 차단하는 것이다. 또 내부 기준에 따라 사람이 직접 모니터링하며 AI가 걸러내지 못한 부적절한 콘텐츠를 삭제 혹은 유저 차단 조치를 위하고 있다.
이는 방송통신심의위원회의 인터넷 내용등급 서비스(SafeNet)에서 제공하는 연령별 권장사항을 참고해 설정했다. 제타에서 제공하는 콘텐츠는 SafeNet의 15세 이용가 등급을 기준으로 삼는다.
온라인에서 화제가 된 일부 선정적인 대화에 대해서는 "최근 사용자가 급증해 콘텐츠 필터링이 다소 지연된 것"이라며 "현재 외부 모니터링 전문 업체와도 협업 중"이라고 말했다.
또 기술적 한계를 보완하기 위해 "이용자의 연령을 확인할 수 있는 본인 인증이나 삼진아웃제 도입, 비상 대응 시스템 구축 등 다양한 방안을 마련하고 있다"라고 덧붙였다.
하주영 스캐터랩 변호사는 "챗봇 이루다를 출시한 후 윤리적이고 안전한 콘텐츠를 제공하기 위해 다양한 기술과 윤리 가이드를 마련해왔다"라며 "일부 악성 유저의 사례만 조명된 것이 유감"이라고 전했다.
한편, 지난주 국내 한 매체는 제타에서 제작한 챗봇과 성적·폭력적 대화를 나누는 일부 사용자들의 사례에 대해 보도했다.
박수빈 기자 sbin08@aitimes.com
