청소년의 자살과 자해에 연관됐다며 고소당한 캐릭터닷AI가 '청소년 챗봇 사용 금지'라는 초강수를 내밀었다. 새로운 연령 확인 시스템을 갖추고 대책을 마련할 때까지 약 한달간 진행된다.
캐릭터닷AI는 29일(현지시간) 홈페이지를 통해 '청소년 사용자의 안전을 지키기 위한 과감한 조치'라는 내용으로 당분간 청소년들의 챗봇 사용을 금지한다고 발표했다.
이에 따라 18세 미만 사용자는 11월25일까지 이 사이트에서 챗봇과 대화할 수 없게 됐다.
대신, 캐릭터를 활용한 동영상, 스토리, 스트림 제작 등은 가능하다. 이후에도 청소년의 채팅 시간은 하루 2시간으로 제한된다고 덧붙였다.
또 사용자 연령을 정확하게 확인할 수 있도록 다른 회사의 서비스와 연결하는 새로운 장치를 추가할 예정이다. 즉, 소셜 미디어 등의 활동으로 실제 나이를 파악하는 방식이다.
AI 안전 연구소(AI Safety Lab)를 설립하고 자금을 지원할 계획이다. 이를 통해 "혁신적인 안전 기법 개발과 제3자 협력을 통해 최첨단 기술을 발전시키고 학습 내용을 공유하는 데 중점을 둘 것"이라고 밝혔다.
캐릭터닷AI는 "지난 한해 동안 우리는 18세 미만 사용자를 위한 맞춤형 경험을 제공하기 위해 엄청난 노력과 자원을 투자했다"라며 "하지만 AI가 발전함에 따라, 어린 사용자들을 지원하는 접근 방식도 변해야 한다고 판단했다"라고 밝혔다.
이 소식이 전해지자, 온라인 안전 캠페인을 벌이는 단체들은 환영의 뜻을 밝혔다. 하지만, 처음부터 이 기능을 청소년에게 제공하면 안 됐다는 지적이다.
캐릭터닷AI는 2024년 10월 14세 미국 소년의 자살을 부추겼다는 혐의로 고소당했다. 이후에도 청소년의 자해를 도왔다는 혐의로 소송이 이어졌다.
이후 챗봇 대화 필터링을 강화하고 부모들의 자녀 관리 기능을 도입하는 등 문제 해결에 나섰다.
그러나, 이 사건은 AI 챗봇에 청소년 안전이라는 새로운 문제를 제기했다. 오픈AI도 지난 8월 같은 혐의로 청소년 부모로부터 고소당했으며, 이후 비슷한 조치에 나섰다.
특히, 챗봇 문제를 해결하기 위해 서비스를 중지한 것은 처음으로 꼽힌다. 캐릭터닷AI는 주요 사용자층이 청소년으로, 이번 조치로 적지 않은 타격을 받을 수 있다.
임대준 기자 ydj@aitimes.com
