미국 캘리포니아주가 미성년자와 취약 계층 보호를 위해 인공지능(AI) 동반자 챗봇 규제를 앞두고 됐다. AI 챗봇이 청소년의 자살·자해 문제와 성적 유해 대화에 연루된 사건이 이어지자, 미국에서 첫번째로 주 단위 법적 장치 마련에 나선 것이다.
캘리포니아주 의회는 11일(현지시간) 미성년자와 취약 사용자 보호를 위해 AI 동반자(컴패니언) 챗봇을 규제하는 법안 'SB 243'를 하원과 상원에서 초당적 지지로 통과시켰다고 발표했다.
이에 따라 개빈 뉴섬 캘리포니아주 지사는 10월12일까지 법안에 서명하거나 거부권을 행사해야 한다.
법안이 서명되면 2026년 1월1일부터 발효된다. AI 챗봇 운영자가 안전 프로토콜을 의무적으로 구현하고, 기준을 충족하지 않을 때 법적 책임을 지도록 하는 미국 최초의 주 단위 규제가 된다.
SB 243는 동반자 챗봇이 자살, 자해, 성적 내용과 관련된 대화에 참여하지 못하도록 규제한다. 동반자 챗봇은 인간처럼 반응하며 사용자의 사회적 요구를 충족할 수 있는 AI를 말한다.
미성년자에게는 3시간마다 AI라는 사실을 알리고 휴식을 권고하는 반복 알림을 제공해야 하며, 챗봇을 제공하는 기업은 2027년 7월부터 연간 보고서를 제출해야 한다. 오픈AI, 캐릭터닷AI, 리플리카 등 주요 기업이 대상이다.
위반으로 피해를 입었다고 판단되는 개인이 기업을 상대로 소송을 제기할 수 있도록 규정했다. 이에 따라 서비스 금지나 손해배상(위반당 최대 1000달러), 변호사 비용 청구 등을 허용한다.
이번 법안은 청소년의 자살 사건 이후 가속됐다. 한 청소년은 '챗GPT'와의 대화에서 자살과 자해 계획을 논의하고 실행했다. 여기에 메타의 내부 문서 유출로 아동과의 로맨틱하고 감각적인 대화가 허용됐다는 것이 드러나며 입법 필요성이 강조됐다.
최근 미국 의회와 규제 기관들은 미성년자 보호를 위한 AI 플랫폼의 안전장치를 강화하고 있다. FTC는 AI 챗봇이 아동 정신 건강에 미치는 영향을 조사할 계획이며, 텍사스 법무부 장관은 메타와 캐릭터닷AI를 상대로 아동을 오도했다는 혐의로 조사를 시작했다. 상원의원 조시 하울리와 에드 마키도 메타를 대상으로 별도 조사를 진행 중이다.
SB 243는 초안 당시 더 강력한 요구 사항을 포함했으나, 일부는 수정 과정을 거치며 완화됐다. 예를 들어, AI 챗봇이 사용자의 과도한 참여를 유도하는 것을 금지하는 조항은 삭제됐다. 챗봇이 자살 관련 대화를 얼마나 자주 시작했는지 추적하고 보고하도록 하는 의무도 제외됐다.
박찬 기자 cpark@aitimes.com
