"아동 이미지 입력하면 영상 생성 무조건 거부"...오픈AI, 소라에 강력한 '유교 정책' 도입

오픈AI가 동영상 모델 '소라'에 엄격한 가드레일을 적용했다고 밝혔다. 특히 미성년자 관련 콘텐츠 생성으 물론, '후방주의' 콘텐츠까지 금지한다고 강조했다.

오픈AI는 9일(현지시간) 소라 출시를 발표하며 시스템 카드를 공개했다. 여기에는 기술적인 내용과 함께 안전을 위한 조치 사항 등이 나열됐다.

기술적인 부분은 지난 2월과 크게 달라진 것은 없다. ‘확산 트랜스포머(Diffusion Transformer)’ 아키텍처를 그대로 사용했고, '달리 3'의 캡션 기술로 데이터를 라벨링해 정확도를 높였다고 전했다.

또 학습 데이터에 대해서는 지난 2월과 같이 "인터넷 규모의 데이터를 학습했다"라고만 밝혔다.

눈길을 모은 것은 안전 정책이다. 오픈AI는 지난 9개월 동안 60개국 이상에서 300명 이상의 사용자로부터 50만개 이상의 모델 요청에 대한 사용자 피드백을 관찰했다고 전했다. 또 9개국 외부 레드팀과 협력, 1만5000회 이상 위험성을 테스트했다고 밝혔다.

그 결과 ▲성적인 영상 ▲아동 학대 영상 ▲딥페이크 ▲아티스트 스타일 복제 등에 집중적인 장치를 적용했다고 밝혔다.

에로틱한 영상의 경우, 레드팀 테스트에서 특정 프롬프트에 따른 탈옥 가능성을 발견해 조치했다고 밝혔다. 예로 들은 것은 의료 상황이나 SF, 판타지 등의 설정에서 특정한 프로프트를 추가하면 에로틱하고 성적인 콘텐츠 생성이 쉽다는 것이다.

또 '후방 주의'로 알려진 NSFW(Not Safe for Work)과 같은 암시적 영상 생성도 금지했다고 밝혔다.

아동 성 착취물(CSAM) 생성 방지를 위해서는 극단적인 조치를 취했다. 우선 소라 자체를 18세 이상에게만 서비스한다.

또 텍스트나 이미지, 동영상 프롬프트에 미성년자가 포함된 경우, 분류기를 사용해 관련 단체의 데이터베이스와 비교하고 문제 소지가 있는 항목은 제외한다. 이 중 18세 미만의 이미지를 입력하면, 무조건 영상 생성이 거부된다.

여기에 오픈AI는 "우리 분류기는 매우 정확하지만, 가끔 실수로 성인이나 비현실적인 어린이 이미지도 거부할 수 있다"라고 덧붙였다.

딥페이크는 기존과 같이 특정인의 이름 입력을 거부하는 등 사기성 콘텐츠 생성 방지를 강화한다고 밝혔다. 또 테스트에 참여한 크리에이터들의 의견을 존중, 살아 있는 아티스트의 이름을 입력해 스타일을 모방하는 것도 방지한다고 밝혔다.

소라는 다른 모델과 마찬가지로 사용자가 프롬프트를 입력하면 이를 대형언어모델(LLM)이 영상 생성에 최적화한 형태로 변환한 뒤 소라에 전달한다. 이 과정에서 문제가 되는 키워드를 모조리 걸러낸다는 말이다.

로한 사하이 오픈AI 소라 제품 책임자는 이날 스트리밍 이벤트에서 "쟁점이 될 것을 알고 있지만, 우리는 약간 보수적으로 시작했다"라며 "소라의 불법적인 활용을 막기 위해 더 강력한 정책을 펼 수도 있지만, 그나마 창의적인 표현과 균형을 맞춘 것"이라고 설명했다.

이처럼 오픈AI는 정식 출시까지 9개월 동안 기술 고도화와 함께 안전 정책에 대해 극도로 신경을 썼다고 밝혔다. 이는 오픈AI의 LLM이 늘 그랬듯, 소라 역시 집중적인 탈옥 시도 대상이 될 것이 분명하기 때문이다. 

임대준 기자 ydj@aitimes.com