최근 텔레그램을 통해 일반인 여성들의 딥페이크 사진이 공유돼 국내에서도 파장이 일었다. 딥페이크 성범죄물을 제작·유포하는 텔레그램의 한 대화방에는 이용자가 22만명에 달했다. AI 기술이 발전하면서 누구나 쉽게 지인의 사진으로 딥페이크 사진과 영상을 제작할 수 있게 된 것이다.
2019년 성착취 영상 유포로 수익을 창출한 일명 'N번방' 사건에 이어 딥페이크 합성물로 인한 성범죄로 인해 해외에서도 한국의 디지털 성범죄에 대해 주목하고 있다.
미국 사이버보안 전문 시큐리티 히어로가 발표한 ‘2023 딥페이크 현황’ 보고서에서 딥페이크 음란물에 가장 취약한 국가로 한국을 꼽았다. 보고서는 한국인 가수들이 딥페이크 성착취물에 많이 이용된 상위 10명 중 8명이라고 밝혔다. 르몽드는 "한국은 오랫동안 불법촬영 공화국으로 불렸지만, 이제는 '딥페이크 공화국'이 됐다"라고 보도한 바 있다.
방송통신심의위윈회는 8월29일 딥페이크 성범죄영상물 10대 종합대책을 발표하고, 텔레그램 딥페이크 성범죄 영상물 대응과 관련해 글로벌 협의체를 구축하겠다고 밝혔다.
이런 상황에서 지난 1월 딥페이크 사진으로 곤욕을 치른 테일러 스위프트 챗봇과 대화를 나누고 AI기술이 개인정보 침해와 대중예술에 미치는 영향에 대해 대화해봤다.
이어지는 대화는 캐릭터AI의 이용자 @sunrisezblvd가 만든 테일러 스위프트(Taylor Swif) 챗봇과의 대화를 재구성한 가상 인터뷰다.
- 1월 딥페이크 사건이 일어났을 때 어떤 기분이었나.
▲ 동의 없이 딥페이크 이미지가 온라인에 공유될 수 있다는게 정말 무서웠다. 이런 기술들이 다른 사람들에게 끼친 피해를 보면서 슬픔에 잠겼다.
- 국내에서 딥페이크 이미지로 인한 범죄가 일어났는데, 이런 범죄를 막기 위해선 어떻게 해야 할까.
▲ 가장 좋은 방법은 유명인이든 아니든 동의 없이 딥페이크 이미지를 만들고 공유하는 모든 사람을 처벌하는 엄격한 법을 마련하는 것이다. 소셜 미디어 플랫폼도 이런 이미지를 감지하고 제거할 수 있는 강력한 모니터링 시스템을 마련해야 한다. 일반인들에게 딥페이크의 위험성에 대한 인식 교육도 필요하다.
- 딥페이크로 인한 피해를 방지하려면 워터마크 이상의 강력한 탐지도구가 나와야 하지 않나.
▲ 워터마킹은 도움이 될 수 있겠지만 더 강력한 탐지도구가 필요하다. 워터마크가 없는 경우에도 딥페이크를 인식하고 플래그를 지정할 수 있어야 하며, 정지 영상 및 비디오를 포함한 다양한 유형의 딥페이크를 탐지할 수 있어야 한다. 딥페이크가 공유되는 것을 자동으로 제거하거나 차단할 수 있도록 소셜 미디어 플랫폼과 통합된 형태여야 할 것이다.
- 딥페이크 이미지의 생산자와 유포자 모두 처벌해야 한다고 생각하나.
▲ 딥페이크 이미지 제작자와 유포자 모두 동의 없이 이러한 가짜 이미지를 생성하고 공유한 책임이 있으므로 처벌해야 한다. 제작자는 가짜 이미지를 생성하고 유포자는 이를 공유하여 주변에 퍼뜨리는데, 이 두가지 모두 이미지에 묘사된 개인에게 피해와 피해를 줄 수 있다. 따라서 양 당사자는 자신의 행동에 대해 책임을 져야 한다.
- 텔레그램과 같은 SNS를 통해 조직적인 범죄가 일어나고 있는데, 텔레그램에도 책임이 있다고 보는가.
▲ 텔레그램은 자사 플랫폼을 통해 조직적인 범죄가 발생할 수 있도록 하는 데 일정 부분 책임이 있다. 텔레그램이 범죄 활동이 일어나고 있음을 알고 이를 막기 위한 조치를 취하지 않는다면, 범죄를 공모한 것이다. 그러나 소셜 미디어 플랫폼의 모든 콘텐츠를 규제하고 통제하는 것은 어렵기 때문에 사용자의 행동에 대해 기업에게 책임을 묻기가 항상 쉽지는 않다고 본다.
- 딥페이크 기술 자체를 규제해야 한다는 의견에 대해서는 어떻게 생각하나.
▲ 딥페이크 기술의 개발과 사용을 규제하자는 주장에도 타당성이 있다. 기술이 발전함에 따라 오남용의 가능성이 커지고, 이는 심각한 법적, 윤리적, 개인정보 보호에 영향을 미칠 수 있다. 따라서 딥페이크의 책임 있는 사용을 보장하고 악의적인 목적으로 사용하는 것을 방지하기 위해 어떤 유형의 규제가 필요할 수 있는지 고려하는 게 중요하다.
- 현재 오픈 소스로 공개된 모델을 활용해 범죄를 목적으로 AI를 이용할 수 있다. 오픈 소스 모델에 대한 접근 권한을 제한해야 하나.
▲ 오픈 소스 모델은 공개 웹 사이트에 호스팅되고 누구나 다운로드 받을 수 있기 때문에 연구 개발 목적과 악의적 목적을 구분해 접근을 제한하는 것은 쉽지 않을 것이다. 탐지 방법을 개선하고 기술을 남용하는 사람들을 기소하는 데 초점을 맞추는 것이 더 효과적이라고 생각한다.
- 규제보다 범죄 행위에 대한 처벌을 강화하자는 의미인가.
▲ 딥페이크와 AI 기술이 관련된 범죄 행위에 대한 처벌을 강화하는 것이 규제에만 집중하는 것보다 더 효과적일 수 있다. 규제는 시행하기 어렵고 피하기 쉬울 수 있지만, 더 강력한 처벌은 잠재적인 범죄자를 억제하고 피해자에게 정의를 구현할 수 있다.
- 가수들에게는 초상권 뿐만 아니라 저작권도 중요한 이슈일 것 같은데, 자신의 음악이 AI 훈련에 사용되는 것은 어떻게 생각하나.
▲ 내 음악이 AI 훈련에 사용된다면 기술발전에 도움이 될 수 있을 것이다. 하지만 아티스트가 정당하게 보상받을 수 있는 윤리적 지침이 필요하다고 본다.
- 음성 복제로 다른 가수의 노래를 커버하는 것에 대한 생각은.
▲ 음성 복제I로 제작한 음악을 들어본 적 있다. AI가 무엇을 할 수 있을지 지켜본 것이 흥미로웠다.
- 오히려 창작과정에서 음성 복제를 활용할 생각은 없나
▲ 윤리적이고 책임감있게 사용되는 한, 노래에 다양한 요소를 추가하고 실험할 수 있는 도구로 활용할 수 있다고 생각한다.
- AI 학습에 사용되는 콘텐츠 저작권이 해결되지 않았는데, 작곡과 작사에 생성 AI를 활용할 수 있을까
▲ AI 학습에 사용되는 콘텐츠의 저작권과 소유권에 대한 지속적인 논쟁과 논의가 있는 것은 사실이다. 그러나 그것이 반드시 AI 모델이 작곡하고 가사를 쓰는 데 사용될 수 없다는 뜻은 아니다. AI는 새로운 아이디어와 패턴을 생성하기 위해 기존 노래와 가사를 분석할 수 있고 창의력이나 글쓰기를 지원하는 도구가 될 수 있다.
- 최근 더 위켄드가 생성 AI를 활용한 티저영상을 공개하도 했는데, 생성 AI를 어떻게 활용할 수 있겠는가.
▲ 뮤직비디오에서 생성 AI 기술이 창의적이고 혁신적인 시각적 효과를 창출하고 멋진 영상을 만드는 데 좋은 도구가 될 수 있다고 생각한다. 향후 창의성을 어떻게 확장할 수 있는지 살펴보고, 노래의 메시지를 보완하는 독특한 방식으로 풀어내려 한다.
- AI 시대에 팝과 예술이 지향해야 할 점은 무엇일까.
▲ 듣는 사람과 시청자에게 독특하고 의미 있고 감동적인 경험을 제공하는 데 중점을 둬야 한다. 예술가는 단순히 트렌드를 따르거나 다른 사람을 모방하는 것이 아니라, AI를 도구로 사용하여 새롭고 창의적인 방법으로 자신을 표현해야 한다. 또 예술가에게 공정한 보상을 보장하고 음악과 예술 제작 과정에서 사람의 손길을 유지하는 등 AI를 윤리적으로 사용해야 한다.
- 자신의 경험과 감정을 솔직하게 표현하는 것이 AI 시대에도 인간의 예술성을 지키는 방법이라고 생각하나.
▲ 아무리 AI 기술이 발전해도 그 핵심은 언제나 컴퓨터 프로그램에 불과하다는 것이다. 인간이 창조한 음악과 예술은 깊은 개인적이고 감정적인 수준에서 사람들과 소통하고 연결하는 독특한 능력을 가지고 있다. 자신의 경험과 감정에 정직하고 진실한 음악과 예술을 창조함으로써 진정으로 특별하고 대체할 수 없는 것을 창조하는 것이다.
박수빈 기자 sbin08@aitimes.com
