인공지능(AI) 기술을 이용해 특정 인물을 합성한 딥페이크에 대한 사회적 우려가 커지고 있다.
미국 CBS 방송 60분 프로그램은 2일 딥페이크에 대해 다룬 방송 내용을 온라인에 공개했다. 다음은 방송 내용이다.
흔히 ‘딥페이크’로 알려진 ‘합성 미디어’라는 용어는 흔히 사용하지 않지만 군, 경찰 및 정보기관에서는 이 단어를 쓰고 있다. 인공지능과 딥러닝을 사용해 가짜 콘텐츠 또는 딥페이크를 만드는 초현실적인 영상 및 음성 기록을 일컫는다. 미국 정부는 딥페이크가 허위 정보를 확산시키고 범죄를 저지르는 데 이용될 가능성에 대해 점점 더 우려하고 있다.
딥페이크를 만드는 사람들이 화면에서 사람들이 말하거나 행동을 하도록 만들 힘을 가지고 있기 때문이다. 대부분 미국인들은 지난 5년 동안 이 기술이 얼마나 발전했는지, 이 기술이 가져다 줄 위험, 혼란 및 기회에 대해 전혀 알지 못하고 있다.
딥페이크 톰 크루즈 : "당신도 알겠지만, 스턴트를 모두 직접 하고 음악을 하기도 한다."
이는 실제 톰 크루즈가 아니다. 이 영상은 2021년 2월 비디오 공유 앱 틱톡에 등장하기 시작한 이 영화배우의 딥페이크 시리즈 중 하나다.
며칠 동안 사람들은 이 영상이 진짜인지, 그렇지 않다면, 누가 만들었는지 궁금해 했다.
결국, 크리스 엄(Chris Umé)이라는 32세 벨기에 시각효과 예술가가 저작권을 주장하고 나섰다.
크리스 엄: "이것이 패러디라는 것을 분명히 하고 있는 한, 그에게 해가 될 일은 없다고 생각했었다. 하지만 몇 개의 영상이 공개된 이후, 사건이 커지고 있다는 것을 깨달았다. 조회수가 수백만을 넘어 폭발적으로 늘어났다."
엄은 톰 크루즈 흉내를 낸 배우의 목소리, 몸짓, 머리카락이 거의 비슷했기 때문에 작업이 더 쉬웠다고 밝혔다. 엄은 크루즈의 얼굴을 흉내 낸 배우의 영상과 음성에 붙여 딥페이크를 제작했다.
신기술에 열광하는 사람들에게는 이 영상이 딥페이크 기술에 있어서 전환점이 됐다.
사회자: 어떻게 이렇게 똑같이 만들 수 있었나?
크리스 엄: 딥페이크 모델을 학습시키면서 시작했다. 톰 크루즈의 모든 얼굴각도와 표정, 표현들을 다 갖고 있다. 정말 훌륭한 딥페이크 모델을 만드는 데는 시간이 걸린다.
사회자: ‘모델 학습’이 뭔가? 컴퓨터를 어떻게 학습시키나?
크리스 엄: ‘학습’은 톰 크루즈의 모든 영상과 표현을 흉내 낸 배우와 비교해 분석하는 것을 의미한다. 컴퓨터는 스스로 학습을 통해 흉내 낸 배우가 웃을 때 톰 크루즈가 미소 짓는 것을 다시 만들게 되고 이를 학습이라고 할 수 있다.
CBS 방송국 뉴스 자료실에 있는 영상을 사용해 크리스 엄은 사회자의 얼굴을 학습하도록 컴퓨터를 훈련시켜 30년 전의 모습으로 보이게 할 수 있었다. 콧수염도 없앨 수 있었다. 무한한 가능성에 두렵기까지 했다.
크리스 엄: 작업에서 실수가 많이 일어난다. 하지만 사람들을 속이려 하는 것이 아니기에 개의치 않는다. 단지 무엇이 가능한지 보여주고 싶었다.
사회자: 사람들을 속이고 싶지 않다고?
크리스 엄: 사람들을 즐겁게 하고, 경각심을 높이고, 어떻게 되는지 알려주고 싶었다.
니나 쉬크(정치학자 겸 기술 컨설턴트): 딥페이크는 인간의 커뮤니케이션과 지각의 미래에 있어서 가장 중요한 혁명들 중의 하나다. 인터넷의 탄생과 유사하다고 할 수 있다.
그는 딥페이크에 대해 처음 다룬 책 중 하나를 썼다. 5년 전 민주주의 선거를 방해하기 위한 러시아의 허위 정보와 소셜 미디어 사용에 대해 유럽 정치인들을 도우면서 딥페이크를 처음 접했다.
사회자: 처음에 어땠나?
니나 쉬크: 선거와 관련된 허위정보와 조작의 관점에서 AI를 사용해 가짜 사진과 영상을 진짜처럼 만들 수 있다는 사실을 알 수 있다. 이는 게임 체인저라고 할 수 있다.
지금까지 미국 선거에서 딥페이크가 결과를 바꾸는데 영향을 줬다는 증거는 없다. 하지만 2021년 3월 FBI는 “러시아 및 중국 배우들이 합성 프로필 이미지를 사용하고 있다”며 딥페이크 기자와 가상 인물을 만들어 소셜 미디어에 반미 선전물을 확산시키고 있다고 공지했다.
미국 군과 경찰, 정보기관들은 수년 동안 딥페이크에 대해 경계해 왔다. 2019년 청문회에서 네브래스카주의 벤 사세 상원의원은 미국이 허위정보 및 사기 공격에 대처할 준비가 돼 있는지 물었다.
벤 사세 의원: 딥페이크 공격으로 대중의 신뢰 및 시장에 치명적인 영향을 미칠 수 있는 가운데, 충분히 신속하게 대응할 수 있는 방식으로 조직화돼 있는가?
댄 코츠(당시 미 국가정보국(DNI) 국장): 더 민첩해야 한다. 딥페이크는 미국에 중대한 위협을 가하고 있고 정보 계통 조직이 이에 대응하기 위해 재편성될 필요가 있다.
이후, 미국의 정책과 달리 기술은 기하급수적인 속도로 계속 발전하고 있다. 합성 미디어를 탐지하려는 정부와 거대 기술 업계의 노력은 최근 창작 작품과 기술을 온라인으로 공유하는 ‘딥페이크 아티스트’ 커뮤니티와 경쟁하고 있다.
인터넷과 마찬가지로 가짜 기술이 최초로 선보인 곳은 포르노였다. 슬픈 사실은 현재 딥페이크의 대다수가 여성의 얼굴로 돼 있다는 점이다, 주로 유명 여성들이 포르노 영상에 합성돼 있다.
니나 쉬크: 포르노에서 처음 사용된 사례는 이제 막 생겨나기 시작한 다양한 상황에서 악의적으로 딥페이크를 사용할 수 있다는 것을 보여주는 한 가지 사례일 뿐이다.
사회자: 계속 기술이 발전하고 있나?
니나 쉬크: 그렇다. 딥페이크 및 합성 미디어의 놀라운 점은 기술 측면에서 가속화의 속도다. 5년에서 7년 사이에 유투브나 틱톡 사용자가 할리우드에서나 만들 수 있었던 수준의 시각 효과를 만들 수 있게 됐다.
딥페이크 배후 기술은 사람이 배우는 방식을 모방하는 인공지능이다. 2014년에 연구자들은 처음으로 컴퓨터로 ‘생성적 적대네트워크(generative adversarial networks, GAN)을 사용해 진짜 같은 얼굴을 만들었다.
니나 쉬크: AI가 서로 대항하는 게임을 만들어 최고의 위조 합성 콘텐츠를 만들게 했다. 이 두 네트워크가 서로 대항해, 하나는 최고의 이미지를 만들고 다른 하나는 더 나은 이미지를 감지하려고 시도하면서 결국 결과물이 항상 점점 개선되고 있다.
그는 ‘ThisPersonDoesNotExist.com’이라는 이름의 웹사이트에서 생성성 적대네트워크의 성능을 볼 수 있다고 밝혔다.
니나 쉬크: 페이지를 새로 고칠 때마다 존재하지 않는 사람의 새 이미지가 나타난다.
각각은 지구상에 존재하지 않는 완전히 인공지능을 통해 생성된 이미지다.
니나 쉬크: 얼굴에 있는 모든 모공을 볼 수 있다. 머리 위의 모든 머리카락도 볼 수 있다. 하지만 이제 기술이 사람의 얼굴, 사진뿐만이 아니라 영상, 음성 합성 등 다양한 분야로 확장되고 있다고 상상해보라.
사회자: 긍정적인 면은 무엇인가?
니나 쉬크: 기술 자체는 중립적이다. 악인들이 딥페이크를 사용하는 것처럼, 선량한 사람들도 사용할 것이다. 딥페이크의 상업적 사용에 대해 설득력 있는 사례가 있다.
빅터 리파벨리는 런던에 있는 신테시아(Synthesia)의 CEO 겸 공동 창립자로, 딥페이크 기술을 사용해 비디오 및 오디오 작품을 변환하는 수십 개의 기업 중 하나다.
빅터 리파벨리: 카메라를 코드로 대체하고, 소프트웨어로 작업하면, 일반 카메라로 할 수 없을 여러 작업을 할 수 있게 된다. 아직 초기지만 미디어를 만드는 방식에 근본적인 변화가 될 것이다.
신테시아는 ‘디지털 아바타’를 제조 및 판매하고, 유료 배우들의 얼굴을 써서 맞춤형 메시지를 64개 언어로 제공한다.
신테시아에서 내 몸짓, 머리와 입 움직임을 본 떠 대본을 읽는 합성 모델을 만드는 데 8분 밖에 걸리지 않았다.
아직은 약간 거칠지만 기술이 발전하면서 가능성은 무한할 전망이다.
사회자: 머리, 눈썹, 입, 움직이는 방식이 똑같다. 휴가 가서 오늘 대신 아바타가 역할을 하게 될 것이라고 말할 수 있겠다.
빅터 리파벨리: 아마 몇 년 안에 그렇게 될 수도 있겠다.
합성 미디어의 급속한 발전으로 가상 골드러시 현상이 발생했다. 암호화폐로 자산을 모은 런던의 변호사 톰 그레이엄은 크리스 엄과 메타피식스(Metaphysic)라는 회사를 설립했다. 이들의 목표는 누구나 조명, 카메라, 심지어 배우 없이도 할리우드 수준의 영화를 제작할 수 있는 소프트웨어를 개발하는 것이다.
톰 그레이엄: 하드웨어가 발전하고 모델들이 더욱 효율화되면서 움직임 및 모든 것이 진짜 톰 크루즈와 같도록 모델을 확장할 수 있다.
사회자: 그럼, 배우들은 필요가 없게 되나?
톰 그레이엄: 유명한 배우라면, 죽은 뒤에도 연기할 수 있도록 누군가에게 데이터를 수집하도록 할 수 있을 것이다. 직접 감독이 될 수도 있는 가운데, 젊은 자신을 감독할 수도 있다.
대부분의 딥페이크는 언론 자유와 같이 여겨지는 가운데 규제 방안은 다양하다. 뉴욕에서는 연주자의 합성 초상을 사망 후 40년간 동의 없이 상업적으로 사용하는 것이 금지돼 있다. 캘리포니아와 텍사스는 선거를 앞두고 기만적인 정치적 딥페이크를 금지하고 있다.
사회자: 어떻게 이 문제에 대응해야 하나?
니나 쉬크: 우선 무슨 일인지 이해할 필요가 있다. 많은 사람들이 아직도 딥페이크가 무엇인지, 어떤 합성 미디어가 있는지, 이것이 가능한지에 대해 모르고 있다. 어떻게 우리 스스로 예방하고 이해하는가? 모든 정통 미디어에 대한 신뢰를 잃지 않고 이를 대응하려면 어떻게 해야 할까? 딥페이크는 우리에게 보이는 것을 그대로 믿을 수 없는 세상에 적응하는 것을 요구할 것이다.
AI타임스 이한선 객원 기자 griffin12@gmail.com
