유튜버들, AI로 에미넴 스타일 딥페이크 곡 제작
‘테크계 거물’ 저커버그를 인터넷 광대라고 비판
GPT-3 기반 쇼틀리 리드가 가사 작성, 구글 Tacotron2는 보컬 합성

페이스북 창시자 마크 저커버그를 비판하는 에미넴 랩을 들을 수 있게 됐다. 유튜브 페이지 캘러미티(Calamity) Ai는 지난 17일 에미넴 딥페이크 곡과 뮤직비디오를 공개했다. ‘컴퓨터처럼 랩하는 비결은 내 유전자에 있다’는 실제 에미넴 가사와 달리 유전자가 없는 AI가 에미넴 곡을 만든 것이다.

소위 디스랩계 전설로 불리는 에미넴은 래퍼로서 커리어 내내 유명인사와 자신의 가족까지 비판해왔다. 크리스티나 아길레라, 윌 스미스와 같은 뮤지션은 물론이고 어머니에 대해서도 랩 가사로 비판한 바 있다. 하지만 최근 에미넴은 신곡 발표를 더디게 진행하고 있어 많은 팬들이 아쉬움을 표현하고 있다. 이와 같은 상황에서 에미넴 스타일 딥페이크 곡이 등장한 것이다.

에미넴 딥페이크 곡 제작은 유튜브 페이지 캘러미티(Calamity) Ai와 30 헤르츠(Hertz)가 팀을 이뤄 진행했다. 먼저 캘러미티 Ai가 GPT-3 기반 텍스트 생성 AI ‘쇼틀리 리드(Shortly Read)’를 사용해 가사를 완성했다.

캘러미티 Ai는 공식 페이지에서 “우리는 '에미넴 스타일의 마크 저커버그 디스'라는 인풋 데이터를 넣어 AI에게 가사를 완성하게 했다”고 말했다. 쇼틀리 리드는 최근 영화 시나리오 제작에도 사용돼 화제가 된 바 있다.

[관련기사]인공지능 GPT가 시나리오를 썼다, 단편영화 개봉박두!

캘러미티 유튜브 페이지에 업로드된 '인터넷 광대' 뮤비 장면. 가사에 맞춘 풍자적인 사진과 영상을 합성해 완성했다.
캘러미티 유튜브 페이지에 업로드된 '인터넷 광대' 뮤비 장면. 가사에 맞춘 풍자적인 사진과 영상을 합성해 완성했다.

완성한 가사는 30 헤르츠에 보내 에미넴 보컬을 합성했다. 보컬 합성에는 텍스트에서 인간과 유사한 음성을 생성하는 구글 TTS ‘타코트론(Tacotron)2’를 활용했다. 캘러미티 Ai에서 이번 프로젝트를 담당한 엘리 바이스(Eli Weiss)는 외신 디지털 트렌드와의 인터뷰에서 “프로그램에 다양한 실제 보컬 데이터를 제공함으로써 모방 보컬을 생성하도록 훈련시켰다.

타코트론2에서 보컬을 완성된 후 30 헤르츠는 여기에 비트를 적용했다. 완성된 곡에는 인간의 예술성이 거의 가미되지 않았다. 노래 제작에 필요한 다양한 역할을 담당하는 컴퓨터 조합물”이라고 설명했다.

마크 주커버그의 인스타그램 계정 차단 규칙을 비판하는 제작자 엘리 바이스
마크 저커버그의 인스타그램 계정 차단 규칙을 비판하는 제작자 엘리 바이스

텍스트 생성 AI인 쇼틀리 리드는 가사 제작 과정에서 에미넴이나 저커버그에 대한 배경 지식은 제공받지 않았지만 이 두 사람에 대해 잘 아는 것처럼 묘사했다. 바이스와 함께 프로젝트를 진행한 제이콥 바우스(Jacob Vaus)는 “텍스트 생성 알고리즘이 운율을 만들 때 에미넴이나 저커버그에 대한 추가 정보를 주지 않았다. 하지만 가사 속에는 저커버그에 대한 지식이 필요한 내용이 있다”고 강조했다.

그러면서 “우리는 완성한 곡이 실제와 비슷해 놀랐다. 에미넴이 만든 가사만큼 좋지는 않지만 AI는 그의 비유방식을 상당히 포착했다. 빠르고 영리한 농담과 불쾌한 유머 같은 것 말이다. 운율 체계에는 오류가 있지만 에미넴 글을 꽤 잘 따라했다”고 전했다.

겉으로 보기에는 에미넴 스타일을 잘 모방한 것으로 보일지라도 비판 세기는 실제 에미넴만큼 강하지 않다는 것이 힙합 리스너들의 의견이다. 해외 힙합 매체 Hnhh는 “디스 수위는 그다지 강하지 않아 아쉬운 부분이 있다. 예를 들어 딥페이크 에미넴이 저커버그의 남자다움에 대한 농담을 할 때, ‘테크계 거물’ 와이프라고 얘기할 때와 같이 말이다”라고 지적했다.

해당 소식을 24일 보도한 디지털트렌드도 “가사에서 ‘당신은 그저 작고 멍청한 인터넷 광대다’라고 말할지언정 이는 기존 에미넴 가사처럼 상대 커리어를 끝장낼 만큼의 힘을 가지진 못한다”라고 말했다.

 

[관련기사]인공지능과 미래의 음악

[관련기사]"AI로 감정을 표현한다면" ...팀 A/S, AI로 작사ㆍ작곡한 앨범 공개

키워드 관련기사
  • 오픈AI 딥페이크가 만든 음악…가짜인가, 창작인가
  • "그래 죽어버려" 인공지능 GPT3가 '악플'을 달았다
  • "트럼프가 왜 거기서 나와?"…딥페이크 저격 나선 딥페이크 풍자 쇼