2016년 수술 후유증으로 대사를 말하는데어려움 겪어
영국 벤처 업체, 음성 모델 만들어 목소리 연기 지원
합성 통해 발 킬머의 기존 출연작들에서 목소리 모방
인공지능(AI)이 새 영화 '탑건 매버릭'에서 수술 후유증으로 어려움을 겪는 영화배우 발 킬머의 목소리 연기에 도움을 준 것으로 나타났다.
미 경제지 포츈은 과학자들이 AI를 사용해 컴퓨터로 생성된 배우 음성을 복제하고 발 킬머의 아이스맨이라는 역할을 할 수 있도록 지원했다고 2일 보도했다.
배트맨 포에버, 더 도어스, 히트와 같은 영화에서 주연을 맡은 킬머는 2014년 인후암 진단을 받고 기관절개술을 받은 후 목소리에 돌이킬 수 없는 손상을 입었다. 그는 나중에 방송 인터뷰에서 수술 후 연기하는 것을 새로운 언어를 배우는 것에 비유하기도 했다.
지난해 8월, 런던의 신생기업인 소난틱(Sonantic)은 킬머와 협력해 배우를 위한 AI 기반 음성을 만들었고, 결국 새 영화 탑건 매버릭에서 쓰이게 됐다. 존 플린 소난틱 CTO 겸 공동 설립자는 당시 블로그 게시물에서 “우리의 목표는 처음부터 발 킬머가 자랑스러워할 만한 음성 모델을 만드는 것이었다”며 “앞으로 어떤 창의적인 프로젝트가 됐든 새로운 도구를 제공해 그의 목소리를 다시 찾게 하겠다”고 밝혔었다.
소난틱은 AI를 사용해 컴퓨터에서 생성된 음성을 완전히 합성하거나 실제 사람의 음성을 모방한다. 이 음성은 비디오 게임, 할리우드 사운드 프로덕션, 언어 치료 등에 사용돼 왔다. 이 회사가 킬머를 위해 만든 음성은 전적으로 합성이고 배우의 오래된 녹음 내용을 모방하는 방식이다.
보통 이 회사가 배우와 함께 음성 모델을 만들 때 배우는 대본에서 읽은 대사를 녹음하지만, 소난틱은 킬머의 경우 ‘좀 더 많은 수동 작업’이 필요했다고 밝혔다. 킬머(사진)의 오래된 오디오 녹음 내용 대신 회사는 ‘음성 엔진’을 사용해 음성 모델에 킬머처럼 말하는 방법을 가르쳤다.
소난틱에 따르면 이 프로젝트에서는 일반적인 프로젝트에서 제공했던 것보다 약 10배 적은 데이터뿐이어서 추진에 어려움이 있었다. 회사는 사용 가능한 데이터를 사용해 고품질 음성 모델을 생성할 수 있는 새로운 알고리즘을 개발하기로 결정했다.
플린 대표는 “결국 우리는 40개 이상의 다양한 음성 모델을 만들어 가장 뛰어난 품질과 표현력을 갖춘 음성 모델을 선택했다”며 “이러한 새로운 알고리즘이 이제 음성 엔진에 내장돼 향후 고객들도 자동으로 활용할 수 있게 됐다”고 설명했다. 음성 모델이 제작되고 나면 크리에이티브팀이 텍스트를 입력해 연기를 미세 조정할 수 있었다.
킬머는 프로젝트가 끝날 무렵 “상상할 수 없는 방식으로 내 목소리를 훌륭하게 복원했다”며 “의사소통 능력이 우리들 존재의 핵심인데 인후암 후유증은 다른 사람들이 나를 이해하기 어렵게 만들었다. 내 이야기를 진실하고 친숙한 목소리로 말할 수 있는 기회가 정말 특별한 선물과 같다”라고 했다.
소난틱의 ‘음성’은 최근 AI 분야에서 많은 혁신을 이룩한 전용 딥 러닝 소프트웨어를 사용해 개발됐다. 소난틱은 음성을 생성하는 데 사용하는 특정 시스템에 대한 자세한 내용은 밝히지 않았다.
가짜 음성을 만드는 데 사용할 수 있는 AI 최고의 혁신 중 하나로는 2016년에 구글 딥마인드에서 처음 개발한 기술인 웨이브넷(WaveNet)이라는 학습 시스템을 들 수 있다. 구글은 웨이브넷을 사용해 장치의 가상 비서를 만들고 있고, 이 기술을 이용해 구글 듀플렉스 어시스턴트에서 현실적인 목소리를 내고 있다.
그러나 이 기술에는 몇 가지 잠재적인 단점이 있다. 지난해 은행 사기 사건에서 가짜 음성이 사용돼 범죄자들이 UAE에 있는 한 회사 임원의 음성을 복제한 후 3500만 달러(438억원)를 훔친 것처럼 범죄에 활용될 수 있는 악용 가능성이 드러났다.
AI타임스 이한선 객원 기자 griffin12@gmail.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com