[AI로 만드는 컬처] ④AI, 영화를 (리)메이크하다

20세기 말, 컴퓨터 그래픽 기법과 디지털 영상 장비가 필름 중심의 영화산업을 디지털 체제로 혁신했다. 21세기 과도기가 지난 오늘날, 디지털 영화 산업은 이제 인공지능(AI)과 머신러닝(ML)이 재창조하고 있다. AI와 ML 기술은 실제보다 더 사실적인 디지털 캐릭터를 만들고, 배우의 외모를 젊은 시절 모습으로 되돌려 상상을 구현하며, 오래된 필름을 복원해 영화에 새로운 생명을 불어넣는 등 영화를 창조하는 아티스트로서 잠재력을 발휘한다.
 

‘페이스파인더’가 70대 노장배우를 전성기 모습으로

2019년 개봉한 마틴 스콜세지 감독의 영화 <아이리쉬맨>은 AI 활용에 있어 기념비적 작품이다. 이 작품에 사용된 AI 기반 시각효과 기술 페이스파인더(Facefinder)는 로버트 드 니로, 알 파치노, 조 페시를 젊은 시절 외모로 되돌렸다.

<아이리쉬맨>의 주요 시대적 배경은 1950년대에서 1970년대 미국이다. 시대 배경에 따라 살인청부업자, 노동운동가, 마피아 두목 등의 역할을 맡은 3명의 70대 노장 배우들은 20대에서 50대의 젊은 모습으로 연기를 해야만 했다. 물론, 이들의 연기는 손색이 없다. 하지만, 제작진이 해결해야 하는 문제는 대역을 쓰지 않고 70대 배우들을 젊은 시절 외모로 어떻게 묘사하느냐였다.

<벤자민 버튼의 시간은 거꾸로 간다>에서 브래드 피트, <캡틴 아메리카: 시빌 워>에서 로버트 다우니 주니어, <제미니 맨>에서 윌 스미스 등이 모션 캡처 장비와 컴퓨터 그래픽 기술을 통해 어린 시절의 모습으로 등장했었다. 하지만, 스콜세지 감독은 배우들의 얼굴에 부착하는 디지털 장비들이 배우들의 연기를 방해한다고 생각해 기존 방식을 사용하지 않았다.

감독의 요청에 따라 촬영팀은 디지털 카메라에 적외선 카메라 2대를 결합해 배우의 모습을 3D 형상(3D Geometry)으로 촬영했다. 이후 배우의 얼굴을 20대에서 30대의 얼굴로 되돌리는 데 AI 힘을 활용했다. 이를 위해 영화에서 시각효과를 담당한 ‘인더스트리얼 라이트 & 매직(ILM)’은 AI 소프트웨어 페이스파인더를 개발했다.

페이스파인더는 주연을 맡은 드 니로, 알파치노, 조 페시 등의 배우들이 젊은 시절에 등장한 영화 약 2년 분량을 학습했다. 이를 토대로 배우 연령대, 얼굴 표정, 카메라 각도, 조명 등을 고려해 <아이리쉬맨> 내 각 장면에 등장하는 70대 배우들의 주름진 얼굴을 대체할 가장 적합한 젊은 얼굴을 선별했다.

시각효과 아티스트는 페이스파인더가 선별한 자료에 컴퓨터 그래픽 기술을 적용해 최종적으로 노장 배우들의 얼굴을 20대에서 50대 시절에 가까운 모습으로 재창조했다. 사실 이 디에이징 작업은 젊은 시절을 재창조했다기보다는 그때 그 시절의 모습을 복원했다고 말하는 것이 정확하다. 옛 영화 속 배우들의 젊은 시절 얼굴을 페이스파인더가 ‘찾은’ 것이기 때문이다.

디지털 휴먼 클로닝에서 AI 기반 인터랙티브 디지털 휴먼으로

앞서 소개했던 <아이리쉬맨>의 사례처럼 시각효과 분야에서는 오래전부터 배우를 사실적으로 화면에 재현하는 기술들이 개발됐다. 특히 디지털 배우 얼굴에서 ‘언캐니밸리’가 느껴지지 않을 만큼 사실적으로 제작하는 시각효과 기술들은 최근까지 발전을 거듭해 왔다.

우리가 일상에서 가장 많이 보면서 지내는 것이 사람 얼굴이기 때문에 관객은 배우 얼굴에 민감할 수밖에 없다. 시각효과 분야에서는 그런 관객들이 영화에 몰입할 수 있게 디지털 휴먼 클로닝 기술을 발전시켜 왔다.

실시간 컴퓨터 그래픽스와 ML기술 발전으로 인해 디지털 휴먼을 화면에 재현하는 데서 나아가, 인간과 상호 작용할 수 있는 ‘인터랙티브’ 디지털 휴먼 개발이 활발하게 이뤄지고 있다. 해당 기술은 주로 게임에 이용해왔지만 최근 들어 영화에도 도입하는 추세다.

카메라를 통해 외부 환경을 인식하는 컴퓨터 비전(computer vision)이 인간과 디지털 휴먼의 소통을 가능하게 만든다. 컴퓨터 비전 기술은 디지털 휴먼에게 눈을 부여하고 음성 인식과 합성 기술은 귀와 입이 된다. 실시간 개발 엔진으로 구현한 사실적인 얼굴은 모션 캡처 기술을 통해 획득한 데이터를 이용해 표정을 짓는다.

이 대부분의 기술들은 ML에 의해 급속히 발전하여 디지털 휴먼의 외형과 감각 기관을 구성하게 됐다. 여기에 우리 뇌와 같은 역할을 하게 될 AI가 연결되면 인터랙티브 디지털 휴먼이 완성된다.

현재 저마다 다른 기법과 목표를 가지고 다양한 디지털 휴먼들을 개발하고 있다. 위 이미지는 필자(유태경)가 중앙대학교 예술공학대학에서 개발한 디지털 휴먼 프로토타입이다. ML 기반 실시간 얼굴 표정 인식 프로그램인 하이퍼페이스(Hyprface)를 이용해 관객 얼굴에 나타나는 감정을 인식한 후 공감을 표현하는 디지털 휴먼을 디자인했다. AI와 ML 기술을 어떻게 활용할 것인가에 따라 다양한 형태의 디지털 휴먼이 등장하는 시대가 열리고 있다.
 

컴퓨터 그래픽 아티스트가 된 AI

오늘날 영화제작에 핵심인 컴퓨터 그래픽 작업 상당 부분은 여전히 수작업 집약형이다. 모션캡처(motion capture), 매치무빙(Match Moving), 모션트랙킹(Motion Tracking), 로토스코핑(Rotoscoping), 3D애니메이션 등이 대표적인 분야다. 컴퓨터 그래픽으로 만들어진 배경이나 캐릭터 등을 보다 사실적으로 관객에게 선보이기 위해 이 영역들에 더욱 많은 컴퓨터 그래픽 아티스트들이 투입되어야 한다.

이러한 영역에서 최근 AI와 ML 기술이 작업 효율과 정확도를 향상하고 있다. 앞서 예로든 컴퓨터 그래픽 기술 중에 로토스코핑은 보통 그린 스크린을 배경으로 촬영한 장면에 컴퓨터 그래픽으로 제작한 배경 장면을 합성하는 데 사용하는 기술로, 가장 정교한 수작업이 필요하다.

최근 호주의 코그낫(Kognat) 회사에서 ML 기반 로토스코핑 알고리즘 ‘로토봇 (Rotobot)’을 선보였다. 로토봇은 영상에서 인물, 자동차, 비행기, 새, 자동차, 고양이, 말, 기차 등 대상을 자동으로 배경에서 오려내는 기술이다. 로토봇이 더 많은 학습을 진행하면 자동으로 인식해 분리할 수 있는 대상은 끝없이 늘어날 것이다.

미국 캘리포니아 실리콘벨리 스타트업 기업인 어레이(ARRAIY)도 ML과 컴퓨터 비전을 기반으로 하는 컴퓨터 그래픽 SW를 선보였다. 어레이 SW는 실시간으로 실제 촬영 장면에 컴퓨터 그래픽 이미지를 합성하는 자동화된 시각효과 프로그램이다. 2017년 시각효과 회사 밀(The Mill)과 어레이는 각자의 기술을 결합해 단편 레이싱 영화 <휴먼 레이스>를 제작했다. AI와 ML이 선사할 근 미래의 영화 제작환경을 엿볼 수 있다.

이러한 AI와 ML 기반 컴퓨터 그래픽 기술은 작업 효율성을 극대화할 뿐만 아니라, 포스트코로나 시대에 수요가 늘어날 것으로 보는 가상현실 콘텐츠 제작과 버추얼 프로덕션 분야에 필수적으로 사용될 것으로 예측되고 있다.
 

AI, 옛날 영화에 새로운 생명력을 불어 넣다

디지털 기술은 20세기 말부터 필름으로 제작된 영상자료 복원에 널리 활용되었다. 유실된 화면 복구, 자막 제거, 먼지 제거 등 복원 작업에 있어 디지털 영상 기술은 사람의 복원 기술을 뛰어넘은 지 오래다. 하지만 필름 원본에 기록된 이미지 자체의 품질을 개선하는 것은 또 다른 영역이다. 여기서 AI와 ML 잠재력이 발휘되고 있다.

20세기 초 무성영화 시절에 제작된 영화의 경우 초당 프레임 수가 일정하지 않아 영상 움직임이 자연스럽지 않다. 이 경우 프레임과 프레임 사이 움직임을 계산해 중간에 들어간 새로운 프레임을 생성해주는 AI 프로그램 ‘DAIN(Depth-Aware Video Frame Interpolation)’을 활용하면 최대 초당 60프레임의 자연스러운 영상으로 재창조할 수 있다.

이러한 AI 기술은 특히 디지털 시대 이전에 제작된 영상 화질을 개선할 때 필수적이다. 작년 열린 한국영화 100주년 기념 행사에서는 SK텔레콤이 개발한 ‘5GX 슈퍼노바’ AI 기술을 통해 4K 화질로 재탄생한 유현목 감독의 <오발탄>이 상영된 바 있다.

또한 사물의 종류와 색을 사전 학습한 AI와 ML 기술을 활용하면 흑백으로 촬영한 영화를 컬러 버전으로 바꿀 수도 있다. 영화라는 장치를 처음으로 개발했던 뤼미에르 형제의 1896년 영화 <눈싸움(Snowball Fight)>이 최근 AI 기반 영상 SW ‘디올디파이(DeOldify)’에 의해 컬러로 재탄생해 화제가 된 바 있다. 한국 흑백영화 걸작들이 컬러로 새롭게 만들어져 극장에서 다시 관객과 만나는 날을 기다려본다.

영화 예고편 제작하는 AI, 마케팅 분야서도 활약

영화 산업에서 AI와 ML의 영향력은 영화 제작이나 복원에만 국한되지 않는다. 디지털 기술이 영화 제작 후반작업에서부터 시작해 영화산업 전체를 혁신한 것처럼, AI와 ML 기술이 향후 이 역할을 하게 될 것으로 예측한다. 현재 이 기술 도입을 시도 하고 있는 분야 중 하나는 영화 마케팅 분야다.

우리는 보통 영화 예고편을 통해 어떤 영화를 볼지 결정한다. 따라서 전체 영화 이야기를 2-3분 분량 예고편으로 압축하는 작업은 영화 마케팅에서 매우 중요하다. 그동안 예고편을 제작하는 것은 영화 전체 문맥을 파악할 수 있는 인간의 영역이었다. 하지만 최근 AI를 활용한 영화 예고편 제작 사례가 등장했다.

IBM이 개발한 AI SW ‘왓슨(WASTON)’이 제작한 SF영화 <모건>의 예고편이 대표적이다. 왓슨은 <모건> 내 장면들을 공포, 평온, 슬픔, 행복 등 다양한 감정으로 분석하고, 예고편에 넣기에 가장 적합한 10개 정도 장면을 선별했다. 물론 선별된 장면들을 인과관계에 따라 극적으로 재구성하는 마지막 작업은 인간 편집자가 담당했다.

하지만 왓슨은 보통 10일에서 30일 정도 걸리는 예고편 작업을 24시간으로 줄였다. 지금은 제작 시간 단축에 주로 기여하고 있지만, 미래에는 왓슨이 예고편 최종 편집을 담당할 것이다.

AI와 ML이 영화제작에 기술적 존재감을 발휘하기 시작한 이후, 영화산업은 이전에는 구현할 수 없는 이야기를 관객들에게 선사하게 될 것이다. 이들 기술은 기술을 넘어서는 기술로서 앞으로 영상 콘텐츠를 만드는 방식을 혁신적으로 바꾸어 나갈 것이다.

20세기 말 디지털로의 전환이 꿈틀거리던 시기, 독일의 미디어 학자 노르베르츠 볼츠는 기술의 역할과 인간의 역할이 확실하게 구분되는, 기술과 인간이 공존하는 포스트휴먼 세계가 도래할 것을 주장했다. 여기서 기술의 역할은 정보를 처리하는 것이고, 인간의 경우 정보의 의미를 읽고 창조적인 작업 수행을 담당했다. 하지만 이러한 20세기 말에 등장한 인간과 기술의 공존 관계와 경계는 AI와 ML 등장으로 허물어지고 있다.

그렇다면 이제 인간이 찾아야 하는 제 역할은 무엇인가? AI와 ML이 창조자와 해석자 역할을 담당하고 있는 오늘날, 우리 인류가 고민해야 하는 것은 AI 역할이라기보다는 우리 인류가 기술과 함께 공존할 새로운 위치다.

 [글 싣는 순서]