인공지능 통해 더욱 자연스러운 시각특수효과(VFX) 구현 가능해져
"영화산업의 시각특수효과(VFX)에서는 게임처럼 실시간으로 뭔가를 해야 하는 것이 아니기 때문에 결국 최종 결과물이 잘 나오는 것이 무엇보다 중요합니다. 이를 위해서는 딥러닝에 있어 데이터셋이 핵심인 만큼 고품질의 데이터셋이 필요합니다."
엄해광 웨타디지털(Weta Digital) 연구위원은 8일 서울 코엑스 그랜드볼룸에서 열린 '인공지능(AI) 월드(World) 2022 : 테크 & 퓨쳐(Tech & Future)'의 기조강연자로 나서 이 같이 강조했다. 헐리우드의 유명한 시각효과 전문회사인 '웨타디지털'의 연구원인 그는 이날 '헐리우드는 왜 AI에 열광하는가?'를 주제로 영화산업에서 이뤄지고 있는 다양한 AI 도입 사례를 통해 심도 있는 이야기를 풀어갔다.
"대부분의 상업영화에서 이제 'VFX'는 필수적 요소"
엄해광 연구위원은 "요즘 상업영화 대다수가 시각특수효과(VFX) 기술을 사용하고 있다고 해도 과언이 아니다"며 상업영화 제작에 있어 이제 VFX는 필수불가결한 요소임을 강조했다. 'VFX(Visual Effect)'는 보통 기본적인 촬영 영상 위에 합성을 하거나 가상의 캐릭터를 얹는 등 영상 콘텐츠에 들어가는 다양한 특수효과들을 총칭하는 말로 쓰인다. '쥬라기 월드'의 공룡과 같이 현실에 존재하지 무언가를 표현하거나 비용적 측면에서 콘텐츠를 효율적으로 제작하고 완성도를 높이기 위해 영화산업에서 VFX 기술이 적극 활용되고 있는 추세다.
엄 연구위원은 크게 ▲프리 프로덕션 ▲메인 프로덕션 ▲포스트 프로덕션 등 3단계로 나눠 '3D 프로덕션 파이프라인'을 소개했다. 프리 프로덕션은 영화 촬영 전 프로덕션을 위한 준비를 하는 단계다. 스토리보드와 콘셉트 아트 작업은 물론, 특히 최근엔 실제 제작에 앞서 '프리비즈(Pre-visualization)'를 통해 콘티를 토대로 1차적으로 미리 영화를 만들어보는 작업도 활발하게 이뤄지고 있다.
그리고 메인 프로덕션 단계에서는 카메라 구도를 잡는 레이아웃을 비롯해 모델링(Modeling)과 리깅(Rigging), 애니메이션, FX 시뮬레이션, 렌더링(Rendering) 등의 작업이 진행된다. 이어 모든 요소를 모아 합성하고 수정·완성하는 단계가 포스트 프로덕션이다. 엄해광 연구위원은 단계별로 상세한 설명과 함께 다양한 예시를 들어 이해를 도왔다. 이 같은 VFX 기술에 대한 연구개발이 필요한 이유는 결국 더욱 좋은 장면을 연출해 고품질의 작품을 만들어내기 위한 것이라는 게 그의 설명이다.
AI로 시각특수효과를 더욱 자연스럽게…작품 완성도 높인다
특히 최근에는 VFX 작업에 AI 기술이 접목되면서 훨씬 더 높은 완성도의 영화 작품들이 탄생하고 있다. 엄해광 연구위원은 VFX와 AI가 결합된 영화 사례로 윌 스미스가 주연의 액션영화 '제미니 맨'을 꼽았다. 이 영화에서 윌 스미스는 1인 2역을 맡아 20대의 젊은 클론 캐릭터와 50대의 요원 캐릭터 사이를 오가며 열연을 펼쳤다. 20대의 윌 스미스와 50대의 윌 스미스를 동시에 불러낼 수 있었던 배경에는 바로 AI 기술이 있었다. 페이셜 애니메이션(Facial Animation)과 딥러닝이 적용돼 보다 효율적으로 실감나고 정교한 젊은 윌 스미스의 표정을 만들어낼 수 있었다는 것.
마틴 스코세이지 감독의 '아이리시맨' 영화에서도 '디에이징(de-aging)'을 위해 AI 기술이 동원됐다. 제미니 맨과는 달리 원로배우들의 젊은 버전을 등장시키기 위해 AI 기술을 활용해 이들이 과거 젊은 시절 연기했던 영화에서 최대한 비슷한 장면들을 찾아 얼굴 표정 데이터를 수집하고 3D 모델링을 해서 자연스러운 이미지를 구현해냈다.
또 엄 연구위원은 애니메이션 이미지와 실사 동화상(live action) 이미지를 합성시키는 기법인 '로토스코핑'이나 '렌더링' 등의 작업에서도 AI 기술이 유용하게 쓰이고 있다고 전했다. 그는 뉴럴 렌더링(Neural Rendering)의 사례로 폴란드 영화 '더 챔피언'을 들었다. 그는 "이 영화의 영어 버전을 만드는 데 실제 더빙을 해서 영어로 녹음한 후 뉴럴 렌더링 기술로 배우의 입 모양이 마치 영어를 말하는 것처럼 자연스러운 입술 움직임으로 합성된 것을 볼 수 있다"고 설명했다.
엄해광 연구위원은 "사실 VFX에서는 게임처럼 실시간으로 뭔가를 해야 하는 것이 아니기 때문에 결국 최종 결과물이 잘 나오는 것이 무엇보다 중요하다"고 강조했다. 이어 그는 "이를 위해서는 고품질의 데이터셋이 필요하다"고 덧붙였다. 딥러닝에 있어서도 데이터셋이 핵심인 만큼 데이터셋을 잘 학습시키는 동시에 정확도를 높여야 한다는 제언이다.
엄해광
현) 웨타디지털 연구위원
※ 웨타디지털 : 반지의 제왕, 킹콩, 아바타 등 헐리우드 유명 CG업체
AI타임스 윤영주 기자 yyj0511@aitimes.com
[관련기사] 한국영화 칸 휩쓸었다…AI가 주연상 받을 날 올까
