인공지능(AI)이 영상 속 배우의 나이를 조절해주는 시대가 열렸다. 더이상 배우들의 나이를 조절하기 위해 분장할 필요가 없어지게 됐다.
디즈니가 TV나 영화에서 배우들의 시각적 나이를 바꿔주는 새로운 신경망을 만들었다고 기즈모도가 30일(현지시간) 보도했다.
이 기술을 활용하면 TV 또는 영화 제작 비용과 시간을 대폭 줄일 수 있을 것으로 기대된다. 배우의 나이를 자동으로 늘리거나 줄일수 있다.
전통적으로 비디오나 영화를 제작할 때 배우를 더 늙거나(aged) 젊어(de-aged) 보이도록 하려면 3D 스캐닝 및 3D 모델링 프로세스를 사용하거나 포토샵과 유사한 도구를 사용해 2D 프레임의 배우 얼굴을 수정한다. 이 과정은 작업 내용에 따라 길면 몇 주 이상 소모하기도 한다.
반면 디즈니가 개발한 새로운 AI 기술인 'FRAN(Face Re-aging Network)'을 활용하면 이런 프로세스를 자동화해 준다. 디즈니는 이를 '비디오 이미지에서 얼굴을 재노화하기 위한 최초의 실용적이고 완전 자동이며 프로덕션 준비가 된 방법'이라고 소개했다.
AI를 사용해 정지 이미지에서 사람을 노화 또는 디에이징시키는 것은 이미 시도되었으며 결과가 충분히 설득력이 있지만 움직이는 비디오에서는 사실적인 결과를 생성하지 못했다. 프레임에서 프레임으로 변경되고 변경된 비디오가 재생되면서 때때로 사람의 모습을 알아볼 수 없게 된다.
FRAN을 구축하기 위해 디즈니는 18세에서 85세 사이의 합성 얼굴 수천 개를 무작위로 생성했다. 그런 다음 기존 AI 도구를 사용해 합성된 얼굴을 재노화시켰고 그 결과를 가지고 사람의 외모가 나이에 따라 어떻게 변하는지 FRAN을 훈련시켰다. 학습된 에이징 원칙을 비디오의 프레임별로 움직이는 실제 배우에게 적용할 수 있다.
FRAN에 얼굴 사진을 입력하면 변경된 얼굴 사진을 생성하는 대신 주름 추가 또는 제거와 같이 나이에 따라 얼굴의 어떤 부분이 변경될지 예측하고 그 결과를 원래 얼굴 위에 추가 레이어로 추가한다.
이 접근 방식은 연기자의 머리가 움직이거나 얼굴이 주위를 둘러보거나 장면의 조명 조건이 시간이 지남에 따라 변하는 경우에도 연기자의 외모와 정체성을 정확하게 보존한다. 또 AI가 생성한 변경 사항을 사용자가 조정하고 수정할 수 있다.
결과는 디즈니가 ‘제작 준비(Production Ready)’ 솔루션이라고 부르는 것이다. 즉, 실제 영화나 TV 프로그램에 사용할 수 있을 만큼 고품질의 출력물을 생성한다는 의미다.
다양한 표현, 조명 조건 및 관점에도 불구하고 비디오에서 배우의 나이를 동적으로 변경할 수 있는 동종 최초의 AI 솔루션이다. 연구원들은 또한 아티스트가 프로덕션 환경에서 도구를 쉽게 사용할 수 있도록 FRAN용 사용자 친화적인 인터페이스를 개발했다.
박찬 위원 cpark@aitimes.com
