카카오브레인(대표 김일두)이 새로운 ‘페이스 스와핑(face-swapping)’ 모델을 개발했다. '아이덴티티 임베딩(Identify Embedding)'기능이 향상돼 기존 모델보다 간소화됐다. 향후 가상인간, 메타버스 등 다양한 산업에 적용할 수 있을 전망이다. 연구 성과는 다음 달 열리는 ‘CVPR 2022’에서 발표할 예정이다.
페이스 스와핑(face-swapping)은 사용자들이 틱톡, 스냅팻 등 SNS에서 본인 얼굴을 촬영한 뒤 이를 다른 얼굴로 바꿀 때 흔히 쓰는 기술이다. 기존 모델은 자연스러운 페이스 스와핑을 위해 3D 페이스 모델링 등 여러 요소들을 적용했다. 이를 통해 모델 아키텍처가 복잡해져 정교한 초매개 변수 조정(hyperparameter tuning)이 추가로 필요한 번거로움이 있었다.
이를 극복하기 위해 카카오브레인은 새로운 요소를 추가하는 대신, 하나로 통합된 '아이덴티티 임베더(identity embedder)'를 구축했다. 또 안정적이고 일관된 '아이덴티티 그래디언트(identity gradient)'를 확보함으로써 자연스러운 페이스 스와핑이 가능하도록 했다.
해당 모델은 비디오가 재생 중인 상황에도 페이스 스와핑이 가능해 경쟁력 있다. 차별화된 아이덴티티 임베딩 접근 방식을 통해 대상 얼굴 형태를 변경할 때 고품질 이미지를 생성할 수 있다. 향후 해당 모델을 통해 가상 인플루언서, 쇼호스트, 아나운서 등 다양한 직업군에 디지털휴먼을 적용할 수 있을 전망이다.
김일두 카카오브레인 대표는 “혁신적인 스무스 스와프 모델을 공개해 매우 기쁘다”며 “해당 모델이 페이스 스와핑 기술 분야 혁신을 가속화해 메타버스와 디지털 휴먼 서비스 구현에 기여할 것”이라고 자신했다.
카카오브레인은 이번에 개발한 페이스 스와핑 연구 성과를 담은 논문을 6얼에 열리는 국제 학술대회 ‘CVPR 2022’ 오럴 세션에서 발표할 예정이다. 논문 제목은 ‘Smooth-Swap: A Simple Enhancement for Face-Swapping with Smoothness’다.
AI타임스 김미정 기자 kimj7521@aitimes.com
