미국 미네소타대학교의 한 박사과정 학생이 틱톡(TikTok) 댄스 영상과 인공지능(AI) 기술을 기반으로 3D 아바타를 구현해냈다. 향후 이 같은 연구 성과가 실용화될 수 있다면 자신의 틱톡 영상만 가지고도 손쉽게 나와 닮은 사실적인 아바타를 만들어 활용할 수 있을 것으로 보인다.
틱톡은 15초~1분 분량의 짤막한 비디오 형식 영상을 제작‧공유할 수 있는 글로벌 숏폼(short-form) 동영상 플랫폼이다. 코로나19로 집 밖 외출이 어려워지자 답답함을 느낀 많은 이들이 틱톡에 직접 영상을 만들어 올리면서 새로운 형태의 영상 소비문화가 생겨났다. 특히 틱톡에서 댄스 챌린지를 통해 본인이 춤추는 영상을 올리는 게 유행하면서 수많은 틱톡 댄스 영상들이 쏟아져 나왔다.
미네소타대 박사과정에 재학중인 야사민 제프리언(Yasamin Jafarian)은 이 같은 틱톡 댄스 영상들을 컴퓨터 알고리즘에 적용, 프레임별 데이터를 사용해 실제 사람과 닮은 3D 아바타를 구현해냈다. 컴퓨터 비전 분야를 전공한 제프리언은 기존의 아바타 대다수가 만화 같다는 생각을 했다고 한다. 이에 기계학습(ML)과 인공지능을 기반으로 보다 사실적인 모습의 아바타를 만들고자 했다.
엔터테인먼트 산업계에서는 컴퓨터 그래픽 이미지(CGI) 기술을 통해 영화나 비디오게임에서 배우들의 실물과 똑같은 아바타를 구현해왔다. 영화 제작자는 실제 같은 아바타를 만들어내고자 수천 대의 고성능 카메라를 동원해 사람의 몸을 스캔하고 컴퓨터에서 이를 복제한다. 하지만 일반 사람들에게는 이러한 3D 아바타를 만들기 위해 사용할 수 있는 자원·자금·기술력 모두 부족한 게 현실이다.
제프리언은 알고리즘 설계와 훈련을 위해 약 1,000개에 달하는 틱톡 영상을 봤다. 그리고 데이터세트에 있는 10~15초 길이의 영상 340개를 사용해 초당 30 프레임 속도의 영상에서 춤추는 사람들의 이미지 10만 개 이상을 모았다. 틱톡 댄스 영상은 일반적으로 한 사람이 등장해 다양한 포즈로 몸 전체를 보여주기 때문에 알고리즘 훈련에 필요한 대규모 데이터세트를 구축하는 데 매우 유용하다는 것.
그는 자신이 개발한 알고리즘을 사용해 정면에서 바라본 모습의 3D 아바타를 생성하는 데 성공했다. 해당 주제에 관한 논문은 ‘컴퓨터 비전 및 패턴 인식 컨퍼런스 학술대회(CVPR) 2021’에서 수상하기도 했다(‘Best Paper Honorable Mention Award’). 이러한 연구 성과를 통해 평범한 사람들도 휴대폰 카메라만 있으면 자신과 닮은 3D 아바타를 자유롭게 만들어 온라인 가상세계에서 사용할 수 있었으면 좋겠다는 게 그의 바람이다.
간단한 방법으로 더욱 실감나는 디지털 아바타를 만들어낼 수 있다면 오큘러스(Oculus) VR 고글 등을 사용해 보다 생생하게 상호작용할 수 있는 가상환경을 구축할 수 있을 것으로 보인다. 제프리언은 앞으로도 계속 해당 알고리즘을 보완‧개선해나갈 계획이다.
현재 VR에서 3D 아바타를 만드는 방법은 여러 가지가 있지만 아바타를 사용하는 실제 이용자의 모습과는 차이가 있다. 그러나 이용자 실물에 근접한 아바타가 가상세계 매장에서 마음에 드는 티셔츠를 입어보며 쇼핑하는 시대가 한발 더 가까워진 듯하다.
AI타임스 윤영주 기자 yyj0511@aitimes.com
[관련기사] 인공지능이 만들어낸 실감나는 3D 얼굴들
[관련기사] 메타, 사실적인 아바타를 개발하는 AI 플랫폼 출시
