스태빌리티 AI가 2D 이미지를 3D 비디오로 변환하는 새로운 AI 모델을 공개했다. 이 모델은 복잡한 작업 없이 2D 이미지를 깊이와 원근감이 있는 몰입감 있는 3D 비디오로 바꿔준다.
스태빌리티 AI는 18일(현지시간) 멀티뷰 확산 모델 모델 '스테이블 버추얼 카메라(Stable Virtual Camera)'를 공개했다.
'버추얼 카메라'는 물리적인 카메라가 없어도 소프트웨어를 통해 웹캠처럼 작동할 수 있도록 해주는 기능으로, 디지털 영화 제작과 3D 애니메이션에서 디지털 장면을 실시간으로 촬영하고 탐색하는 데 사용되는 도구다.
스테이블 버추얼 카메라는 이 개념을 바탕으로 전통적인 버추얼 카메라의 익숙한 제어 방식에 생성 AI를 결합, 3D 비디오 출력을 정확하고 직관적으로 제어할 수 있다.
사용자가 지정한 카메라 각도에 따라 최대 32개의 이미지에서 새로운 시점(view)를 생성할 수 있다. 이 모델은 ‘스파이럴(Spiral)’ ‘돌리 줌(Dolly Zoom)’ ‘무브(Move)’ ‘팬(Pan)’ 등의 동적인 카메라 경로를 따라 이동하는 비디오를 생성할 수 있어, 다양한 촬영 스타일을 제공한다.
현재 연구 미리보기 버전으로 제공되는 스테이블 버추얼 카메라는 최대 1000프레임 길이의 비디오를 정사각형(1대 1), 세로(9대 16), 가로(16대 9) 비율로 생성할 수 있다.
다만, 특정 상황에서는 품질이 낮을 수 있다고 경고했다. 특히 인간이나 동물, 흐르는 물과 같은 ‘동적 텍스처’를 포함한 이미지에서 품질 저하가 발생할 수 있다는 점을 강조했다.
스태빌리티 AI는 "매우 애매한 장면, 물체나 표면이 교차하는 복잡한 카메라 경로, 불규칙한 모양의 물체는 깜박이는 결함을 유발할 수 있다"라며 “목표 시점이 입력 이미지와 크게 다를 경우 문제가 발생할 수 있다”라고 덧붙였다.
스테이블 버추얼 카메라는 비상업적 용도로 연구에 사용될 수 있으며, 허깅페이스와 깃허브에서 모델과 코드를 다운로드할 수 있다.
한편, 중국 텐센트도 최근 3D 변환 서비스를 출시했다.
'훈위안3D-2.0(Hunyuan3D-2.0)' 모델을 기반으로 텍스트나 이미지를 3D 비주얼과 그래픽으로 변환하는 5가지 새로운 AI 서비스다. 이는 텐센트의 게임 및 기타 콘텐츠용 3D 엔진의 업그레이드된 버전을 지원하는 데 사용될 예정이며, 오픈 소스로 제공된다.
박찬 기자 cpark@aitimes.com
