스태빌리티 AI, 360도 3D 렌더링 영상 제작 AI 출시.."게임·커머스에 유용"

스태빌리티 AI가 사진 한장으로 360도 멀티 뷰(multi view)을 생성하는 3D 비디오 랜더링 생성 AI 도구를 출시했다. 게임 제작이나 커머스에 유용하다는 설명이다.

벤처비트는 19일(현지시간) 스태빌리티 AI가 3D 렌더링 비디오 생성 모델 '스테이블 비디오 3D(SV3D)’'를 출시했다고 보도했다.

이에 따르면 SV3D는 카메라 설정을 통해 다양한 각도에서 본 물체의 3D 비디오를 생성해준다. 이는 이전 제품인 ‘스테이블 제로123(Stable Zero123)’ 모델보다 자연스럽고 우수한 비디오 품질과 멀티뷰를 제공한다고 소개했다.

바룬 잠파니 스태빌리티 AI 수석 연구원은 “SV3D는 이전 제품인 스테이블 제로123의 후속 제품이자 개선 버전으로 볼 수 있다”며 “단일 이미지를 입력으로 사용하고 새로운 뷰 이미지를 출력하는 새로운 뷰 합성 네트워크”라고 말했다.

스테이블 제로123은 이미지 생성 모델인 ‘스테이블 디퓨전(Stable Diffusion)’을 기반으로 한번에 하나의 이미지를 생성하는 반면, SV3D는 비디오 생성 모델인 ‘스테이블 비디오 디퓨전(Stable Video Diffusion)’ 모델을 기반으로 여러개의 새로운 뷰를 동시에 생성한다. 

특히 물체에 대한 일관되고 새로운 다중 뷰 이미지를 생성하는 것이 강점이다. 스태빌리티 AI는 모든 각도에서 일관성있는 뷰를 제공한다고 강조했다.

새로운 뷰 합성 기능 외에도 3D 메시 최적화를 목표로 한다. 다중 뷰 일관성을 활용해 생성한 새로운 뷰에서 직접 고품질 3D 메시를 생성할 수 있다.

SV3D에는 ▲SV3D_u ▲SV3D_p 2가지 옵션이 있다. SV3D_u는 카메라 조절 없이 단일 이미지 입력을 기반으로 궤도 비디오를 생성한다. SV3D_p를 사용하면 사용자가 원하는 경로에 있는 개체 주위의 카메라 움직임으로 3D 비디오를 생성할 수 있다. 조명 효과를 개별적으로 조정할 수도 있다.

잠파니 수석 연구원은 "SV3D는 특히 게임 부문에서 3D 자산을 생성하는 데 유용한 도구"라며 “게다가 전자상거래에 유용한 360도 회전 영상 제작이 가능, 더욱 몰입감 있고 인터랙티브한 쇼핑 경험을 제공한다”라고 말했다.

스태빌러티AI 유료 회원은 상업적 목적으로 사용 가능하다. 비상업적 용도의 경우 허깅페이스에서 모델 가중치를 다운로드하고 연구 논문을 참조할 수 있다.

박찬 기자 cpark@aitimes.com