메타버스용 3D 이미지 생성 AI모델도 나왔다...엔비디아, ‘GET3D’ 출시

엔비디아가 메타버스를 채울 건물, 차량, 캐릭터 등 다양한 객체의 3D 이미지를 생성하는 AI 모델 ‘겟3D(GET3D: Generate Explicit Textured 3D)’를 출시했다고 23일(현지시간) 블로그에 밝혔다.

겟3D는 1개의 2D 이미지 입력으로 모든 토폴로지와 고품질 3D 폴리곤 메쉬를 합성할 수 있는 3D 생성 모델이다. 폴리곤 메쉬는 3D 프로그램, 게임 엔진 또는 영화 렌더러와 같은 그래픽 소프트웨어로 원활하게 가져올 수 있는 표준 형식인 삼각형으로 구성된다. 

3D 객체를 가져온 후 크기를 조정하거나 회전하고 조명을 밝히는 등 편집을 할 수 있다. 

또 엔비디아의 스타일간-네이다(StyleGAN-Nada)를 사용하면 텍스트 명령만 사용해 3D 모델의 모양이나 텍스쳐를 추가로 변경할 수 있다. 일반 자동차를 경찰차로 변환하는 식이다. 텍스쳐는 실제 물체를 표현하기 위해 폴리곤 메쉬의 표면에 입혀지는 이미지다. 

겟3D는 2단계 생성 프로세스로 구성된다. 지오메트리(geometry) 분기는 원하는 토폴로지로 폴리곤 메쉬를 생성한다. 텍스처 분기는 폴리곤 메쉬의 표면 지점에서 색상이나 재질을 나타낼 수 있는 텍스처 필드를 생성한다.

마지막으로 적대적생성네트워크(GAN)와 마찬가지로 판별자는 3D 모델의 합성 사진을 기반으로 출력 품질을 평가하고 대상 이미지와 일치하도록 지속적으로 최적화한다. 

다양한 카메라 각도에서 캡처한 3D 모양의 약 100만개의 2D 이미지로 구성된 합성 데이터에 대해 겟3D를 훈련했다. 겟3D가 생성할 수 있는 3D 모델은 훈련 데이터에 따라 다르다. 훈련 데이터 세트가 더 크고 다양할수록 생성되는 3D 모델이 더 자세하고 다양해진다.

예를 들어 합성 자동차 또는 동물 이미지로 시스템을 훈련하면 3D 자동차 또는 동물을 생성할 수 있다. 2D 자동차 이미지의 훈련 데이터 세트를 사용해 세단, 트럭, 경주용 자동차 및 밴 컬렉션을 만든다. 동물 이미지로 훈련하면 여우, 코뿔소, 말, 곰과 같은 동물이 나온다. 주어진 의자에 대해 모델은 다양한 회전 의자, 식당 의자 및 아늑한 안락의자를 생성한다. 

산자 피들러 엔비디아 AI 연구 부사장는 "겟3D는 AI 기반 3D 콘텐츠 제작의 민주화에 한 걸음 더 다가갈 수 있게 해줄 것"이라고 말했다.

이번에 공개한 겟3D는 한 번에 하나의 개체만 훈련할 수 있다. 그것도 알려진 카메라 위치에서 생성한 합성 이미지만 가능하다. 하지만 향후에는 카메라 위치 추정 기술을 사용해 실제 데이터를 가지고 모든 종류의 3D 모양을 한 번에 훈련할 수 있도록 할 계획이다.

박찬 위원 cpark@aitimes.com

[관련기사]“사진 한 장으로 모든 각도의 사진 생성해”…2D를 3D로 변환하는 AI 모델

[관련기사]인공지능이 만들어낸 실감나는 3D 얼굴들