인버스 렌더링 이용해 2D 이미지를 3D 개체로 재구성
2D 정보를 3D 그래픽으로 정의하는 삼각형 메쉬 학습
출력된 3D 개체를 그래픽 엔진에서 즉시 속성을 수정

엔비디아는  사진을 3D 개체로 쉽게 변환할 수 있는 새로운 AI 도구를 만들었다.(사진=엔비디아)
엔비디아는  사진을 3D 개체로 쉽게 변환할 수 있는 새로운 AI 도구를 만들었다.(사진=엔비디아)

엔비디아(Nvidia)가 2차원(2D) 이미지를 사용자가 쉽게 수정할 수 있는 3차원(3D) 개체로 변환하는 AI 도구를 공개했다. 3D 모마(MoMa)라고 불리는 이 기술은 건축가, 디자이너, 컨셉 아티스트 및 게임 개발자가 개체를 그래픽 엔진으로 빠르게 가져와 작업을 시작하고, 크기를 수정하고, 재료를 변경하거나, 다양한 조명 효과를 실험할 수 있도록 한다.

3D 모마는 인버스 렌더링(inverse rendering)을 통해 작업 속도를 높인다. 인버스 렌더링은 일련의 정지 사진을 물체나 장면의 3D 모델로 재구성하는 기술이다. 3D 모마는 기본적으로 GPU 가속을 통해 AI 모델을 훈련해 2D 정보를 3D 그래픽으로 정의하는 데 사용되는 삼각형 메쉬(mesh)로 조각화하는 방법을 학습하고 해당 작업을 수행한다.

예를 들어 게임 스튜디오는 일반적으로 상당한 시간과 수작업이 필요한 복잡한 사진 측량 기술을 사용해 이와 같은 3D 개체를 만든다. 올해 초 엔비디아는 몇 초 만에 일련의 사진을 3D 장면으로 전환할 수 있는 방법을 선보였다. 이 기능은 강력하지만 캡처를 쉽게 편집할 수 있는 삼각형 메쉬를 만들지는 않았다.

[관련기사]사진 몇 장으로 3D 장면 연출...엔비디아, 2D를 3D로 초고속 렌더링하는 AI 기술 개발

3D 모마 렌더링 파이프라인은 이를 변경해 단일 엔비디아 텐서 코어(Tensor Core) GPU에서 1시간 이내에 삼각형 메시 모델을 생성한다. 아티스트나 엔지니어에게 가장 유용한 3D 개체는 게임 엔진, 3D 모델러 및 영화 렌더러와 같이 널리 사용되는 도구에서 사용할 수 있는 형식이어야 한다. 그 형태는 그러한 3D 도구에서 사용되는 질감이 있는 재료로 구성되는 삼각형 메쉬다. 

삼각형 메쉬는 3D 그래픽 및 모델링에서 모양을 정의하는 데 사용되는 기본 프레임이다.(사진=엔비디아)
삼각형 메쉬는 3D 그래픽 및 모델링에서 모양을 정의하는 데 사용되는 기본 프레임이다.(사진=엔비디아)

또한 삼각형 메쉬 모델은  제작자가 이미 사용하는 엔비디아의 옴니버스(Omniverse)와 같은 그래픽 엔진으로 가져와 즉시 속성을 수정할 수 있다. 파이프라인의 재구성에는 3D 메쉬 모델, 재료 및 조명의 세 가지 기능이 포함된다. 메쉬는 삼각형으로 만들어진 3D 모양의 종이 모형과 같다. 이를 통해 개발자는 비전에 맞게 개체를 수정할 수 있다. 재료는 피부처럼 3D 메쉬에 2D 텍스처가 겹쳐진 것이다. 그리고 3D 모마의 장면 조명 추정치를 통해 나중에 개체의 조명을 수정할 수 있다.

엔비디아는 3D 모마의 기능을 선보이기 위해 5가지 재즈 밴드 악기(트럼펫, 트롬본, 색소폰, 드럼 세트, 클라리넷) 각각에 대해 약 100개의 이미지를 다양한 각도에서 수집했다. 3D 모마는 이러한 2D 이미지를 메쉬로 표시되는 각 악기의 3D 표현으로 재구성한 다음 엔비디아 옴니버스 3D 시뮬레이션 플랫폼으로 가져와서 편집했다. 여기에서 모양을 유지하면서 다이아몬드, 금, 대리석, 코르크, 나무 등으로 재료를 교체할 수도 있다. 

그런 다음 제작자는 새로 편집된 개체를 가상 장면에 배치할 수 있다. NVIDIA 팀은 렌더링 품질을 테스트하는데 사용되는 코넬(Cornell) 상자에 악기를 넣어 빛나는 금관 악기가 밝게 반사되고 무광택 드럼 스킨이 빛을 흡수해 가상 악기가 실제 세계에서와 마찬가지로 빛에 반응한다는 것을 보여주었다.

엔비디아의 3D 모마는 2D 이미지에서 3D 개체를 생성한다.(영상=엔비디아)

엔비디아는 22일(현지 시간)  CVPR(Computer Vision and Pattern Recognition Conference) 2022에서 3D 모마에 대한 연구 논문을 발표했다.

AI타임스 박찬 위원 cpark@aitimes.com

[관련기사][GTC 2022] 노타 "엔비디아 옴니버스, ITS에 최적화"

[관련기사]스위스 연구진, 가상인간 쉽게 만들 수 있는 새로운 AI 알고리즘 개발

키워드 관련기사
  • 에스아이에이, 국제 학술대회 CVPR 챌린지에서 1위
  • 엔비디아 차세대 GPU 'H100'에 SK하이닉스 'HBM3' 탑재된다
  • 엔비디아, 하이브리드 업무 지원하는 최신 RTX GPU 공개