한국과학기술원(KAIST, 총장 이광형)은 김태균 전산학부 교수 연구팀이 기존 2D 픽셀 기반 영상 생성 기술의 한계를 극복한 공간-물리 기반 생성 인공지능(AI) 모델 ‘MPM아바타’를 개발했다고 23일 밝혔다.
연구팀은 기존 2D 기술의 문제를 해결하기 위해 ‘가우시안 스플래팅’으로 다중 시점 영상을 3차원 공간으로 재구성, 물리 시뮬레이션 기법을 결합해 새로운 방식을 제안했다는 설명이다.
즉, 여러 시점에서 촬영한 영상을 입체적으로 재구성해 그 안에서 물체가 실제처럼 움직이며 상호작용하도록 만드는 원리다. 해당 과정에서 AI가 물체의 재질, 형태, 외부 힘에 따른 움직임을 계산하고 그 결과를 실제 영상과 비교해 물리법칙을 스스로 학습할 수 있도록 한 것이다.
연구팀은 3차원 공간을 점(포인트) 단위로 표현하고, 각 점에 가우시간과 MPM을 적용해 물리적으로 자연스러운 움직임 및 사실적인 영상 렌더링을 동시 구현했다고 전했다. 3D 공간을 수많은 작은 점들로 쪼개서, 각 점이 실제 물체처럼 움직이고 변형되도록 만든 것이다.
이런 기술을 적용한 생성 AI 모델 ‘MPM아바타(Avatar)’는 느슨한 옷을 입은 사람의 움직임과 상호작용까지 사실적으로 재현해 낼 수 있다는 설명이다. AI가 학습한 적 없는 데이터를 스스로 추론해 내는 ‘제로샷’ 생성에도 성공했다고 전했다.
연구팀은 현재 해당 기술을 확장해, 사용자의 텍스트 입력만으로 ‘물리적으로 일관된’ 3D 동영상을 생성할 수 있는 모델을 개발 중이다.
김태균 KAIST 전산학부 교수는 “이번 기술은 AI가 단순 그림을 그리는 것을 넘어, 눈앞의 세계가 ‘왜’ 그렇게 보이는지까지 이해하도록 만든 것”이라며 “물리 법칙을 이해하고 예측하는 ‘피지컬 AI’의 가능성을 보여준 연구로, AGI로 나아가는 중요한 전환점”이라고 말했다.
한편, 이번 연구는 이창민 KAIST 김재철AI대학원 석사과정 학생이 제1 저자로, 이지현 KAIST 전산학부 박사과정 학생이 공저자로 참여했다. 연구 결과는 국제 학술대회인 뉴럴립스에서 오는 12월2일 발표될 예정이다. 프로그램 코드도 모두 공개될 예정이다.
장세민 기자 semim99@aitimes.com
