360도 파노라마 사진 한장만으로 실내 공간과 사물의 3차원 정보를 파악하는 인공지능(AI) 모델 '허쉬(HUSH)'가 개발됐다. 증강현실(AR), 혼합현실(MR), 디지털 트윈 등 공간 정보의 정확한 이해가 필수적인 분야에 활용될 수 있다는 설명이다.
울산과학기술원(UNIST, 총장 박종래)는 인공지능대학원 주경돈 교수팀이 360도 파노라마 이미지에서 공간 구조와 내부 물체의 3차원 정보를 동시에 추출할 수 있는 AI 모델 허쉬를 개발했다고 1일 밝혔다.
AR이나 MR 기술에서 현실 공간과 디지털 콘텐츠를 결합하려면 벽이나 가구의 위치, 물체 간의 거리 정보 등을 AI가 정확히 이해하고 표현할 수 있어야 한다. 이를 위해 기존에는 다각도에서 촬영한 여러 장의 사진이나 깊이 센서와 같은 고가 장비가 필수적이었다.
하지만 연구진은 허쉬로 360도 파노라마 이미지만으로 이런 정보를 파악할 수 있다고 전했다.
파노라마 이미지는 일반 사진보다 넓은 범위를 한 장에 담을 수 있지만, 둥글게 왜곡된 구면 구조 때문에 AI가 이를 정확히 분석하기 어려웠다. 이미지를 잘라 왜곡을 줄인 뒤 일반 AI 모델을 반복적으로 적용하는 방식이 있으나, 이 과정에서 정보가 손실되거나 연산이 비효율적으로 진행된다.
이런 문제를 해결하기 위해 구형 표면의 정보를 주파수 성분으로 나눠 분석하는 '구면 조화함수(SH)'를 적용했다. 이로써 파노라마 이미지의 구면 특성을 정확히 반영할 수 있게 됐다고 소개했다.
제1저자인 이종성 연구원은 “구면 조화함수는 원래 가상 뷰 생성 분야에서 객체나 장면의 색감을 표현하는데 주로 쓰이는 기술인데, 구면 위의 데이터를 효과적으로 분석할 수 있다는 특성에서 착안해 파노라마 이미지 기반 공간 복원에 처음으로 적용했다”고 설명했다.
HUSH 모델은 기존의 다른 3D 장면 복원 모델들보다 깊이 예측 등에서 높은 정확도를 기록했고, 단 하나의 이미지로 여러 가지 공간 정보를 동시에 예측할 수 있어 계산 효율성도 뛰어났다는 설명이다.
주경돈 교수는 “AR, MR과 같이 사용자 주변의 실내 공간을 정확히 인지해야 하는 경우나 이미지 한 장으로부터 유저와 상호작용이 가능한 실감미디어 생성 등 실제 생활에 폭넓게 적용될 수 있을 것”이라고 말했다.
이번 연구는 컴퓨터 비전 분야 권위 학회인 'CVPR 2025'에 채택됐다. 이 행사는 ㅣ난달 11~15일 미국 내슈빌에서 열렸다.
박수빈 기자 sbin08@aitimes.com
