인간이 주변 환경을 이해하고 공간에서 위치를 파악하는 것처럼, '마인크래프트(Minecraft)' 게임 플레이 영상을 훈련해 주변 환경을 이해하고 공간 지도를 생성하는 모델이 나왔다. 이는 공간 지능, 즉 로봇과 인공일반지능(AGI)을 위한 중요한 기술이 될 수 있다는 평이다.
톰스하드웨머는 20일(현지시간) 캘리포니아 공과대학(Caltech) 연구진이 마인크래프트 게임 플레이를 활용, 주변 환경을 인식해 공간지도를 생성하는 예측 코딩(predictive coding) 모델에 관한 논문을 네이처 머신 인텔리전스 저널에 게재했다고 보도했다.
이에 따르면 이 모델은 예측 코딩 알고리즘과 마인크래프트 게임플레이를 조합해 공간 지도를 만드는 방법을 훈련하고, 구축된 공간 지도를 사용해 다음 비디오 프레임을 예측한다. 예측된 이미지와 최종 이미지 사이에는 오차가 0.094%에 불과했다.
연구진은 마인크래프트 게임 내에 나무, 강, 동굴과 같은 복잡한 요소를 포함한 환경을 구축한 다음, 플레이어가 해당 지역을 무작위로 이동하는 비디오를 녹화했다. 이를 예측 코딩 알고리즘이 장착된 모델을 훈련하는 데 사용했다.
이를 통해 모델은 마인크래프트 세계 내의 객체들이 서로에 대해 어떻게 연결돼 있는지 학습할 수 있고, 공간을 돌아다니는 동안 어떤 환경이 나타날지 예측할 수 있게 된다.
연구진은 모델이 다양한 객체의 표현을 공간적으로 저장했다는 것을 확인했다. 신경망이 마인크래프트 환경을 이해했다는 설명이다.
모델은 이처럼 자체적으로 지도를 생성한 것을 확인한 것은 처음이라는 설명이다. 정보를 공간적으로 저장하고 조직하는 이 능력은 궁극적으로 모델이 더 똑똑해져서 인간처럼 복잡한 문제를 해결할 수 있도록 도울 수 있다. 즉 기존 대형언어모델(LLM)의 한계인 실제 세계를 이해하는 데 도움이 된다.
이런 공간 지능은 현재 페이페이 리 스탠포드대학교 교수와 오픈AI, 구글, 메타, xAI 등이 AGI를 목표로 연구를 진행하는 분야다. 이는 AI 로봇 구축을 위해서도 필수적인 기술이다.
연구진도 “최첨단 AI 모델조차도 여전히 진정한 지능을 갖추지 못했다는 느낌이 있었다”라며 "우리는 이것이 AI가 개념적 공간을 탐색할 수 없기 때문이라고 생각한다. 복잡한 문제를 해결하는 것은 개념의 공간을 이동하는 것과 같으며, 이는 탐색하는 것과 같다”라고 말했다.
즉, 사람은 처음 가 본 도시의 한가운데에 떨어져도, 탐험을 통해 건물, 거리, 표지판 등이 서로 어떻게 연결되어 있는지에 대한 정신 지도를 만들어낼 수 있다. 게임 내에서 공간 지도를 생성하는 능력은 인간 수준의 고급 인지 능력의 기초가 될 수 있다.
현재 이 모델과 관련된 코드는 깃허브에서 사용할 수 있다.
박찬 기자 cpark@aitimes.com
