MIT 연구진이 실제 데이터와 상상에 기반한 데이터를 결합해 로봇 훈련용 시뮬레이션 환경을 구축하는 시스템을 개발했다. 이는 생성 인공지능(AI) 모델로 로봇이 실제 환경에서 직면할 다양한 상황을 묘사하고, 이를 바탕으로 시각적 훈련 데이터를 만들어낸다는 것이 특징이다.
MIT 테크놀로지리뷰는 12일(현지시간) MIT CSAIL 연구진이 물리 시뮬레이터와 생성 AI 모델을 결합해 현실 세계를 반영하는 가상 훈련 환경 개발한 시스템 ‘루시드심(LucidSim)’에 관한 논문을 '로봇 학습 컨퍼런스(CoRL)'에서 발표했다고 보도했다.
로봇 훈련은 실제 데이터 수집이 어렵고 비용이 많이 들어간다는 점에서 어려움을 겪고 있다. 대신 활용하는 디지털 시뮬레이션은 효율적이지만, 가상 환경에서 학습한 로봇이 실제 환경에서는 작업에 실패하는 경우가 빈번하게 발생한다.
하지만 연구진은 루시드심을 활용해 로봇 강아지에게 파쿠르 훈련을 시켰고, 실제 데이터를 사용하지 않고도 박스를 넘고 계단을 오르는 데 성공했다. 파쿠르는 도시와 자연 환경 속 다양한 장애물을 효율적으로 통과하는 운동이다.
루시드심은 생성 AI 모델을 사용해 시각적 훈련 데이터를 생성한다. 연구진은 먼저 '챗GPT'를 통해 수천개의 프롬프트를 만들고, 이를 바탕으로 로봇이 실제 세계에서 접할 수 있는 다양한 환경을 설명했다. 예를 들어 “고풍스러운 찻집과 전통적인 공예품 가게가 늘어선 골목”이나 “햇빛이 비추는 마른 부분이 있는 손질되지 않은 잔디밭” 등의 묘사가 포함됐다.
이런 설명으로 AI가 생성한 이미지에 3D 기하학 및 물리 데이터를 매핑, 로봇이 따라갈 경로를 안내하는 짧은 영상을 만들었다. 로봇은 이를 바탕으로 상자나 계단의 높이, 너비, 깊이 등을 계산하며 탐색한다.
연구진은 루시드심을 테스트하기 위해 웹캠이 장착된 사족보행 로봇에 교통 콘이나 축구공 찾기, 박스를 넘기, 계단을 오르내리기 등이 포함된 테스트를 실시했다.
그 결과, 로봇은 기존 전통적 시뮬레이션 시스템보다 우수한 성과를 보였다.
교통 콘을 찾는 20번의 실험에서 루시드심은 100% 성공률을 기록한 반면, 기존 시스템은 70%에 그쳤다. 축구공을 찾는 20번의 실험에서는 루시드심이 85%의 성공률을 보였고, 기존 시스템은 35%였다.
마지막으로 계단 오르기 실험 10회에서 루시드심을 실행한 로봇은 모두 성공했으며, 기존 시스템은 50%의 성공률을 기록했다.
필립 이솔라 MIT 교수는 “루시드심이 생성 비디오 모델에서 직접 데이터를 추출한다면 정확도가 향상될 가능성이 크다”라며 “실제 데이터와 현실적인 상상 데이터를 결합하면 현재 데이터 집약적인 방법들이 더 빠르고 효율적으로 확장될 수 있다”라고 말했다.
또 연구진은 AI가 생성한 상황과 시나리오만으로 로봇을 처음부터 끝까지 훈련할 수 있는 능력이 중요한 성과라며, 이는 로봇에 그치지 않고 더 일반화된 AI 에이전트에도 적용될 수 있다고 밝혔다.
박찬 기자 cpark@aitimes.com
