구글이 1대 1 축구 경기가 가능한 소형 휴머노이드를 개발, 시연 영상을 공개했다. 심층 강화학습(Deep RL)을 통해 로봇이 스스로 걷고 공을 차고 넘어진 뒤 스스로 일어나는 법을 배운 것은 물론, 공이 어디로 가고 언제 슛을 막아야 하는지와 같은 룰도 익힐 수 있었다고 밝혔다.
구글 딥마인드는 최근 홈페이지를 통해 '로보틱스 OP3'라는 시스템을 소개했다.
연구진은 실제 축구 선수가 매끄러운 동작으로 태클한 뒤 일어나 다시 뛰고 공을 찰 수 있다며, 로봇도 다양한 상황에서 민첩한 기술을 습득할 수 있는지에 이번 연구의 초점을 맞췄다고 밝혔다.
이를 구현하기 위해 저가의 소형 휴머노이드 하드웨어에 심층 강화학습을 적용했으며, 이를 통해 단순화된 1대 1 축구 경기에서 복잡하고 정교한 움직임을 생성할 수 있었다고 전했다.
OP3는 20개의 작동 관절을 가진 로봇으로, 물리 시뮬레이터인 MuJoCo로 훈련했다. 이 과정에 적용한 심층 강화학습은 시행착오를 통해 성능을 높이는 강화학습(RL)에 딥러닝을 결합, 로봇이 직접적인 엔지니어링 필요 없이 예측되지 않은 데이터로부터 결정을 내릴 수 있도록 하는 기술이다.
그 결과 로봇은 실제 축구와 같은 넘어졌다 일어나기, 뛰기, 슛 등 실제 축구 기술을 구사할 수 있었으며, 특히 축구의 룰을 이해하고 공의 움직임을 예상해 상대의 슛을 막아내는 데에도 성공했다고 전했다.
또 프리킥과 같은 간단한 세트 피스 상황에서 로봇은 시뮬레이션에서 100%, 실제 테스트 환경에서 60%의 슛 성공률을 보였다고 전했다.
연구진은 "이는 관련 데이터 없이, 카메라로 파악한 정보를 통합해 다양한 게임의 측면을 이해하는 데 심층 강화학습이 유용하다는 증거"라고 밝혔다.
임대준 기자 ydj@aitimes.com
