광주과학기술원(GIST, 총장 임기철)은 AI대학원 안창욱 교수 연구팀이 기존 방식에 비해 1만 배 빠르게 게임 상황을 예측함으로써 탐색 효율성과 성능 안정성을 향상하는 방법론을 개발했다고 26일 밝혔다.
'몬테카를로 트리 탐색(Monte Carlo Tree Search, MCTS)'은 복잡하고 불확실성이 있는 환경에서 의사결정을 위한 체험적 탐색 알고리즘으로, 게임을 할 때 주로 적용된다. 어떻게 움직이는 것이 가장 최적의 판단인지를 분석하면서 검색 공간에서 무작위 추출에 기초한 탐색 트리를 확장하는 데 중점을 둔다.
연구팀은 대체 모델(Surrogate Model)을 기반으로 개발한 몬테카를로 트리 탐색(MCTS) 방법을 게임 ‘스타크래프트 2’와 같이 자원 확보와 상대편의 정보를 종합적으로 고려해야 하는 복잡한 게임에 적용, 상황을 예측하도록 했다.
이 방식은 새로운 강화학습법을 통해 가상으로 재현된 게임 데이터를 학습해 대체 모델을 구축하고 이를 활용하여 시뮬레이션의 일부 결과만으로 상황 예측에 대한 기댓값을 추정하는 기법이다. 기존 MCTS와는 달리 대체 모델을 활용하여 게임 내 상태에 대한 기대값을 시뮬레이션 없이 바로 추정, 짧게는 몇분에서 길게는 몇시간 걸리던 시뮬레이션 추론 시간을 밀리초(1000분의 1초)에서 초 단위 범위로 줄이는 데 성공했다고 전했다.
더불어 연구의 확장성과 재현성을 높이기 위해 대체 모델 학습을 위한 데이터 수집과 스타크래프트 2에서 데이터 분석이 가능한 자체 소프트웨어를 구현했다. 수집된 데이터를 기반으로 대체 모델을 학습한 후 적용한 결과, 게임의 진행 결과를 기존 MCTS 대비 1만배 빠르게 예측했다고 설명했다.
안창욱 교수는 “이번 연구 성과는 몬테카를로 트리 탐색 기법의 활용이 불가능하던 실시간 게임 환경에서 각 개체의 실시간 행동 결정을 가능하게 했다는 데 의의가 있다”라며 “향후 자율주행이나 주식거래 등 상충하는 이해관계 갖는 실세계 응용 문제에 있어 실시간 의사결정을 내리는 데 활용될 수 있을 것으로 기대된다”라고 말했다.
이번 연구는 한국연구재단 중견연구자지원사업과 정보통신기획평가원(IITP) 인공지능대학원 사업의 지원을 받아 수행되었으며, 연구 결과는 다학제 공학 분야 상위 2.5% 국제학술지 '엔지니어링 애플리케이션 오브 AI'에 7월1일자로 게재됐다.
박수빈 기자 sbin08@aitimes.com
