이스라엘의 인공지능(AI) 스타트업 데카르트(Decart)가 '최초의 플레이 가능한 실시간 게임 생성 모델'을 출시했다고 밝혔다. 이 모델은 사용자의 키보드와 마우스 조작으로 실시간 프레임을 생성하고 현실 세계와 같은 물리 규칙을 반영한다.
데카르트는 31일(현지시간) 인터렉티브 AI 비디오 모델 '오아시스(Oasis)'를 공개했다.
이 모델은 마인크래프트와 같은 대화형 비디오 게임을 출력한다. 하지만 게임이 아니라, 프레임 단위로 트랜스포머 모델을 통해 영상을 생성한 결과다. 역시 마인크래프트 영상으로 모델을 학습했다.
텍스트 대신 마우스와 키보드 조작으로 프롬프트를 입력하며, 이를 통해 실시간으로 물리 법칙과 게임 규칙, 그래픽 등을 시뮬레이션한다. 게임처럼 실시간으로 점프나 아이템 줍기, 블록 깨기 등의 액션을 생성할 수 있다.
오아시스는 최근 떠오르는 '세계 모델'의 일종이다. 현실 세계의 물리적 환경을 학습할 수 있는 AI로 볼 수 있다. 이는 페이페이 리 교수의 월드랩이 대표적인 스타트업으로, 이들의 모델도 게임 등에 적용할 수 있을 것으로 전망되고 있다.
또 지난 8월 구글과 텔아비브대학교 연구진이 공개한 '게임N젠(GameNGen)'과도 흡사하다. 이 모델 역시 전통적인 방식으로 그래픽 비디오 프레임을 그리는 대신, 진행될 게임을 예측해 실시간으로 장면을 생성하는 방식이다. 다만, 게임N젠은 텍스트와 이미지 프롬프트로 게임 장면을 생성하는 것이 차이점이다.
데카르트는 오아시스를 구축하기 위해 두가지 기술 발전을 이뤘다고 설명했다.
우선 모델이 전체 세계를 포착하고 시뮬레이션할 수 있도록 아키텍처를 구축하고, 그다음 사용자가 모델과 실시간으로 상호 작용할 수 있도록 모델 추론 기술을 발전했다는 것이다.
이번 모델 가동을 위해서는 엔비디아 'H100' GPU를 사용했으며, 추후에는 에치드(Etched)라는 업체가 출시할 전용 추론 칩을 사용할 예정이라고 전했다.
실제로 이 회사의 디퓨전 트랜스포머 모델은 오픈AI의 '소라' 등 동영상 생성 모델에서 사용하는 방식이다. 그러나 대부분 모델은 영상 생성은 수십초에서 수분까지 시간이 꽤 걸린다.
데카르트가 실시간으로 게임을 생성할 수 있다는 것은 획기적인 일로 꼽을 수 있다. 최근 2100만달러(약 290억원)의 시드 라은드를 주도한 세쿼이아의 숀 맥과이어 파트너는 "데카르트는 수익성 있는 방식으로 모델을 훈련하는 방법을 알아냈는데, 이는 이 분야에서는 전례가 없다"라며 "그들은 GPU가 전자 수준까지 작동하는 방식을 이해하고 있으며, 이는 엄청난 응용 잠재력을 의미한다"라고 설명했다.
데카르트는 "텍스트나 오디오 입력과 같이 새로운 사용자 상호 작용으로 게임의 새로운 가능성을 열 수 있을 것"이라며 "또는 사용자 선호도에 따라 즉석에서 콘텐츠를 생성해 현대 엔터테인먼트 플랫폼을 뒤흔들 수 있다"라고 강조했다.
이어 "이번 모델 출시는 더욱 복잡한 것을 시뮬레이션할 수 있는 파운데이션 모델을 향한 우리 연구의 첫단계"라며 "대화형 세계를 통해 기존 게임 엔진을 대체하고 AI가 주도하는 미래를 만들어갈 것"이라고 밝혔다.
임대준 기자 ydj@aitimes.com
