얼굴사진 분석해 게임캐릭터로 자동생성 딥러닝기술 'MeInGame' 개발
GPT-3 AI 등 활용, 플레이어와 실시간소통가능한 AI NPC 데모영상 공개
MS, 애저 기반 혼합현실 플랫폼 '메시(Mesh)' 내놔…AR 게임 시연
엔씨소프트‧넥슨‧넷마블 등 국내 게임 서비스에 AI 기술 접목 움직임 활발
# 스마트렌즈를 장착하고 게임에 접속한 순간 1492년 스페인과 이슬람의 전장이 눈앞에 펼쳐진다. 현재의 평온한 스페인 그라나다의 모습은 온데간데없이 사라지고 위험천만한 또다른 세계 속에 두 발을 딛고 서 있다. 귓가에는 포성 소리가 들리고 갑작스러운 포격에 건물이 부서진다. 광장의 기둥 위에 서 있던 동상이 전사로 변해 칼을 빼들고 뛰어내리면서 결투가 시작된다. 게임 레벨 1밖에 안되는 상황에서 전사의 공격에 칼을 맞고 피를 흘린다. 얼른 녹슨 철검을 찾아 힘겹게 전투를 벌인다. 드디어 전사를 해치우고 전리품을 획득, 레벨 2가 됐다.
증강현실(AR) 게임을 배경으로 한 드라마 '알함브라 궁전의 추억' 속의 한 장면이다. 방영 당시 많은 시청자가 현실감넘치는 AR 게임 장면에 감탄을 금치 못했다. 이제 게임산업이 인공지능(AI)을 비롯한 첨단기술과 만나 진화를 거듭하고 있다. 비디오 게임 개발자들은 유저들에게 좀더 몰입감높은 게임 경험을 선사하고자 기술 개발에 박차를 가하고 있다.
게임 속에 등장하는 캐릭터에 실제 게이머 모습을 투영하기도 하고, 단순히 키보드를 두드리는 것에서 벗어나 유저들을 실제와 같은 혼합현실(MR, Mixed Reality)의 게임 공간 속으로 안내하는 등 다양한 기술을 선보이면서 게임 마니아들의 마음을 설레게 하고 있다.
◆ 나랑 쏙 닮은 캐릭터로 즐기는 3D 게임
최근에는 게임 플레이어를 쏙 빼닮은 비디오 게임 캐릭터를 자동 생성하는 AI 기술이 나와 유저들의 귀를 솔깃하게 했다. 지난 4일(현지시간) 테크 익스플로어 등 외신에 따르면 미국 미시간대와 중국 게임 AI 연구소인 ‘넷이즈 푸시 AI 랩(Netease Fuxi AI Lab)’의 연구진이 손을 잡고 얼굴 사진을 분석해 게임 캐릭터로 자동 생성하는 딥러닝 기술 ‘미인게임(MeInGame)’을 선보였다.
기존에는 대부분 비디오 게임 캐릭터를 만들어 개인 맞춤형으로 꾸미기 위해 플레이어가 직접 자신의 캐릭터 얼굴 특징을 수동으로 설정해야 하는 번거로움이 있었다. 하지만 이제는 실제 인물의 얼굴 이미지를 분석해 실존 인물과 매우 흡사한 캐릭터 얼굴을 자동으로 만들어낼 수 있게 됐다.
이 같은 AI 기반의 자동 캐릭터 얼굴 생성 방식은 게임 속에 등장하는 캐릭터에 실제 게임을 하는 플레이어의 모습을 투영한다. 일단 얼굴 사진이 입력되면 3D 변형가능 얼굴 모델(3DMM)과 합성곱 신경망(CNNs)을 기반으로 3D 얼굴을 재구성하는 것.
실제 초상 사진에서 얼굴의 형태와 질감 등을 예측하고 피부톤과 메이크업, 주름 등 개개인에 따른 디테일을 정확히 구현할 수 있다. 해당 기술은 향후 기존 3D 게임에도 쉽게 통합될 수 있다는 게 연구진의 설명이다.
해당 기술 관련 논문은 아카이브(ArXiv)에 게재됐다. 모델의 코드와 모델 훈련을 위해 사용된 데이터세트는 게임 개발자들이 활용 가능하도록 온라인상에 공개됐다.
◆ 도우미 역할만 하는 건 이제 그만…플레이어와 실시간 소통하는 AI NPC
NPC(Non-Player Character)와 실시간 소통할 수 있는 AI 기술도 나왔다. NPC는 게임 안에서 플레이어가 직접 조종할 수 없는 캐릭터다. 게임 속에서 원활한 진행을 위해 일방적으로 플레이어가 수행해야 할 퀘스트나 퀘스트 수행 이후 아이템과 같은 콘텐츠를 제공하는 등 도우미 역할을 하는 게 일반적이다. 하지만 이제 AI 기술과 결합돼 NPC의 역할이 더욱 다양해지고 있다.
지난달 비디오 게임 제작 샌드박스 ‘모드박스(Modbox)’의 개발자는 윈도 음성 인식과 오픈AI(OpenAI)의 GPT-3 AI, 레플리카(Replica) 자연 음성 합성 기술 등을 기반으로 가상의 AI NPC를 개발해 플레이어와 실시간으로 대화를 주고받는 모습이 담긴 데모 버전 영상을 공개했다.
(영상=VR Trailers & Clips 유튜브).
데모 영상을 살펴보면 GPT-3와 레플리카 모두 클라우드 기반의 서비스인 만큼 AI NPC가 질문을 받아 답변을 하는 데 시간이 걸린다. 이처럼 AI NPC의 반응 속도는 느리지만 향후 온디바이스(on-device)로 실행될 모델에서는 이같은 응답 지연 문제가 해결될 수 있을 전망이다.
미국 VR 전문매체 업로드VR(UploadVR)에 따르면 마이크로소프트(MS)가 지난해 9월 오픈AI의 GPT-3 독점 라이선스를 획득하면서 GPT-3의 소스 코드와 상업적 사용에 대한 독점 권한을 가졌기 때문에 이 기능이 모드박스 자체에 추가될 가능성은 높지 않아 보인다. 그러나 이번에 공개된 영상을 통해 향후 상호작용하는 대화형 캐릭터의 가능성을 엿볼 수 있다. 이를 통해 게임산업에서 완전히 새로운 장르 개척이 가능하다는 이야기다.
◆ "현실인지 게임인지" 게임 공간 속으로 뛰어든 플레이어
지난 주 마이크로소프트(MS)가 공개한 애저(Azure) 기반의 혼합현실(MR) 플랫폼 ‘마이크로소프트 메시(Microsoft Mesh)’도 눈길을 끈다. MS는 서로 다른 장소에 있어도 마치 함께 있는 것처럼 가상공간에서 여러 사용자들이 소통할 수 있는 새로운 형태의 증강현실(AR)‧가상현실(VR) 플랫폼을 선보였다.
알렉스 키프만 MS기술 펠로우는 "각기 다른 장소에서 홀로렌즈 등과 같은 기기를 통해 동일한 장소에 있는 것처럼 가상공간에서 콘텐츠를 공유하고 협업할 수 있을 것"이라고 말했다. 서로 다른 공간에 있는 사람들이 다양한 디바이스를 통해 마치 실제 현실세계에서 마주 보듯이 생생한 혼합현실(MR)을 경험할 수 있게 된다는 게 MS 측의 설명이다.
MS 메시 플랫폼이 게임에 접목되면 어떨까. 실제로 나이언틱(Niantic)은 MS 연례 기술 컨퍼런스인 ‘이그나이트 2021’에서 메시 플랫폼을 기반으로 홀로렌즈2를 활용한 AR 게임 ‘포켓몬 고(Pokémon GO)’를 시연해 화제가 됐다.
◆ 국내 게임업계에도 AI 바람
국내에서도 게임 플레이어들을 위해 다양한 AI 기술을 게임 서비스에 접목하려는 사례가 점점 늘어나는 추세다. 국내 주요 게임업체들이 AI 기술 투자 및 연구 범위를 지속적으로 확대해나가는 가운데 AI 기술이 게임 개발뿐만 아니라 마케팅이나 게임 운영 등 전반에 걸쳐 활용되고 있다.
먼저 국내 모바일 게임 시장을 장악하고 있는 엔씨소프트의 '리니지' 게임에도 AI 기술이 도입됐다. 리니지2M에 적용된 AI 기술은 주어진 상황을 분석하고, 보유한 스킬에 유리한 상황을 만들어낸다. 뻔한 패턴에서 벗어나 전투의 재미를 끌어올린다. 리니지2M 유저들은 AI가 적용된 각 몬스터의 콘셉트와 상황에 따라 새로운 형태의 공격과 예상치 못한 전투를 즐길 수 있게 된 것이다.
또 넥슨도 서비스하고 있는 여러 게임에 쌓인 게임 행위 데이터를 기반으로 비정상적인 플레이를 골라내는 데 AI 기술을 활용했다. AI 연구조직인 넥슨 인텔리전스랩스를 설립하고 게임 룰과 시나리오, 그래픽 등 게임을 구성하는 콘텐츠 등에 AI 기술을 적용하고 있다.
넷마블의 경우 지난 2014년부터 게임 이용자의 특성을 면밀히 분석하고 게임에서 펼쳐지는 여러 상황에 적절하게 반응할 수 있는 지능형 AI 개발에 적극 나서고 있다. 지능형 게임을 통해 유저들에게 각기 다른 난이도를 적용, 맞춤형 서비스로 제공하겠다는 포부다. 지난 2018년에 설립된 AI 연구개발 전담 조직인 넷마블 AI 센터는 ‘콜럼버스실’과 ‘마젤란실’ 두 개의 내부 조직을 통해 연구를 이어가고 있다.
일각에서는 이 같은 국내 게임 기업들의 AI 기술 개발 및 활용 움직임을 둘러싸고 새로운 콘텐츠 개발과 장르 확장 등을 위해 국내‧외 게임 시장에서 경쟁력을 가질 수 있는 더 차별화된 AI 기술 확보에 주력해야 한다는 목소리도 나오고 있다.
AI타임스 윤영주 기자 yyj0511@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com