16일 글로벌 메타버스 컨퍼런스에서는 메타버스에 활용되는 기술에 대해 전문가들의 논의가 진행됐다.
KT 공간·영상 DX사업담당 배기동 상무는 '가상공간' 구축, 자아 대변 '아바타', 사회활동 가능할 '인터렉션' 등 메타버스에 필요한 기본적인 특징 3가지를 강조했다. 또, "KT는 메타버스를 단순한 가상현실(VR) 플랫폼으로 보지 않는다"고 덧붙였다.
그는 메타버스를 "현실 세상과 가상 세계를 디지털화해 문화 및 경제적인 활동까지 할 수 있는 공간으로 본다"고 정의하며, "현실이 가상으로 디지털화되고, 현실에서 가상적인 영역이 확장되는 부분까지 전부 메타버스로 보고 있다"고 말했다.
김선욱 엔비디아 이사는 "메타버스 구현시 현실세계와 비슷한 여러가지 환경을 AI를 사용해 구축할 수 있다" 며, 현실세계와 접목해 메타버스에 활용할 수 있는 AI 기술을 다음과 같이 소개했다.
메타버스 가상 공간 구현에 AI 기술 사용
지나가는 사람이나 자동차, 쓰레기통 등 메타버스 환경에 필요한 요소가 있다면 AI가 자동으로 제작해준다. 이전에는 필요한 가짜 모형을 사람이 직접 수작업으로 모델링해 작업했다면 딥러닝 된 AI는 여러 가지 환경에 어울리는 모형을 요청받은대로 자동 생성할 수 있다고 설명했다.
뿐만 아니라 우리가 경험을 통해 예측할 수 있는 "물이 위에서 아래로 흐른다" 등 중력과 관련된 물리 법칙도 AI에게 학습시킬 수 있다. 알아서 이렇게 움직일 것이라고 AI가 예측하게 만들어 이를 메타버스 환경에 구현할 수 있다고 덧붙였다.
또, 일정 시간만 렌더링해도 AI 기술로 현실감 있는 그래픽을 연장해 구현할 수 있다며, AI가 다음 장면을 예측해 실제 작업한 화면처럼 연속적으로 구현할 수 있기 때문이라고 설명했다. 대상이 움직일 때마다 계산해 메타버스 영상을 빠르게 실시간으로 만드는 것도 가능하다.
엔비디아는 이 기술을 구현하기 위해 자체 서버에서 AI와 렌더링 등 모든 연산을 다해 출력한 뒤, 관련 기기에 전송하는 방식을 사용하고 있다고 전했다. 이는 스마트폰 등 일반 기기에서는 실시간으로 렌더링하기 어려운 한계가 있기 때문에 이를 통해 실시간 렌더링시 구현속도에 대한 문제를 해결하게 됐다고 덧붙였다.
메타버스 아바타 구현에 AI 기술 사용
혼합현실 플랫폼 '마이크로소프트 매쉬'(Microsoft Mesh) 소개 영상 (출처=마이크로소프트)
엔비디아는 사용자가 말을 할 때, 입모양 등이 그대로 캐릭터에 반영되는 '오디오 2 페이스' 앱을 통해 아바타 립싱크도 지원하고 있다고 전했다. 홀로 렌즈 데모 영상인 마이크로소프트 '매쉬'에서는 확장현실(MR)에서 외국어를 못해도 디지털 아바타가 자동으로 번역해 대화를 이어간다.
영상 속 디지털 아바타는 일본어를 하고 있지만 실제 현실 속 사람은 일본어를 전혀 할 줄 모르는 것이 특징이다. 이와 같이 캐릭터나 디지털 아바타에 시각, 음성 지원 AI 기술이 적용되고 있다. 차후 메타버스 아바타에도 본 기술을 적용할 수 있을 것으로 보인다.
KT '리얼 팝'은 댄스 전문가의 데이터를 학습한 AI가 다른 사람의 댄스를 평가한다. K팝 전문 댄서와 이용자의 춤을 비교해 유사도 측정이 가능하다. 춤동작에 대한 피드백을 제공받아 홈 트레이닝이 가능하다.
여기에는 사용자의 모션을 인식하는 AI 기술을 적용했다. 영상 속 관절 부분을 자동으로 추출하는 '지모션' AI 기술을 사용, 동작들을 인식하고, AI로 딥러닝해 데이터 유사도를 분석한다. VR 기기가 필요없는 리얼큐브에서 사용이 가능하다.
이 외에도 자율주행 자동차 테스트를 포함, 디지털 트윈한 공장이나 '인체의 신비' 등 실제로 경험하기 어려운 과학 교육을 진행할 때도 메타버스와 AI를 효율적으로 사용할 수 있다고 김 이사는 덧붙였다.
AI타임스 이하나 기자 22hnxa@aitimes.com
