지능형 시스템 연구소 발표‥ 유명 게임 GTA V에 시범적용
렌더링 엔진에 딥러닝 겹치는 방법으로 실시간 사실적 재현
비교 동영상 제작해 업로드‥ 실제와 싱크로율 99.9%
향후 게임 외 VR 영상 적용 가능성 높아
인텔이 딥러닝 기술로 게임 속 배경에 리얼리티를 향상시켰다. 사내 지능형 시스템 연구소(Intelligence System Labs)에서 개발한 이 기술은 오픈월드 범죄액션게임 GTA V(Grand Theft Auto 5)의 그래픽에 시범도입됐다. 실사와 똑같은 재현에 성공한 연구팀은 향후 다양한 VR 영상이나 게임에 적용될 것으로 보인다.
지능형 시스템 연구소의 스티브 리히터 연구원과 코넬대 연구진이 합동으로 개발한 이 기술의 이름은 ‘인헨싱 포토리얼리즘 인헨스먼트(Enhancing Photorealism Enhancement)’다. 이름 그대로 사진 기술을 향상시키는 프로젝트의 일환으로 연구를 시작했다.
인텔 지능형 시스템 연구소의 공식 블로그에 따르면 연구팀은 기존 GTA V의 렌더링 엔진 위에 딥러닝 시스템을 레이어드(겹겹이 쌓아올리는 것) 해 실시간으로 사실적인 그래픽을 만드는 데 성공했다. 개념적으로 이 방법은 엔비디아의 딥러닝 슈퍼 샘플링(DLSS)과 유사하다. 그러나 DLSS는 이미지를 먼저 수집한 후 더 선명한 버전을 생성하도록 설계된 반면 인텔의 이번 기술은 실시간으로 데이터세트에서 이미지를 검색해 사실적으로 그려낸다.
논문을 통해 연구진은 이러한 ‘스타일 전송’ 방식이 최초는 아니라고 밝혔다. 그러나 G-버퍼라고 불리는 게임 그래픽 엔진에서 이미지데이터 세트를 일부 합성 프로세스로 적용하는 것은 새로운 접근방식이라고 설명했다.
G-버퍼는 깊이, 일반매핑, 객체 분할 등을 포함하는 각 게임 프레임을 나타낸 것으로, 일반 렌더링 프로세스에 사용된다. 이번에 연구진이 개발한 방법은 게임 엔진이 렌더링한 최종 프레임 외 G-버퍼에서 사용할 수 있는 모든 추가 데이터를 검토해 G-버퍼의 실제 데이터 세트의 어떤 부분을 실감나게 그려야 하는지 예측할 수 있다.
연구팀은 기존 GTA V 속 기존 장면과 인헨싱 포토리얼리즘이 결합된 장면을 비교하는 영상을 업로드했다. 동영상에서는 도로의 실제 이미지를 학습시켜 아스팔트 질감부터 거리나 하늘 색감, 상점이 실사와 흡사한 것을 확인할 수 있다. 현재 이 동영상은 인텔에서 올린 지 사흘만에 조회수가 100만을 넘는 등 큰 관심을 받고 있다.
기존 GTA V 속 장면과 인헨싱 포토리얼리즘이 결합된 장면을 비교하는 영상. (출처=인텔 지능형 시스템 연구소 공식 유튜브).
팀을 이끈 인텔의 리히터 연구원은 IT 전문매체 더버지와의 인터뷰에서 “이 기술은 실사와 가상을 혼돈할 만큼 뛰어난 잠재력을 갖고 있다”며 “상용화까지는 아직 많은 단계가 남아있지만 빠른 시일 안에 적용되길 기대한다”고 말했다.
AI타임스 박혜섭 기자 phs@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com