▲가상현실 기술을 사용해 텍스처나 패턴을 만드는 디자이너(출처=123RF)

유려한 가상세계를 만들려면 무엇보다 장엄하면서도 실감나는 환경 제작이 필수다. 그런데 지금까지 가상세계에서 복잡한 질감이나 패턴을 대규모로 설계하는 것은 쉬운 일이 아니었다. 강물의 물줄기, 콘크리트 벽 또는 나뭇잎 패턴 등을 정확한 질감으로 표현하기란 어려운 과제였다.

그러나 애니메이터와 디자이너가 보다 사실적인 가상 텍스처를 만들도록 도와주는 새로운 도구가 개발됐다. 바로 딥러닝 기술인 생성적 적대 신경망(Generative Adversarial Networks, GAN)이다.

생성적 적대 신경망이란

GAN은 심신경망 구조를 지닌 인공지능(AI) 알고리즘의 한 종류다. 몬트리올대학 연구진이 발표한 논문에서 처음 소개됐다. 이 기술은 사람의 눈에 매우 사실적으로 보이며 현실적인 특성을 지닌 이미지를 생성하도록 도와준다.

사진과 동일할 정도로 정교한 이미지는 현재 신발, 가방 또는 컴퓨터 게임 장면 등 다양한 산업 디자인 분야에서 사용된다. GAN은 동영상의 모션 패턴을 모델링하거나 이미지에서 물체의 3D 모델을 재구성하고 천문학적인 이미지를 만들어내기도 한다.

▲GAN 알고리즘과 비슷한 알고리즘을 이용 중인 사람(출처=123RF)

GAN은 우선 난수를 취해 이미지를 반환한다. 이미지들은 실제 데이터 세트에서 파생된 정보로 구성된다. 이 이미지는 판별기로 보내진다.

판별기는 실제 이미지와 가짜 이미지를 모두 가져와 확률을 계산한다.

한편 텍스처 합성은 작은 디지털 샘플 이미지의 구조적 콘텐츠를 알고리즘으로 구성하는 프로세스다. 3D 컴퓨터 그래픽, 영화 촬영 후 작업, 디지털 이미지 편집 등에서 텍스처 합성 알고리즘이 사용된다.

텍스처 합성 알고리즘은 출력물의 이음새, 블록, 부적절한 가장자리 등이 눈에 보이지 않도록 만들어야 하며 결과물이 가능한 한 샘플과 유사하도록 만든다.

또 결과물은 사용자가 지정한 크기로 만들어져야 한다. 결과물에서는 동일한 구조가 반복돼서는 안 되며 이미지가 여러 위치에서 나타나서도 안 된다.

"생성적 적대 신경망은 가상세계에서 사진과 동일할 정도의 더욱 사실적으로 보이는 이미지 생성을 가능케한다"

가상 세계 속 현실적인 질감

예제 기반의 텍스처 합성 과정에서 우리는 사실적인 모양을 유지하려고 한다. 이를 위해 샘플의 시각적 특성을 면밀히 파악하지만 완전히 동일하지는 않은 텍스처를 생성한다. 예루살렘 히브리대학, 화중대학, 심천대학, 텔아비브대학의 합동 연구진이 공작새의 깃털과 나무 줄기의 나이테 등 복잡한 예제를 사용해 이 방법을 테스트했다.

이들은 연구 결과물을 2018년 8월 12~16일 동안 캐나다 밴쿠버에서 열리는 시그라프(SIGGRAPH) 2018에서 발표할 계획이다. 시그라프는 세계 최대 규모의 컴퓨터 그래픽 컨퍼런스다.

심천대학의 양 조우는 "우리의 접근 방식은 대규모 구조에 대한 의미론적인 설명 없이도 비정적인 질감을 성공적으로 만들어낼 수 있다. 이런 질감은 기존의 방법으로는 해결할 수 없는 어려운 질감이다. 우리가 만든 결과물은 해상도가 높고 더 효율적이며 훨씬 더 규모가 큰 사실적인 디자인이다"라고 말했다.

▲중국 심천대학(출처=위키미디어 커먼즈)

이들이 개발한 방법은 발전기라는 생성 네트워크를 훈련하는 기술도 포함한다. 발전기는 확장된 결과물이 적절한 크기의 예제 블록과 시각적으로 유사하도록 임의의 텍스처 블록을 확장하는 방법을 배운다. 변별 네트워크를 사용하면 확장된 블록과 실제 블록 사이의 시각적 유사성이 자동으로 평가된다. 이 변별 네트워크는 예제의 대형 블록과 발전기에서 생성된 블록의 차이를 식별하도록 훈련됐다. GAN은 기본적으로 변별 네트워크와 생산 네트워크로 이루어지는데, 그 중 변별 네트워크가 모형과 실제 블록을 구분하도록 훈련받는 것이다.

조우는 "놀랍게도 우리는 이런 간단하고 자기 감독적인 훈련 전략을 사용할 수 있었으며 이를 통해 훈련된 네트워크가 정적인, 혹은 고도로 비정적인 텍스처 등 다양한 텍스처 예시에서 거의 완벽하게 작동했다"고 설명했다.

이 프레임 워크는 확장 텍스처를 자동 생성하는 데 사용될 수 있다. 물론 모든 텍스처 샘플에 자기 감독 적대 훈련이 적용돼야 한다. 이 도구의 목적은 비디오 게임 디자인, 가상 현실(VR), 애니메이션 분야에서 일하는 텍스처 아티스트를 돕는 것이다. 연구진은 이 시스템이 매우 높은 수준의 텍스처 정보를 생성할 수 있을 것이라고 믿는다.

이들은 대규모 텍스처 데이터 세트에서 보편적인 모델을 찾아 교육해 이 도구가 예술가를 도와 독창적인 텍스처 디자인을 만들 수 있도록 연구를 이어갈 계획이다.