간단한 단어나 문구를 사실적 그림으로 바꾸어주는 딥러닝 모델
서너 단어 지시어로 1천 단어 분량으로 설명할 그림 표현 가능
최초로 텍스트, 분할, 스케치 및 스타일을 단일 GAN으로 결합
엔비디아 리서치는 최근 간단한 문구나 문장을 사실적인 그림으로 바꾸어 주는 딥러닝 모델 GauGAN2를 공개했다. GauGAN2는 천 단어 이상으로 묘사될 수 있는 그림을 서너 단어로 만들 수 있다.
GauGAN의 딥러닝 모델을 사용하면 누구나 자신의 상상력을 사실적인 그림으로 쉽게 전환할 수 있다. '해변의 일몰'과 같은 문구를 입력하기만 하면 AI가 실시간으로 장면을 생성해 낸다. '바위 위에서의 일몰'과 같이 형용사를 추가하거나 '일몰'을 '오후' 또는 '비오는 날'로 바꾸면 생성적 적대 네트워크(Generative Adversarial Networks)를 기반으로 하는 모델이 즉시 그림을 수정한다.
새로운 GauGAN2 텍스트-이미지 기능은 NVIDIA AI Demo를 통해 경험할 수 있다. 다양한 텍스트프롬프트 및 스케치를 제공하기 때문에 사용자가 원하는 장면을 보다 빠르고 세밀하게 조정할 수 있다. 사용자가 장면에서 구성 개체의 위치를 지정하는 분할 맵을 생성하고, 거기에서 하늘, 나무, 바위, 강과 같은 레이블을 사용해 대략적인 스케치로 장면을 조정한다. 그런 다음 스마트 페인트 브러시를 이용해 스케치를 멋진 이미지에 통합할 수 있다.
상상한 장면의 모든 요소를 그릴 필요 없이 사용자는 짧은 문구를 입력해 눈 덮인 산맥과 같은 이미지의 주요 특징과 테마를 빠르게 생성할 수 있다. 그런 다음 이 시작점을 스케치로 사용하여 특정 산을 더 높게 만들거나 전경에 몇 그루의 나무를 추가하거나 하늘에 구름을 추가할 수 있다.
단순히 사실적인 이미지만을 만드는 것이 아니라 다른 세상의 풍경을 묘사할 수도 있다. 예를 들어 두 개의 태양이 있는 스타워즈 프랜차이즈의 상징적인 타투인 행성의 풍경을 재현할 수도 있다. '사막 언덕 태양'이라는 텍스트만 있으면 시작점을 만들고 사용자가 두 번째 태양을 빠르게 스케치할 수 있다. 사용자가 텍스트 상자에 입력하는 모든 단어가 AI 생성 이미지에 더 많은 것을 추가하는 반복적인 프로세스가 된다.
앞서 잠시 언급했듯이 GauGAN2는 생성적 적대 네트워크를 기반으로 한다. 물론 GAN 모델은 이미 존재하지만 이 모델의 새로운 점은 텍스트, 분할, 스케치 및 스타일을 단일 GAN으로 결합한다는 것이다. GauGAN2의 AI 모델은 세계에서 가장 강력한 10대 슈퍼컴퓨터 중 하나인 Nvidia DGX SuperPOD 시스템인 NVidia Selene Supercomputer를 사용하여 1천만 개의 고품질 풍경 이미지에 대해 훈련되었다. 연구원들은 '겨울', '안개' 또는 '무지개'와 같이 단어와 단어가 해당하는 영상 간의 연결을 학습하는 신경망을 사용했다.
GauGAN2를 통해 엔비디아는 2019년에 출시된 GauGAN을 다음 단계로 끌어 올렸다. 시스템은 이제 더 정확해지고 종종 실제 사진과 구별할 수 없는 사실적인 이미지를 생성한다. 이것은 AI가 만들어내는 실사 이미지의 시작일 뿐이라고 확신한다. 이러한 시스템은 앞으로 다양한 분야의 디자이너들에게 도움이 될 것이다. 몇 년 안에 어떤 일이 가능할지 기대된다.
AI타임스 박찬 위원 cpark@aitimes.com
[관련 기사] [체험기] '광주폴리(Gwangju Folly)' 메타버스 투어 가보니
[관련 기사] [2021 광주 AI 기업 결산] ③ 인력난 호소하던 AI 기업들, 인재 양성에 직접 나서 성과 '톡톡'
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com