GAN 무한도전 캐릭터를 사람처럼, 사람을 캐릭터처럼

전이학습 GAN 기술 적용 다양한 사례 속속 등장
서울대생이 개발, 이말년 화풍 배운 '웹툰작가' AI
디즈니 스타일로 내 캐릭터를 만들어주는 Toonify Youtself!
동전에서 현실로 탄생한 로마 황제 복원 프로젝트

소셜 미디어에서 필명 Toyboyfan으로 활동하는 한 아티스트가 인공지능(AI) 기술 GAN으로 구현한 초현실적인 디즈니 캐릭터 초상화를 자신의 SNS(인스타그램 @toyboyfan)를 통해 공개했다. Toyboyfan의 디즈니 초상화는 AI와 예술을 바탕으로 한 'In real Life' 프로젝트.

생성적 적대신경망(GAN)을 활용한 다양한 사이트 및 계정의 등장은 미리 학습한 인공지능 모델을 활용, 적은 데이타로 결과물을 생성하는 전이학습(제로샷, 퓨샷러닝 등) 추세를 보여주는 것으로 보인다. 전이 학습이란 딥러닝을 특징 추출기로만 사용하고 추출한 특징으로 다른 모델을 훈련시키는 방법. 기존 모델을 사용하며 새로운 모델을 만들면 학습 속도가 빨라지고, 예측이 높아진다.

21일 Toyboyfan에 따르면 "디즈니 캐릭터 사진과 해당 캐릭터와 유사한 실제 사람의 사진을 AI 프로그램에 입력 후 결과를 다른 사진과 프로그램에 넣고 다시 출력을 반복했다"며 "사실적인 결과가 나오면 해당 최종 출력본을 포토샵에서 수정 과정을 거쳐 더 자연스러운 디즈니 캐릭터처럼 보이도록 만들었다"고 밝혔다.

GAN(Generative Adversrial Networking)은 서로 적대(Adversarial)하는 관계의 2가지 모델(생성 모델과 판별 모델)을 동시에 사용한다. 가장 흔히 거론되는 사례는 가짜 지폐를 만드는 위조지폐범과 이를 적발하는 경찰의 관계. 두 모델은 서로와 경쟁하는 관계를 형성한다. 생성 모델이 원본을 바탕으로 이미지를 만들면 판별 모델이 진짜(원본)와 가짜를 구분한다. 생성 모델은 적발을 피하기 위해 최대한 원본과 비슷하게 이미지를 구현하고, 판별 모델은 최대한 이를 구분하기 위해 노력한다. 이 과정을 끊임없이 반복하게 되면 원본과 구별이 어려운 가짜 이미지가 만들어진다.

이에 앞서 언론을 통해 소개된 GAN 기술 기반 사례들은 다음과 같다.

국내 대학원생의 '웹툰 작가' 인공지능 ( 인공지능이 '침착맨' 이말년 화풍 10시간만에 배워, 전이학습 효과 ). 웹툰 작가 이말년의 그림체를 배운 서울대 대학원생이 만든 알고리즘이다. 사람 얼굴을 넣으면 AI가 이말년 화풍의 캐릭터를 생성한다.

다음은 로마 황제 초상화 복원 프로젝트( 전이학습 GAN으로 인공지능이 로마 황제 초상화를 그려냈다 ). 가상현실 전문가 다니엘 보샤트(Daniel Voshart)는 조각상, 동전, 그림 등에서 역대 로마 황제들의 이미지를 모았다. 이후 수집한 데이터셋을 인공지능 프로그램 아트브리더(ArtBreeder)에 입력해 로마 황제 형상을 3D로 구현했다.