내가 디즈니 주인공? 전이학습 GAN으로 해결

얼굴 사진을 디즈니 캐릭터화 해주는 Toonify Yourself! 홈페이지
적대적 생성 모델 기반 딥러닝 알고리즘 모델 StyleGAN 사용
홈페이지 접속 폭주로 서비스 중단되는 등 인기
개발자가 공개한 소스코드 사용해 직접 모델 구동 가능

내 얼굴을 바로 디즈니 영화 주인공처럼 만들어주는 Toonify Yourself! 홈페이지. 전이 학습 기술을 사용해 얼굴 사진이나 그림을 인식해 디즈니 캐릭터화 한 이미지를 생성한다. 이미지 생성 알고리즘도 공개됐다(https://colab.research.google.com/drive/1s2XPNMwf6HDhrJ1FMwlW1jl-eQ2-_tlk?usp=sharing).

Toonify Yourself(투니파이)는 저스틴 핀크니(Justin Pinkney)와 도론 아들러(Doron Adler)가 개발한 딥러닝 기반의 디즈니 캐릭터 생성 모델.

핀크니와 아들러는 사전 훈련된 StyleGAN 모델에 디즈니 영화에서 수집한 캐릭터 데이터 세트로 훈련시켰다. 학습 후 초기 출력은 디즈니 캐릭터의 특징인 큰 눈을 잘 나타냈지만 낮은 해상도와 CG같은 그림체 등의 문제점이 발견됐다.

두 개발자는 전이학습으로 해결책을 찾았다. 전이학습은 잘 훈련된 모델을 사용해 학습 데이터가 부족한 모델을 구축하는 방법. 그들은 원본 모델에서 고해상도 층을 가져오고 미세조정된 만화 모델에서 저해상도 층을 가져왔다. 그 결과, 만화 얼굴의 구조와 사실적인 렌더링을 가진 하이브리드 이미지를 생성했다. 저해상도 층은 머리 포즈와 얼굴 모양에 영향을 미치고 고해상도 레이어는 조명 및 질감에 영향을 준다.

이어 핀드니에 따르면 그의 생성 모델은 가볍고 빠른 실행 시간을 위해 ONNX(Open Neural Network Exchange) 형식을 사용했다. ONNX는 딥러닝 모델용 공유 플랫폼으로 인공지능 개발자들이 기존에 사용하던 프레임워크를 학습 모델에 따라 쉽게 변환이 가능하다.

현재 홈페이지는 일시적으로 운영을 멈춘 상태. Toonify Youself! 홈페이지는 도커(Docker) 기반의 서버리스 시스템인 구글 클라우드 런(Cloud Run)을 사용해 배포됐다.

클라우드 런은 서버 요청을 처리하는 시간만큼 요금을 지불해야 한다. 핀크니는 "이미지 1000개당 약 30센트를 지불했지만, 해커뉴스 1면에 오른 이후 접속자가 급속도로 증가했다"며 "사용자가 늘어가면서 시간 당 2만 5000장의 이미지를 처리해야하자 지불 금액이 빠르게 올랐다"고 밝혔다. 이어 "과금된 클라우드 청구서 때문에 잠시 홈페이지 운영을 멈췄지만, 다시 무료로 사용자들이 우리 모델을 쓸 수 있도록 서버를 고치는 중"이라고 전했다.

편집자 주: 기사가 보도된 당일 24일 낮12시 기준 Toonify Youself 홈페이지가 복구되어 가동중입니다. 홈페이지에 접속 공개된 소스 코드를 활용, 자신의 사진 등 자료로 캐릭터를 생성해보고 싶은 독자들께서는 한국인공지능커뮤니티(대표 이강훈) 유튜브 채널을 참고 하실 수 있습니다. ((https://www.youtube.com/watch?feature=youtu.be&v=z8ndPu4MaIA&app=desktop)