최애 드라마나 영화, 이제 만화책으로 소장한다...중국·홍콩 연구진 공동개발 < AI기술 < 기사본문

중국 다롄이공대학과 홍콩시티대학의 공동 연구진이 최근 TV 시리즈와 영화, 애니메이션 및 기타 비디오 영상에서 데이터를 추출해 만화책을 자동으로 생성하는 시스템을 개발했다. (사진=Yang et al.).

내가 좋아하는 영화나 드라마, 애니메이션을 만화책으로 소장할 수 있다면 어떨까.

중국 다롄이공대학과 홍콩시티대학의 공동 연구진이 최근 TV 시리즈와 영화, 애니메이션 및 기타 비디오 영상에서 데이터를 추출해 만화로 자동 생성하는 시스템을 개발했다고 18일(현지시간) IT 전문매체 테크 익스플로어 등 외신이 보도했다.

아카이브(ArXiv)에 소개된 논문에서 연구팀은 사람이 개입하지 않고 비디오 영상을 만화책으로 만들어낼 수 있는 완전한 자동 시스템을 고안했다고 밝혔다. 자막이 있는 입력 비디오의 경우 우선 자막을 분석해 유용한 키 프레임(key frame)을 추출한 다음 키 프레임을 만화 스타일 이미지로 바꾸는 방식이라는 게 연구진의 설명이다.

해당 시스템은 비디오에서 키 프레임을 추출해 만화 이미지로 변환한다. 이어 다중 페이지 레이아웃 프레임워크를 사용해 여러 페이지에 걸쳐 이미지들을 펼치고, 이 이미지들 간의 관계를 반영해 시각적으로 눈길을 끄는 레이아웃을 만들어낸다.

중국 다롄이공대학과 홍콩시티대학의 공동 연구진이 개발한 만화 자동 생성 시스템의 작동 과정. (사진=Yang et al.).

이 시스템의 장점은 매번 같은 형태의 말풍선을 사용하지 않고 등장인물 캐릭터의 말로 전달되는 감정을 반영한 다양한 말풍선을 생성한다는 데 있다. 이를 위해 먼저 영상의 오디오 트랙과 해당 자막을 모두 분석함으로써 각각의 대화에서 전달되는 감정을 파악한다.

즉 대화의 말풍선 모양과 말풍선 안에 들어있는 단어들의 크기는 등장인물이 전달하는 감정에 따라 달라지게 된다. 덕분에 독자는 만화를 읽을 때 장면 속 인물들 간의 대화를 훨씬 더 생생하게 느낄 수 있다.

시스템에서 생성된 말풍선은 말을 하고 있는 인물 옆에 배치된다. 시스템은 영상 속에서 각기 다른 발화자를 감지한 다음, 인물들이 표현하는 감정에 맞춰 조정된 말풍선을 인물 가까이에 배치한다.

연구팀은 실험을 통해 해당 시스템을 평가했다. 각 시스템 모듈을 평가하고, 영상을 만화로 변환해주는 기존의 유사한 다른 최첨단 시스템의 결과물과 만화의 품질을 비교했다. 시스템은 ‘타이타닉(Titanic)’을 비롯해 ‘바람의 소리(The Message)’, ‘프렌즈(Friends)’, ‘업 인 디 에어(Up in the Air)’ 등 4편의 영화와 드라마에서 발췌한 2~6분 길이의 비디오 클립 16개를 기반으로 만화를 생성했다.

연구팀이 개발한 시스템과 기존의 다른 만화 생성 시스템('Content-Aware Video2Comics')과의 비교 사진. (a)~(d)는 연구팀의 시스템으로 생성된 만화이고, (e)~(h)는 다른 시스템으로 만든 만화이다. (a)와 (e)는 타이타닉(Titanic,), (b)와 (f)는 바람의 소리(The Message), (c)와 (g)는 프렌즈(Friends), (d)와 (h)는 업 인 디 에어(Up in the Air)다. (사진=Yang et al.).

연구팀은 실험 참가자 집단에게 기존의 다른 만화 생성 시스템('Content-Aware Video2Comics')으로 만든 것과 비교해 만화의 전반적인 품질에 대해 평가해 줄 것을 요청했다. 그 결과 실험 참가자 대다수가 연구진의 시스템으로 만들어진 만화 레이아웃을 더 선호하는 것으로 나타났다.

연구팀은 해당 시스템의 성과를 고무적으로 평가하면서도 개선해야할 점을 들어 시스템의 한계를 인정했다. 키 프레임 선택의 정확성이 다소 떨어지기 때문에 경우에 따라 만화에서 불필요한 중복이 있을 수 있다는 설명이다.

연구팀은 다음 연구에서 시스템이 생성하는 레이아웃의 품질을 개선하고 키 프레임 중복 문제를 해결하기 위해 키 프레임 선택 관련 대체 모듈을 개발할 계획이다. 더 나아가 텍스트 형태의 이야기를 만화책으로 생성하는 등 향후 이 기술을 확대 적용할 수 있을 것으로 기대했다.

한편 지난 몇 년간 텍스트나 이미지 또는 다른 유형의 데이터를 자동으로 생성하고 변환할 수 있는 다양한 기술들이 속속 나와 눈길을 끌고 있다. 이 같은 기술들은 비용과 시간 절감은 물론 일일이 수작업해야 하는 수고를 덜어주고 때로는 창작활동에 영감을 주기도 한다.

일반 풍경 사진(왼쪽)과 이를 구글 아트 트랜스퍼를 활용해 뭉크 풍으로 변환한 사진(오른쪽). (사진=구글).

지난해 4월에 구글은 AI를 활용해 일반 사진을 고흐나 레오나르도 다빈치 등 유명 화가 23명의 화풍으로 변환해주는 '아트트랜스퍼(Art Transfer)'를 공개한 바 있다. 또 인도 TCS 로봇공학연구소 연구진은 최근 사람의 얼굴 이미지를 조르당 곡선(Jordan curve) 그림으로 자동 변환시켜주는 AI 시스템을 개발하기도 했다.

서울대 대학원생인 이동익 씨가 응용‧개발한 생성적 적대 신경망(GAN) 기반 웹툰 작가 알고리즘의 웹툰 캐릭터 생성 과정. (사진=이동익 깃허브(bryandlee)).

국내에서도 마찬가지다. 서울대 대학원생인 이동익 씨가 응용‧개발한 생성적 적대 신경망(GAN) 기반의 웹툰 작가 알고리즘은 지난해 8월 외신에 소개될 만큼 화제가 됐다. 해당 AI 모델은 이말년 작가의 그림체를 기반으로 사람 얼굴을 인식해 개성 강한 웹툰 캐릭터 얼굴을 생성, 많은 이들에게 재미를 안겼다.

AI타임스 윤영주 기자 yyj0511@aitimes.com