넷마블(대표 권영식·이승원)이 음성 대사 속 감정을 자동 인식해 애니메이션화하는 기술을 선보였다고 20일 밝혔다. 이번 기술은 그래픽 기술 분야 컨퍼런스인 '시그라프 아시아 2021'(SIGGRAPH Asia 2021)'에서 공개했다.
넷마블이 공개한 기술은 음성 대사 속 감정을 자동 인식해 이를 기반으로 안면 애니메이션을 생성하는 기술(Emotion Guided Speech-Driven Facial Animation)이다. ▲음성 감정 인식 ▲얼굴 표정 ▲립싱크 등 세 가지 모듈을 종합해 실제 사람과 같은 자연스러운 표정을 그래픽으로 구현할 수 있다.
음성 데이터를 인공지능(AI) 시스템에 입력하면 음성 대사에 알맞는 감정을 자동으로 AI가 분석해 추출하는 방식이다. 해당 감정에 맞는 자연스러운 얼굴 표정과 립싱크를 연동해 애니메이션 게임 캐릭터에 적용할 수 있다.
안소남 넷마블 AI센터 팀장은 "기쁨, 슬픔, 두려움 등 여러 감정 표현에 관한 일정한 기준을 정한 뒤, 음성에 맞게 각각 다른 강도를 부여해 풍부한 감정 표정을 자동으로 생성한 것이 기술의 핵심"이라고 말했다.
# 신기술 적용시 이점
넷마블은 향후 본 기술을 적용해 개발 기간을 단축하고, 게임 이용자의 몰입도를 향상하는 등 여러 부가적인 기능에 대한 효과를 볼 것으로 기대하고 있다고 전했다.
회사 측은 "이 기술을 통해 현실적이고 생동감 있는 3D 그래픽 효과 연출 자동화를 목표로 하고 있다"며 "기술을 지속적으로 고도화해 향후 글로벌 신작 개발에도 적극 활용할 계획"이라고 밝혔다.
# '시그라프 아시아 2021'은
시그라프 아시아 2021는 CG나 영상 애니메이션, 비디오 게임 등 그래픽 기술 분야 컨퍼런스다. 지난 14일부터 17일까지 일본 도쿄 국제 포럼에서 온라인과 동시에 개최됐다.
CG 등 시각 효과를 포함, 게임 및 컴퓨터 애니메이션 등 그래픽 디자인과 AI와 같은 상호작용 기술이 적용된 다양한 연구 주제를 다루고 있다.
# 넷마블의 또다른 성과는
넷마블은 지난 11월, EMNLP 2021에서 한국 게임업계 최초로 'AI 번역 후보정 기술'로 우승을 차지했다.
작년 겨울, NeurIPS 2020에서 '모니카 : 모바일 게임 모바일 신경 음성 명령 지원'(MONICA: MObile Neural voIce Command Assistant for mobile games)과 IEEE ICASSP 2020에서 '모바일 게임을 위한 강력한 종단 간 키워드 탐지 및 음성 명령 인식'(Robust End-to-end Keyword Spotting and Voice Command Recognition for Mobile Game) 등 논문을 발표했다.
AI타임스 이하나 기자 22hnxa@aitimes.com
