"사진 1장·음성 30초만으로 AI 영상 '뚝딱', 죽은 사람과 대화도 가능"...진승혁 클레온 대표 인터뷰

사진 10만장과 40시간 학습을 사진 1장과 음성 데이터 30초로 단축
디지털 세상에 영원히 존재하는 '메타클론'에 기술 공급
대기업과 협업해 자동 외국어 더빙, 실감형 콘텐츠 제작
영상 기반 SNS '카멜로' 출시..."세계적인 플랫폼으로 만들 것"

돌아가신 부모님을 다시 만날 수 있을까? 연인, 자녀, 심지어 애완동물까지 죽음을 초월한 만남을 이어갈 수 있을까?

지난 15일 SBS에서 방영된 스페셜 방송 '불멸의 시대'에 소개된 '메타클론'은 디지털 기술로 죽음을 초월한 만남을 이어갈 수 있는 가능성을 보여줬다. 메타클론은 인류의 머릿속에 있는 기억을 복제해 가상 인간으로 만들어 디지털 세상에서 영원히 존재할 수 있게 하는 기술이다. 살아생전에 얼굴과 표정, 제스처, 목소리, 감정 등을 기억을 통해 구현할 수 있다.

메타클론은 현재 약 1천여 개 국내외 인공지능(AI) 기업이 '메타버스 버추얼 리얼리티 퓨처 프로젝트'를 통해 공동 개발하고 있다. 이 중 중요한 요소 중 하나인 얼굴·목소리 복원 기술을 국내 스타트업 클레온이 담당했다. 사진 1장과 음성 데이터 30초 만으로 영상 속 인물의 얼굴과 목소리를 실시간으로 만들 수 있는 '딥휴먼' 기술을 공급했다.

위에 있는 인물은 가상으로 만든 '아버지'다. 이 가상인간은 실제 아버지처럼 사용자와 대화하는 것이 가능하다. (사진=클레온)

"딥페이크 기술로 영상의 얼굴과 목소리를 바꾸려면 기본적으로 사진 10만 장과 40시간 정도의 학습 시간이 필요하죠. 저희는 사진 1장과 실시간에 가까운 속도로 이를 구현할 수 있습니다."

클레온 본사에서 만난 진승혁 대표는 차별화된 딥러닝 영상생성 기술에 대한 자신감을 내비쳤다. 해당 기술로 메타클론 등 가상 챗봇뿐 아니라 실감형 콘텐츠 개발, 소셜네트워크서비스(SNS) 혁신 등을 이룰 수 있다고 설명했다. 이미 새로운 SNS 서비스인 '카멜로'를 출시했고, 여러 대기업과의 협업으로 해당 기술을 소비자에게 제공하고 있다고 밝혔다.

◆ AI 영상생성 기술 경량화...'적은 데이터'와 '실시간'에 주목한 결과

클레온이 자체 개발한 딥휴먼은 AI 딥러닝 기반 영상생성 기술이다. 이미 만들어진 영상의 얼굴을 다른 사람의 얼굴과 목소리로 변환할 수 있고, 목소리를 입히면 영상 속 인물이 목소리에 맞춰 입모양을 바꾸는 것이 가능하다. 우리말로 녹음한 목소리를 입혀도 자체 개발한 음성통역(STS) 기술로 영어, 중국어, 일본어로 변환할 수 있다.

이 기술은 가상인간 생성에도 사용할 수 있다. 여러 명의 사진을 합쳐 새로운 인물을 만들 수 있고, 32가지 파라미터(매개변수)의 조정 장치가 있어 눈이나 코를 특정 인물에 더 가깝게 하는 등 미세한 조정을 할 수 있다. 웹캠을 통해 나의 모습을 다른 사람이나 강아지, 애니메이션 캐릭터, 고전 초상화 등으로 바꾸는 것도 가능하다. 강아지나 애니메이션 캐릭터 사진을 적용하면 웹캠에 촬영되는 나의 표정을 사진 속 대상이 그대로 따라하는 방식이다.

해당 기술은 이미 세상을 떠난 사람과 대화하는 등 다양한 기술로 응용해 사용할 수 있다. 진승혁 대표는 "먼 훗날 부모님이 돌아가시는 상황이 됐을 때 부모님의 기억을 기반으로 가상 챗봇을 만들어 대화하는 것이 가능하다"면서 "고객센터 등에서 가상인물과 화상채팅을 하고 가상으로 연예인과 통화하는 것도 가능해질 것"이라고 말했다.

클레온의 영상생성 기술 핵심은 '경량화'다. 한 장의 사진이라는 적은 데이터와 실시간에 가까운 속도로 해당 기술들을 구현할 수 있다. 대량의 데이터와 많은 시간이 소요되는 타 기업 서비스와 차별된다.

진 대표는 "우리는 '적은 데이터'와 '실시간'이라는 키워드를 목표로 3년 넘게 연구해왔고, 지금까지 단 한번도 이를 바꾼 적이 없다"면서 "목표 달성을 위해 카이스트 출신 AI 코어 개발자들과 AI 기술을 경량화하는 데이터 엔지니어들을 중심으로 팀을 구성해 꾸준히 노력해온 결과 해당 기술을 개발할 수 있었다"고 밝혔다.

클레온의 '딥휴먼' 기술은 사진 1장과 30초~1분 내외의 음성 데이터만으로 새로운 이미지와 영상을 만들 수 있다. (사진=클레온)

◆ 대기업과 협업해 유튜브 더빙, 실감형 교육 콘텐츠 제작 참여

클레온의 기술은 다양한 경로를 통해 사용자에게 공급되고 있다. CJ ENM과는 멀티채널네트워크(MCN)인 다이아TV에 다국어 더빙 사업을 진행하고 있다. 국내 유명 유튜버 방송을 자동으로 영어·중국어·일본어로 변환해준다. 유튜버의 입모양도 외국어에 맞게 자동 변경해 자연스러운 시청을 제공한다.

웅진씽크빅 등 교육업체와는 실감형 콘텐츠를 제작하고 있다. 책을 읽어주는 서비스에 학습자 본인의 목소리나 부모, 지인의 목소리를 입히는 서비스를 공급 중이다. 이를 통해 학습자는 수동적인 교육에서 벗어나 보다 능동적인 교육이 가능하다.

지난 6월에는 김종대 새에덴교회 장로와 협업해 6·25전쟁 71주년 기념행사에서 국내외 참전 용사의 모습을 딥휴먼 기술로 영상 복원하기도 했다.

진 대표는 "자세히 공개하지 못하지만, 여러 대기업과 협업을 진행하고 있다"면서 "딥휴먼 기술은 새로운 영상과 음성을 쉽고 빠르게 만들 수 있어 다양한 분야에 적용되고 있다"고 말했다.

클레온은 간소한 얼굴·음성 생성 기술로 소비자에게 다양한 서비스를 제공하고 있다. (사진=클레온)

클레온은 지난 10일 카카오인베스트먼트가 주도한 20억원 규모 프리 시리즈A 투자도 유치했다. 회사는 이 투자금으로 딥러닝 기술을 고도화하면서 글로벌 진출을 위한 초석을 다진다는 계획이다.

진 대표는 "향후 1년내 데이터 사용이 용이하고 글로벌 사업 확장이 유리한 미국으로 회사를 옮길 계획을 하고 있다"면서 "카카오가 해외에 많은 인프라가 있는 만큼, 상호협력하면 좋은 기회가 많이 창출될 것으로 보인다"고 밝혔다.

◆ 누구나 쉽게 만드는 영상 기반 SNS '카멜로' 출시

클레온은 지난 달 새로운 SNS 플랫폼인 '카멜로'도 출시했다. 페이스북이 텍스트, 인스타그램이 이미지, 제페토가 애니메이션, 클럽하우스가 사운드를 기반으로 한다면 카멜로는 영상을 기반으로 한다. 사용자는 터치 한 번으로 얼굴을 변환하는 등 다양한 영상을 무료로 만들고 공유할 수 있다.

클레온은 지난 달 영상 기반 SNS 플랫폼인 '카멜로'를 출시했다. (사진=클레온)

진 대표는 카멜로를 통해 누구나 쉽게 영상을 공유하는 새로운 SNS 시대를 열어간다는 계획이다. 그는 "지금 주류 콘텐츠는 영상인데 많은 사람이 영상제작을 어려워하고 있다"면서 "유튜브나 틱톡 등 영상을 기반으로 한 SNS의 콘텐츠 생산자가 전체 사용자 대비 한 자릿수를 유지하고 있는 것이 이 때문"이라고 지적했다.

이어 "기록매체 중 텍스트는 2천년이 넘는 동안 동굴벽화에서 깃펜, 연필, 키보드, 터치패드 등으로 꾸준히 발전을 해왔지만, 지금 주류인 영상은 여전히 카메라를 사용하는 전통적인 방식을 유지하고 있다"면서 "영상도 터치 한 번으로 쉽게 제작할 수 있지 않을까라는 생각에 카멜로를 제작했다"고 밝혔다.