"AI 메타버스 타임머신 타고 역사 속 인물 만난다" (下)

지난 1999년부터 지금까지 22년 동안 약 70개의 문화유산 디지털 복원 프로젝트를 수행해왔다. 그중에 미국 뉴욕 메트로폴리탄 박물관에서 보여줬던 ‘석굴암 디지털 전시’가 가장 기억에 남는다.

국립중앙박물관의 페르시아 디지털 전시와 덕수궁 석조전 혜초 전시 등 국내 웬만한 박물관을 거쳐 미국 뉴욕에 있는 박물관까지 진출하게 됐다. 세계 4대 미술관 가운데 하나이자 미국 최고의 박물관으로 꼽히는 뉴욕 메트로폴리탄 박물관이었다. 

고대부터 현대에 이르기까지 세계의 모든 문화가 백과사전처럼 모여있다는 그곳에서 지난 2013년 11월 초부터 2014년 2월까지 특별기획전시 ‘황금의 나라, 신라’가 열렸다. 이 전시의 일환으로 디지털 석굴암을 선보였는데, 3개월 동안 총 21만의 뉴욕 시민과 외국 관람객들이 석굴암을 관람했다.

당시 존재조차 생소했던 ‘석굴암’이라는 우리의 문화유산을 디지털 기술의 힘을 빌려 수많은 외국인들에게 각인시킨 것 같아 더없이 뜻깊었던 프로젝트였다. 또 세계 어느 시대, 어느 문화와 비교해도 뒤지지 않는 풍부한 아름다움과 역사적 중요성을 갖춘 한국 문화유산에 대한 자부심을 가졌던 순간이기도 했다. 비록 8년이나 더 지난 얘기지만 개인적으로 디지털 복원 작업의 절정기이기도 했다.  

이전부터 문화유산에 첨단기술을 접목하려는 시도와 연구는 지속적으로 있어 왔다. 돌이켜 보면 백제인의 얼굴 복원 연구가 AI 기술과의 접목을 생각하게 된 계기였던 것 같다.

고구려 고분벽화에 그려져 있는 고구려인과는 달리, 백제인의 얼굴을 알 수 있는 기록이나 유물은 많지 않다. 지금으로부터 약 1400년 전 한반도 중서부에서 화려한 문화를 꽃피운 백제인들의 얼굴은 어떤 모습일지 무척 궁금했다.

그래서 지난 2012년 ‘얼굴전문가’로 불리는 조용진 박사(미술해부학)와 함께 디지털 기술을 이용해 백제 여인의 얼굴을 복원하는 작업에 나섰다. 충남 부여 능안골이라는 지역에서 발견된 AD 6세기경 백제 귀족부인의 파편화된 두개골을 모아 얼굴을 되살려내는 데 성공했다. 디지털 복원으로 되살아난 백제인은 얼굴이 길고 눈 사이가 좁은 전형적인 북방인의 얼굴을 갖고 있었다. 

백제인의 얼굴을 복원하는 과정에서 디지털 휴먼의 가능성을 엿본 셈이다. AI 기술 이전에는 주로 외관 중심의 디지털 휴먼을 제작해왔다. 만약 지금 다시 백제인의 얼굴을 복원하게 된다면, 이제는 현대인과 서로 대화를 나눌 수 있는 인터렉티브형 백제인 디지털 휴먼이 탄생할 수 있을 것이다. 앞으로는 AI 기술을 활용해 역사인물형 인공지능 디지털 휴먼을 구현하는 데 주력할 생각이다.  

비록 역사인물은 아니지만 상업적인 디지털 휴먼의 제작 사례로 오드리 헵번 디지털 휴먼을 들 수 있다. 지난 2014년 초콜릿 제조업체인 도브(Dove)에서 한 초콜릿 광고를 만들었는데, 출연 배우가 오드리 헵번이었다. 광고에는 25세의 오드리 헵번이 등장했지만, 당시 오드리 헵번은 사망해 고인이 된 후였다. 이미 세상을 떠난 오드리 헵번을 디지털 휴먼으로 되살려 광고에 내보냈던 것이다.

오드리 헵번에 관한 각종 자료들을 토대로 얼굴을 3D모델링했고, 페이셜 코딩 시스템(facial action coding system)을 통해 얼굴 근육 움직임 개수만 70개 이상이었을 정도로 공을 들여 마치 살아 움직이는 듯한 오드리 헵번을 연출했다. 디지털 휴먼의 상업적 가능성을 잘 보여준 사례라고 할 수 있다.

지금까지 문화유산을 다루는 박물관 전시는 VR과 AR로 대변되는 실감 콘텐츠가 대부분이다. AI 기술을 도입해 박물관 전시에 적용하려는 시도가 현재로서는 매우 미미한 실정이다. 게다가 문화유산 분야에서 현실적으로 사용해 볼 수 있는 기술은 그렇게 고도화돼 있지 않다. 현재 해당 분야에 적용할 다양한 콘텐츠를 개발하는 과도기이기 때문에 AI 기술 적용은 아직까지 시간이 걸릴 것으로 보인다.

어쨌든 오드리 헵번 디지털 휴먼을 등장시킨 광고는 나에게 역사인물을 어떻게 재현해야 할지에 대해 고민하게 만드는 자극제가 된 셈이다. 여기에 AI를 적용하면 더 완벽한 오드리 헵번 인공지능 디지털 휴먼이 되겠다는 생각을 갖게 됐다. 이를 할리우드 배우 말고 과거 역사인물에 적용해보자는 생각을 하게 된 것이다.

이 밖에 실제 인물이 아닌 한 장의 그림만 가지고도 디지털 휴먼 제작이 가능하다. 지난 2019년 10월부터 지난해 2월까지 프랑스 루브르 박물관에서 레오나르도 다 빈치 사후 500주년을 기념해 회고전('Mona Lisa: Beyond the Glass')을 진행했다. 당시 레오나르도 다 빈치의 대표작 '모나리자'를 3차원 공간 그래픽을 통해 디지털 휴먼으로 선보여 큰 호응을 이끌어냈다. 이 같은 디지털 휴먼의 사례는 AI 기술이 고도화됨에 따라 더욱 더 발전된 형태로 진화하면서 보편화될 전망이다. 

올해 추진하려고 하는 프로젝트는 크게 두 가지다. 현재 서울과 수도권에서 대중들에게 인공지능 콘텐츠를 보여줄 만한 장소가 거의 없다. 코로나19 때문에 일정이 명확하진 않지만 올해 국회에서 인공지능 콘텐츠와 관련해 실험적인 퍼포먼스를 벌일 계획이다.

‘안중근 의사, AI로 되살아나다’라는 제목으로 디지털 휴먼을 전문적으로 제작해온 ㈜비빔블과 협업해 독립운동가 인공지능 콘텐츠를 선보이려고 한다. 국회 세미나실에 안중근 의사를 불러 등장시킬 계획이다. “당신이 이토 히로부미를 저격했을 당시 마지막 남겨놓으신 한 발의 총알은 자결용이었습니까?”라고 질문을 던지면, 인공지능 안중근 의사께서 나에게 대답할 것이다. “사실 한 발의 총알은…….” 이후는 현장에서 보여드리겠다.

올해는 안중근 의사의 하얼빈 의거 112년이 되는 날이다. 교과서와 영화 등에서만 봐왔던 사건이다. 안중근 의사를 디지털 휴먼으로 제작해 당시 하얼빈 기차역 공간을 메타버스화함으로써 112년 전 역사적 현장에 와있는 듯 안중근 의사가 이토 히로부미를 어떻게 저격했는지 생생히 지켜볼 수 있다. 이처럼 인공지능을 직접 체감할 수 있는 콘텐츠를 통해 인공지능형 역사인물 복원의 방향을 제시하려 한다.

두 번째로 올 하반기부터는 본격적인 외국 역사인물 공략에 나설 계획이다. 그 대상은 바로 미국 타임즈(Times) 세계 100대 역사인물 선정에서 늘 1등을 놓치지 않았던 ‘징기스칸’이다. 몽골 인공지능 프로젝트의 목적은 징기스칸을 AI 기술로 2022년에 다시 되살리는 것이다.

현재 징기스칸은 초상화만 남아있을 뿐 그의 무덤은 발굴되지 못했다. 현재 몽골 부르칸 산 속 어딘가 묻혀있을 징기스칸. 그를 인공지능 빅데이터를 이용해 '디지털 징기스칸'으로 부활시키려 한다.

한국 영화의 대부였던 고(故) 신상옥 감독님의 마지막 염원이 영화 '징기스칸' 제작이었는데 결국 그 꿈을 이루지 못하시고 지난 2006년 타계하셨다. 비록 영화는 아니지만, 몽골을 주무대로 몽골제국의 수도인 카라코룸을 되살리고 그 몽골제국의 공간 속으로 징기스칸을 소환할 생각이다.

코로나19 때문에 올해 몽골을 방문하지 못해 아쉽지만 코로나가 끝나면 몽골정부와 징기스칸 프로젝트를 본격적으로 논의하려 한다. 지난해 1월 이미 몽골 국립고고학 연구소의 에렉젠(Gelegdorj Eregzen) 소장과 프로젝트 청사진에 대한 이야기를 나눴고, 몽골 측과 SNS를 통해 징기스칸을 역사인물로 재현하기 위한 협의를 진행하고 있다.

한마디로 과거의 사람들을 만난다는 인류의 오랜 꿈을 이루게 되는 것이다. 교과서나 만 원짜리 지폐에서 늘 봐왔던 세종대왕을 만날 수 있게 되는 셈이다. 과거 수많은 역사인물들의 육신은 이미 땅 속에 묻혀 흙으로 돌아갔다. 물론 부활은 신(神)의 영역이지만, 디지털 휴먼 기술과 AI 기술로 인해 '디지털 생명체'로 다시 태어날 수 있다. 

2200여 년 전 중국 진시황은 불로초를 찾아 영생을 꾀하려 했다. 결국 이를 구하지 못해 죽음에 이르렀지만 말이다. 그러나 앞으로는 ‘디지털 불로초’의 세상이 오리라 생각한다. 어떻게 보면 인공지능 세상은 ‘디지털 불로초’의 세계가 이미 도래했음을 뜻하기도 한다. 비록 생물학적으로는 사망했지만 디지털로 다시 부활하는 일들이 벌어질 것이다.

디지털 휴먼은 실제 사람만큼 생동적인 상호작용이 가능한 가상인간을 의미한다. 인간의 언어를 이해하고 문자나 음성으로 응답하는 수준을 넘어 감정적인 교류까지 가능하다는 점에서 단순 챗봇과는 다르다. 실제 디지털 휴먼이 제작된 모습을 보면 실제 사람과 생김새가 굉장히 흡사하며 행동과 표정은 거의 이질감이 느껴지지 않을 정도로 자연스럽다.

현재 디지털 휴먼은 차세대 인공지능 기술로 주목받고 있다. 특히 메타버스에 있어 디지털 휴먼은 필수적인 요소다. 최근에는 AI 딥러닝과 3D 휴먼 기술로 거의 사람처럼 상호작용을 하는 ‘인공지능형 디지털 휴먼’ 제작이 가능한 수준에 와 있다. CG가 실제 인간에 가까운 가상인물의 겉모습을 만드는 기술이라면, 인공지능은 일종의 디지털 생명과 지성을 불어넣는 기술이라고도 볼 수 있다. 

인공지능이 어두운 면도 있지만 종래 산업에 엄청난 활기를 불어넣을 수 있는 잠재력 또한 크다. 앞으로 인공지능은 디지털 문화유산 복원 프로젝트에 큰 영향을 미칠 것이다. 단순히 관찰하고 보는 형태의 디지털 복원에서 벗어나, 과거 사람들과 말하고 생활하고 더불어 살아가는 또 다른 세상을 만들어 줄 것으로 기대하고 있다.

해외에서는 이 같은 프로젝트가 이미 일찍이 시작됐다. 그중 하나가 ‘베네치아 타임머신 프로젝트’다. 르네상스 시대 수백만 권에 이르는 당시 사회상을 반영한 세부 기록 사료들을 빅데이터화한 것이다. 스위스 로잔연방공과대와 이탈리아 카포스카리 베네치아대가 AI 머신러닝 기술을 활용해 중세 베네치아를 인공지능 콘텐츠 형태로 구현해냈다.

베네치아 타임머신 프로젝트에는 각종 첨단 복원 기술이 동원됐다. 먼저 베네치아 국가기록물 보관소에 있는 지도와 논문, 원고, 낱장 악보, 계약서 등 수백만 건의 각종 문헌을 디지털 파일로 스캔하는 작업이 이뤄졌다. 자동으로 책장을 넘기는 로봇팔과 2m 크기의 대형 회전 스캐너를 통해 시간당 최대 수만 장의 문헌자료를 고해상도 디지털 이미지로 바꿔 컴퓨터 서버에 전송하는 식이다. 이렇게 8백만 건의 문건을 빅데이터화했다.

또 이런 고서들은 직접 책장을 넘길 경우 훼손될 우려가 있기 때문에, 연구팀은 컴퓨터 단층촬영(CT) 기술을 활용해 책의 단면, 페이지 하나하나를 매우 조심스럽게 스캔하고, 이후 스캔한 문서들을 디지털 검색이 가능한 텍스트 형태로 바꿔나갔다.

인쇄술이 발달하기 전 손으로 쓴 옛 문헌에는 흘려쓴 필기체나 시대에 따라 달라진 표기법 때문에 같은 단어와 사람 이름도 조금씩 다르게 표기됐다. 이에 AI 기계학습 방법을 적용해 일종의 자동화된 모듈을 만들었다.

이를 통해 당시 베네치아 사람들의 행정 문서나 의료 기록, 부동산 거래, 물품 거래, 상행위  거래, 금융 거래, 지도, 건축 설계도 등을 분석했다. 중세 베네치아 거리 모습은 물론, 사람들이 주로 누구와 알고 지냈는지 사회적 연결망까지 파악할 수 있었다. 한마디로 인공지능이 밝혀낸 중세 문화상으로 중세 역사에 새로운 지평을 연 셈이다.

AI 기술을 통해 오랫동안 인류가 풀지 못한 고고학적인 숙제를 풀고자 한다. 세계 4대 문명 가운데 기원전 2600년에서 1900년 사이에 발달했던 인더스 문명이 있다. 이 문명은 갑작스럽게 역사에서 사라져 거의 4000년 동안 완전히 잊혀졌다 1920년대 영국과 인도의 고고학자들에 의해 발견되면서 다시 주목을 받기 시작했다.

인더스 문명은 힌두교의 기원이자 인도 문명의 시작점으로 평가받고 있다. 인더스 문명의 고대 도시인 모헨조다로는 유네스코 세계문화유산으로 등재되기도 했다. 이 인더스 문명의 토대가 바로 인더스 문자였다.인더스 문자는 부분적인 상형문자로 인간과 동물을 모티브 삼아 만들어졌는데 신비로운 유니콘을 포함하고 있다. 이들 문자는 미니 동석으로 만들어진 봉인석과 테라코타 문자판, 때로는 금속판에 새겨져 있다.

지난 1822년 프랑스의 천재적인 언어학자의 손에서 이집트 문자가 해독됐다. 1857년 메소포타미아 설형 문자의 비밀이 풀린 데 이어, 1952년에는 러시아의 한 박물관 학예사에 의해 신비에 싸여있던 마야 문자까지 해독됐다. 이후 무려 70년이 지났지만 인더스 문자만 여전히 해독이 안 되고 있다. 전 세계 4대 문명권에서 유일하게 해독을 못한 것이 바로 인더스 문명의 문자다. 이 인더스 문자 해독을 위해 다양한 연구가 이어져오고 있다.

지금까지 발견한 인더스 문명의 인장만 2천개가 넘는다. 3~4cm 내외의 정사각형 도장으로 상거래에서 사용됐을 것으로 추정된다. 이들 인장에는 글자나 기호, 여신, 동물 등 다양한 모습이 새겨져 있어 도장 외에 부적처럼 사용됐을 것으로 추측만 할 뿐, 아직 그 내용이 해독되지 않아 정확한 쓰임새는 알 수 없다.

최근 미국 워싱턴 대학의 컴퓨터 과학자인 라제시 라오(Rajesh Rao) 연구팀이 숨겨진 인더스 문자를 컴퓨터 프로그램 알고리즘을 통해 일부 해독하기도 했다. 디지털 접근법의 잠재성을 보여준 좋은 사례였다. 그러나 아직까지 완전한 문자 해독은 이뤄지지 않고 있다.

이에 향후 더욱 발전된 AI 기술을 기반으로 인류의 난제인 인더스 문자 해독에 도전해 문화유산의 비밀을 풀어보려 한다. 이를 위해서는 인더스 문자를 디지털화하는 작업을 거쳐 대중에 공개될 수 있는 데이터로 만들어내야 한다.  특히 인더스 AI 프로젝트는 데이터에 접근 가능한 인프라를 구축해야 가능하다. 일부 학자들이 소유한 데이터만으로는 그 해독이 불충분할 수 있어 대중에 공개해 다 함께 풀어가는 방식도 모색해 볼 수 있다. 이를 통해 언어 전문가가 찾아내지 못하는 부분을 발견할 수도 있다고 생각한다.

이미 해독한 몇 개 문자를 바탕으로 그동안 풀지 못한 문자를 예측하는 알고리즘을 개발해 인더스 문자의 해독하지 못한 부분을 풀어내고 싶다. 이는 최소 10년 이상은 걸릴 프로젝트다. 작년에 울산과학기술원(UNIST)의 튜팔(Muhammad Tufail) 박사와 공동 프로젝트를 제안해 놓은 상태다. 비록 인더스 문자를 완벽히 해독해내지 못하더라도 해독의 실마리라도 찾을 수 있다면 10년 후 혹은 50년 후나 100년 후 다른 학자들이 이를 발판 삼아 완벽한 해독에 성공할 수 있으리라 믿는다.

이제 막 문을 연 인공지능 시대에서 궁극적으로 대한민국의 디지털 문화유산 한류(韓流)를 이루는 데 일조하고자 한다. 현재 ‘한류’로 대변되는 K-팝, K-드라마, K-무비 등과 같이 ‘K-인공지능 콘텐츠(K-AI)’라는 단어로 표현하고 싶다. 앞으로 한류는 문화산업을 좌지우지할 인공지능 분야와의 접목이 필수적이라고 생각한다.

앞으로도 AI 핵심 기술은 미국과 중국, 일본, 유럽 등이 주도하게 될 것이라고 본다. 첫 번째 AI 기술 보유국이 되기는 어렵다고 본다. 어디까지나 개인적인 사견이기는 하지만. AI 기술 개발 자체도 물론 중요하지만 이를 문화유산 분야를 비롯한 문화콘텐츠에 적극 활용하자는 이야기다. 이 분야에서만큼은 우리나라가 세계 일류가 될 수 있다고 생각한다. 

결국 우리가 인공지능 분야에서 외국에 비해 우위를 선점할 수 있는 것은 바로 AI 기술 기반의 문화콘텐츠라는 생각이 든다. 게임이나 영화에서부터 메타버스에 이르기까지 대한민국이 인공지능 문화콘텐츠 선도 국가가 되자는 것이다.

과거 사람들이 어떻게 살았고, 무엇을 위해 살았고, 뭘 추구하기 위해 살았는지 등 그 삶의 과정을 탐구하고 추적하고 때로는 감동시키는 것이 내가 추구하는 삶의 가치이자 사명이라 느낀다. 그래서 앞으로도 과거를 추적하는 일, 과거 문화유산을 복원하고, 과거 역사인물을 AI로 재현하는 일을 계속해 사람들에게 행복과 감동을 선사할 수 있기를 희망한다. 이것이 바로 내 인생의 목표다.