지스트 한국문화기술연구소, 실감 콘텐츠 '혜초의 실크로드' 전시
인공지능 기반 체험형 인터랙션 기술 활용해 전시 몰입감 극대화
색다른 문화예술 향유 기회 제공하는 다양한 문화기술 연구 시도

'아시아 실크로드, 혜초의 길' 전시장에서 '멀티 유저 인터렉티브 미디어월 콘텐츠'를 시연하는 모습. (영상=유형동 기자).
'아시아 실크로드, 혜초의 길' 전시장에서 '멀티 유저 인터렉티브 미디어월 콘텐츠'를 시연하는 모습. (영상=유형동 기자).
왕오천축국전(往五天竺國傳). (사진=국사편찬위원회 우리역사넷).
왕오천축국전(往五天竺國傳). (사진=국사편찬위원회 우리역사넷).

차디찬 눈은 얼음과 엉기어 붙었고 

찬바람은 땅을 가르도록 매섭다

넓은 바다 얼어서 단을 이루고

강은 낭떠러지를 깎아만 간다 

- 혜초의 '왕오천축국전'에 실린 시의 일부 -

신라시대의 세계 여행가 혜초(慧超) 스님과 그가 남긴 왕오천축국전(往五天竺國傳). 광주과학기술원(GIST‧지스트) 한국문화기술연구소는 과거 실크로드를 따라 펼쳐진 혜초 스님의 여정과 발자취를 최근 광주의 한 전시공간에 고스란히 옮겼다. 

왕오천축국전은 혜초가 4년간 실크로드를 따라 인도와 주변 나라를 순례한 기록이 담긴 여행기다. 우리나라 최초의 해외 기행문이자 8세기 인도와 중앙아시아에 대한 유일한 기록이라는 점에서 의미가 깊다. 동서양 문명 교류‧교역의 상징인 실크로드를 통해 우리나라 사신‧유학생‧승려들은 서역을 방문했고, 다양한 문물‧학문‧종교가 전파‧유입됐다. 

광주문화재단 빛고을아트스페이스 2층 미디어338에 가면 '아시아 실크로드, 혜초의 길' 전시가 관람객을 맞이한다. 한국문화기술연구소는 이곳에 인공지능(AI)을 비롯한 다양한 첨단기술을 활용해 동서양의 문명 교류를 이해할 수 있는 문화유산을 소재로 인터렉티브 정보탐색형 전시를 선보이고 있다. 

'아시아 실크로드, 혜초의 길' 전시는 광주문화재단 빛고을아트스페이스 2층 미디어338 소공연장에서 오는 20일까지 열린다. (사진=유형동 기자).
'아시아 실크로드, 혜초의 길' 전시는 광주문화재단 빛고을아트스페이스 2층 미디어338 소공연장에서 오는 20일까지 열린다. (사진=유형동 기자).

 

◆ AI 맞춤형 콘텐츠 추천부터 메타버스 AR 문화유적 체험까지


전시관에 들어서면 가장 먼저 눈에 들어오는 것은 AI‧빅데이터를 활용한 안면인식 콘텐츠 추천 시스템이다. 국내외 사람 얼굴의 이미지들을 학습한 AI가 관람객에 따라 전시 콘텐츠를 맞춤형으로 추천해준다. 홍요한 한국문화기술연구소 연구원은 "안면인식을 통해 전시장에 있는 콘텐츠를 관람객의 연령과 성별, 감정에 맞게 어떤 전시내용을 보면 좋을지 추천해주는 프로그램"이라고 소개했다. 이 시스템 구현을 위해 얼굴 탐지기와 성별‧연령‧감정 분류기의 알고리즘을 활용했다는 게 그의 설명이다. 

"젊은 남자분이시군요. 추정 나이는 대략 27세." 카메라를 정면으로 응시하고 화면을 누르자 얼굴을 인식한 시스템이 분석한 정보를 기반으로 적합한 콘텐츠 내용을 추천해준다. 물론 추천과 상관 없이 원하는 순서대로 전시를 관람해도 된다. 하지만 콘텐츠별 난이도가 다르기 때문에 관람객의 연령과 성별 그리고 기분까지 고려해 맞춤형으로 제안함으로써 전시에 대한 관람객의 흥미와 이해도를 높여주는 셈이다. 

인공지능(AI)을 활용한 체험자 안면인식 콘텐츠 추천 시스템. 안면인식을 통해 전시장에 있는 콘텐츠들을 관람객의 연령과 성별, 감정에 맞게 어떤 전시를 보면 될지 추천해준다. (영상=유형동 기자).
인공지능(AI)을 활용한 안면인식 콘텐츠 추천 시스템. 안면인식을 통해 분석한 관람객의 연령과 성별, 감정에 따라 전시장에 있는 어떤 콘텐츠를 보면 좋을지 추천해준다. (영상=유형동 기자).
홍요한 한국문화기술연구소 연구원이 AI 기반 안면인식 콘텐츠 추천 시스템에 대해 설명하고 있다. (사진=유형동 기자).

AI 안면인식 시스템을 지나 옆으로 이동하니 대형 스크린에 석탑 이미지들이 시시각각 변화하는 전시물이 눈에 띈다. 'AI의 시각으로 본 한국 석탑'이라는 주제로 제작된 영상 콘텐츠다. 이 전시물에는 영상 제작에 최적화된 '생성적 적대 신경망(GAN)'이 적용됐다. GAN은 2개의 인공신경망, 즉 생성기(generator)와 판별기(discriminator)가 상호 경쟁하는 동시에 서로를 훈련시키면서 실제와 가까운 이미지‧영상‧음성 등을 자동으로 생성하는 AI 기계학습 방법론의 하나다.

GAN 모델은 약 1,200장의 한국 석탑 이미지를 학습하면서 석탑의 특징들을 함축한 잠재 공간(latent space)을 만들어낸다. 이 같은 잠재 공간을 탐색해 아시아 문화지도와 연관 있는 석탑 문화유산을 AI가 재구성하는 과정을 영상화했다. 홍요한 연구원은 "이 영상은 실제로 있는 이미지가 아니라 모두 AI가 석탑 문화유산 사진들을 학습한 후 재해석해 만들어낸 것"이라며 "이를 통해 한국 석탑에 대한 AI의 보편적 시각을 보여주고자 했다"고 말했다. 

인공지능(AI)이 재해석해 창작한 AI 유적 창작 시스템. (사진=지스트 제공).
인공지능(AI)이 재해석해 창작한 'AI 유적 창작 시스템'. (사진=지스트 제공).
'AI의 시각으로 본 한국 석탑'이라는 주제로 제작된 영상 콘텐츠다. 이 영상은 실제로 있는 이미지가 아니라 모두 AI가 석탑 문화유산 사진들을 학습한 후 재해석해 만들어낸 것이다. (영상=유형동 기자).
'AI의 시각으로 본 한국 석탑'이라는 주제로 제작된 영상 콘텐츠다. 이 영상은 실제로 있는 이미지가 아니라 모두 AI가 석탑 문화유산 사진들을 학습한 후 재해석해 만들어낸 것이다. (영상=유형동 기자).
GAN 모델은 약 1,200장의 한국 석탑 이미지를 학습하면서 석탑의 특징들을 함축한 잠재 공간(latent space)을 만들어낸다. 이 잠재 공간을 탐색해 아시아 문화지도와 연관이 있는 석탑 문화유산들을 AI가 재구성하는 과정을 영상화했다. (영상=유형동 기자).
GAN 모델은 약 1,200장의 한국 석탑 이미지를 학습하면서 석탑의 특징들을 함축한 잠재 공간(latent space)을 만들어낸다. 이 잠재 공간을 탐색해 아시아 문화지도와 연관이 있는 석탑 문화유산들을 AI가 재구성하는 과정을 영상화했다. (영상=유형동 기자).

'멀티 유저 인터렉티브 미디어월 콘텐츠'도 관람객들의 눈길을 사로잡는다. 혜초의 왕오천축국전과 실크로드에 관련된 세계 여러 나라의 정보를 탐색할 수 있는 참여형 콘텐츠 전시물이다. 관람객은 실크로드를 지나며 인도를 비롯한 중앙아시아의 여러 도시를 선택해 신라시대 불교문화유산에 대해 알아갈 수 있다.

우선 미디어월 앞에 서서 센서에 얼굴을 인식시킨다. 두 손바닥을 보여주자 AI 기반 미디어월 플랫폼이 손의 움직임에 따라 관람객이 궁금해하는 정보를 알려준다. 특히 혼자가 아닌 다른 사람과 함께 동시에 체험할 수 있다는 점이 매력적이다. 관람객의 행동을 인식할 수 있는 인터랙션 콘텐츠 기술로 미디어월과 상호작용할 뿐 아니라 옆 사람과 함께 즐기면서 즐거움을 두 배로 끌어올릴 수 있는 공간이다.

'멀티 유저 인터렉티브 미디어월 콘텐츠'는 혜초의 왕오천축국전과 실크로드에 관련된 세계 여러 나라의 정보를 탐색할 수 있는 참여형 전시물이다. (영상=유형동 기자).
'멀티 유저 인터렉티브 미디어월 콘텐츠'는 혜초의 왕오천축국전과 실크로드에 관한 세계 여러 나라의 정보를 탐색할 수 있는 참여형 전시물이다. (영상=유형동 기자).

이어 바로 옆에 자리한 '몰입형 유적 탐험 콘텐츠' 역시 제스처를 통해 콘텐츠를 탐험할 수 있는 인터렉티브 전시물이다. 이는 혼자서 체험하는 전시물로 앞의 전시물과 유사하나 그보다 좀 더 심화된 콘텐츠를 제공해 몰입감을 높이는 데 신경을 썼다는 게 홍 연구원의 설명이다.  

관람객은 메인 화면에서 한 손을 들어 관심 지역을 선택하고 펼쳐진 지도 위에서 두 가지 방법으로 이동할 수 있다. 두 손을 들어 마치 새가 날아다니듯 이동하고 싶은 방향으로 몸을 기울이면 원하는 방향으로 이동할 수 있다. 만약 어디서부터 시작해야할 지를 모르겠다면 뚜벅뚜벅 걷는 동작을 취해 정해진 루트에 따라 순차적으로 유적지를 탐험할 수도 있다.

이동 중 궁금증을 유발하는 유적지를 찾았을 경우 손을 들어 유적지를 선택하기만 하면 된다. 관심 있는 유적을 선택하니 관련 정보와 이미지​‧동영상이 나온다. 혜초가 거쳐간 인도와 중앙아시아의 주요 도시, 타클라마칸 사막을 지나는 실크로드는 물론 그 당시 번성을 이뤘던 신라시대의 문화유산들이 지도 위에 펼쳐진다.

3D 제스처 인식을 활용한 양방향 인터랙티브 콘텐츠. (영상=유형동 기자).
3D 제스처 인식을 활용한 양방향 인터랙티브 콘텐츠. (영상=유형동 기자).
3D 제스처 인식을 활용한 양방향 인터랙티브 콘텐츠를 시연하는 모습. (영상=유형동 기자).
3D 제스처 인식을 활용한 양방향 인터랙티브 콘텐츠를 시연하는 모습. (영상=유형동 기자).
3D 제스처 인식을 활용한 양방향 인터랙티브 콘텐츠 시연 모습. 지도 위에서 이동을 하다 관심 있는 유적을 선택하면 관련 정보와 이미지​‧동영상이 나온다. (영상=유형동 기자).
3D 제스처 인식을 활용한 양방향 인터랙티브 콘텐츠 시연 모습. 지도 위에서 이동을 하다 관심 있는 유적을 선택하면 관련 정보와 이미지​‧동영상이 나온다. (영상=유형동 기자).

또 메타버스로 구현된 증강현실(AR) 3D 문화유적도 만나볼 수 있다. 전시실 마지막 공간으로 이동하면 최신 AR 기기인 마이크로소프트 홀로렌즈 2세대 버전을 활용한 메타버스용 AR 3D 문화유적 체험 시스템이 기다리고 있다. 사용자가 직접 조작하고 만져볼 수 있는 콘텐츠로 관람객들이 이색적인 경험을 할 수 있도록 설계됐다.

헤드셋을 착용하자 눈앞에 경주의 석가탑과 감은사지3층석탑, 석굴암 등 신라시대 문화유산들이 생생하게 떠올랐다. 손을 뻗으면 잡힐 것 같은 석굴암에 두 손을 대자 실제로 3D 석굴암이 손에 잡혔다. 손가락과 손바닥을 이용해 석굴암을 자유자재로 움직이고 축소‧확대할 수 있어 실제 그 내부 모양도 상세히 감상할 수 있다.  

메타버스용 증강현실(AR)을 활용한 3D 유적체험 콘텐츠를 체험하고 있는 모습. (사진=유형동 기자).
메타버스용 증강현실(AR)을 활용한 3D 유적체험 콘텐츠를 체험하고 있는 모습. (사진=유형동 기자).
메타버스용 증강현실(AR)을 활용한 3D 유적체험 콘텐츠를 체험하고 있는 모습. 석굴암에 두 손을 대자 3D 석굴암이 손에 잡혔다. 손가락과 손바닥을 이용해 석굴암을 자유자재로 움직이고 축소‧확대할 수 있어 실제 그 내부 모양도 상세히 감상할 수 있었다.  (사진=유형동 기자).
메타버스용 증강현실(AR)을 활용한 3D 유적체험 콘텐츠를 체험하고 있는 모습. 석굴암에 두 손을 대자 3D 석굴암이 손에 잡혔다. 손가락과 손바닥을 이용해 석굴암을 자유자재로 움직이고 축소‧확대할 수 있어 실제 그 내부 모양도 상세히 감상할 수 있었다.  (사진=유형동 기자).
메타버스용 증강현실(AR)을 활용한 3D 유적체험 콘텐츠. (영상=지스트 한국문화기술연구소 제공).
메타버스용 증강현실(AR)을 활용한 3D 유적체험 콘텐츠. (영상=지스트 한국문화기술연구소 제공).
메타버스용 증강현실(AR)을 활용한 3D 유적체험 콘텐츠. (영상=지스트 한국문화기술연구소 제공).
메타버스용 증강현실(AR)을 활용한 3D 유적체험 콘텐츠. (영상=지스트 한국문화기술연구소 제공).

 

◆ 지스트 한국문화기술연구소 "시민 참여 실감형 문화 콘텐츠 개발 앞장"


오는 20일까지 열리는 '혜초의 실크로드' 전시는 지난해 국립아시아문화전당(ACC)의 아시아 문화자원을 활용한 '아시아문화지도 라마야나의 길' 전시에서 확장된 것이다. 한국문화기술연구소는 지난해 실감형 스마트 미디어월 플랫폼 기술 개발을 위한 문화기술 연구개발 정책지정 과제에 선정돼, 다양한 문화예술공간의 전시 아카이브 데이터베이스(DB) 시각화 및 인터랙션 기술 연구를 추진하고 있다. 과제 기간은 지난해 4월부터 내년 12월까지다.

지스트 한국문화기술연구소의 김소진 연구원. (사진=유형동 기자).
지스트 한국문화기술연구소의 김소진 연구원. (사진=유형동 기자).

김소진 한국문화기술연구소 연구원은 "3차년도 정책지정 과제에 선정되면서 지난해 '아시아문화지도 라마야나의 길' 전시를 선보였고 올해에는 '아시아 실크로드 혜초의 길' 전시에 참여하게 됐다"고 전했다. 이어 "내년에는 그동안의 콘텐츠들을 종합해 고도화 작업을 진행할 계획"이라고 덧붙였다. 아울러 그는 "향후 기업에의 기술 이전 등을 통해 보다 다양한 분야에서 활용될 수 있기를 바란다"고 강조했다. 

김 연구원은 "기관들이 아카이빙(archiving)하고 있는 문화 데이터를 콘텐츠화하는 데 집중하고 있다"고 말했다. 그는 "콘텐츠적인 측면에서 아시아 문화에 대한 데이터를 어떻게 활용하고 인터렉션 기술을 통해 어떻게 구현할 것인지에 대한 연구를 계속 진행할 것"이라며 향후 계획을 밝혔다.  

지스트 한국문화기술연구소의 김소진 연구원(왼쪽)과 홍요한 연구원(오른쪽). (사진=유형동 기자).
지스트 한국문화기술연구소의 김소진 연구원(왼쪽)과 홍요한 연구원(오른쪽). (사진=유형동 기자).

전문구 한국문화기술연구소장은 "혜초의 실크로드는 시민들이 문화예술 콘텐츠를 다채로운 방식으로 이해하고 능동적으로 참여할 수 있는 새로운 전시 경험 제공을 위한 기술 개발이 목적"이라고 밝혔다. 이어 "앞으로 색다른 문화예술 향유의 기회를 제공할 수 있는 다양한 문화기술 연구를 시도하겠다"고 덧붙였다.

한국문화기술연구소는 문화체육관광부 문화기술 연구개발 정책지정 과제뿐 아니라 문화유산 활용 실감형 콘텐츠 및 융복합 예술창작지원 협력기획사업, AI 기반 미디어파사드 매핑 기술 개발 등 다수의 프로젝트를 수행하고 있다. 이를 통해 국가의 문화산업 발전을 견인하기 위한 문화기술 연구개발에 주력하겠다는 포부다.

광주과학기술원(지스트‧GIST) 한국문화기술연구소가 지난해 12월 ‘CT 상상이룸전’을 지스트 다산빌딩에서 선보인 실감형 스마트 미디어월 플랫폼 기술 기반 ‘아시아문화지도-라마야나의 길’ 전시물. 국립아시아문화전당(ACC)의 아시아문화자원과 문화기술이 결합된 인터랙티브 정보탐색형 전시다. (영상=지스트 제공).
광주과학기술원(지스트‧GIST) 한국문화기술연구소가 지난해 12월 ‘CT 상상이룸전’을 지스트 다산빌딩에서 선보인 실감형 스마트 미디어월 플랫폼 기술 기반 ‘아시아문화지도-라마야나의 길’ 전시물. 국립아시아문화전당(ACC)의 아시아문화자원과 문화기술이 결합된 인터랙티브 정보탐색형 전시다. (영상=지스트 제공).

AI타임스 윤영주 기자 yyj0511@aitimes.com

[관련기사] 인공지능, 박물관 찾는 청각장애인의 ‘귀’가 되다

[관련기사] “지스트에 가상캠퍼스 생겼다”…메타버스에서 함께 즐기는 과학문화 축제

키워드 관련기사
  • ‘물은 기억한다’…AI 기술과 예술이 만나 환경 문제를 말한다
  • [AI 중심도시 광주 청사진] ③ 문화도시 광주에 인공지능이 스며든다…AI·VR‧AR 등 활용 '미래 문화의 향연'
  • "상상이 현실로"…지스트 한국문화기술연구소, ‘CT 상상이룸전’ 개최