최유진 지스트 학생팀, AI 기반 인터랙티브 미디어 아트 작품 선봬
예술의전당 한가람디자인미술관 '내일의 예술展'서 18일까지 전시
코로나 시대 마스크로 인한 의사소통의 어려움을 주제로 작품 구현
마스크 미착용 시 ( )에 제한될 수 있음을 알려드립니다.
최근 예술의전당 한가람디자인미술관에서 뉴미디어 아트 작품을 소개하는 '내일의 예술展'이 개막했다. 인공지능(AI)을 비롯한 뇌파 데이터, 뮤직 테크놀로지, 로봇공학 등 다양한 첨단기술을 입은 12점의 작품이 관람객들의 호기심을 불러일으킨다.
현대 기술과의 결합으로 탄생한 뉴미디어 아트 작품들 가운데 "마스크 미착용 시 ( )에 제한될 수 있음을 알려드립니다."라는 제목의 한 작품이 눈길을 끈다. 광주과학기술원(지스트‧GIST)의 최유진 학생팀의 AI 기술을 활용한 인터랙티브 미디어 아트 작품이다.
최유진 지스트 융합기술학제학부 석박사 통합과정 학생은 같은 연구실의 학생들과 함께 팀을 꾸렸다. 이대호‧서주찬 지스트 AI 대학원 석박사 통합과정 학생, 안수연 융합기술학제학부 석사과정 학생과 의기투합해 ‘에스씨아이(SCI)’ 팀을 결성한 것이다.
에스씨아이 팀은 코로나19 장기화로 비대면 문화가 확산되는 상황에서 AI 기술을 활용해 마스크로 인한 의사소통의 어려움을 주제로 인터랙티브 미디어 아트 작품 "마스크 미착용 시 ( )에 제한될 수 있음을 알려드립니다"를 출품했다. 작품의 기획과 제작 총괄을 맡은 최유진 팀장을 중심으로 이대호‧서주찬 학생은 기술 구현을, 안수연 학생은 공간 및 인터랙션 디자인을 담당해 흥미로운 작품을 탄생시켰다.
이 작품은 관객의 마스크 속 얼굴을 AI 기술로 화면에 투사해, 마스크로 잃어버린 표정의 절반이 기존의 의사소통 방식과 우리의 삶에 얼마나 큰 영향을 미치는지를 보여준다. 더 나아가 언택트 시대에 우리의 의사소통은 어떻게 바뀔 것인가에 대해 물음을 던지고 있다.
에스씨아이 팀의 작품은 2021 뉴미디어 아트 공모제에 당선돼 '내일의 예술展'에서 대중에 공개됐다. 예술의전당과 한국전력이 주최한 이번 공모전은 비대면 사회와 디지털 문화 전반을 주제로 진행됐다. 공모전에서 최종 선정된 12점은 예술의전당 한가람디자인미술관에서 오는 18일까지 무료로 관람 가능하다.
최유진 에스씨아이(SCI)팀 팀장 인터뷰
‘HCI(인간과 컴퓨터 간의 상호작용)+AI(인공지능)’를 주제로 인간 중심 컴퓨터 기술을 연구하고 있는 SCI랩 학생들끼리 팀을 꾸렸다. 디지털 아트와 건축 디자인, 메카트로닉스, 컴퓨터 공학 등 다양한 배경을 가진 팀원들과 함께 ‘예술’ 영역이라는 접점을 찾아 ‘사람’을 향하는 기술의 또 다른 의미 있는 가치를 만들고자 이번 미디어 아트 작품을 기획했다.
코로나로 인해 마스크 착용이 일상화되면서 상대방의 얼굴(입모양)과 표정이 가려져 어떤 의도로 말을 했는지 이해하기 어렵게 됐다. 이번 작품은 마스크가 일상이 된 요즘 ‘얼굴의 반 이상이 마스크로 가려진 우리는 과연 얼마나 정확하게 의사를 전달하고 있으며, 또 상대방은 얼마나 정확하게 받아들이고 있을까’라는 물음에서 시작됐다. AI로 우리의 말과 얼굴을 생성해, 마스크로 인한 얼굴의 부재에 따른 소통의 어려움을 부각시키는 작품이다.
우리는 어디를 가든 마스크를 착용해야 하는 일상을 겪고 있다. 그렇기에 코로나 시대의 ‘마스크’는 소통‧만남의 부재를 의미하는 상징적인 단어가 될 수 있다. 코로나로 인한 언택트 시대에 관객들은 과연 무엇에 제한을 받고, 무엇을 잃었는지를 묻고 싶었다. 실제 우리 작품을 감상하면서 "마스크 미착용 시 ’연애‘에 제한될 수 있음을 알려드립니다"라고 말한 한 관객이 기억에 남는다.
작품은 인터랙션 인공지능(GAN, Generative Adversarial Network)을 활용한 립 모델링(Lip modeling) 기술로 구현됐다. 우선 마스크가 없는 얼굴 이미지와 마스크를 씌운 얼굴 이미지(공개 DB와 수집 데이터), 음성 데이터를 토대로 인터랙션 인공지능(GAN)을 학습시켰다.
이를 활용한 립 모델링으로 참여 관객들의 마스크 속 얼굴과 음성에 따른 립모션을 생성할 수 있었다. GAN 모델은 오픈소소와 직접 구현한 코드를 적절히 융합해 원하는 결과물을 구현해냈다. 또 전시에 필요한 ‘인터랙션’ 요소와 매핑 기술을 사용해 하나의 작품을 완성시켰다.
다시 말해 참여 관객의 음성 데이터와 이미지를 수집해 인공지능이 마스크 내부의 얼굴과 움직임을 생성하고, 관객의 모습은 빔 프로젝트 맵핑을 통해 전시된다.
딥페이크(deepfake) 기술 등 개인정보 관련 사건들이 터지면서, 학습 데이터의 수집과 관객들의 얼굴이 필요한 전시 활동에 어려움이 조금 있었다. 또 사진 데이터로 학습하다보니, 조명 등 전시 상황에 따라 정확도가 달라지기도 했다. 그래도 각자의 결과물마다 의미가 있었던 것 같다.
관객의 말을 온전히 대변하지 못하는 조금은 엉성한 AI를 통해 마스크가 기존의 의사소통 방식에 어떠한 영향을 미치는지, 그리고 언택트 시대에 우리의 의사소통은 어떻게 바뀔 것인지에 대해 화두를 던지는 작품이 될 것이다.
타인과의 관계에서 과도기를 겪고 있는 지금의 모습을 '마스크'라는 상징적인 단어를 통해 말하고자 했다. 또 더 나아가 우리는 타인에게 작품 속의 AI와 같은 모습으로 비춰지고 있다는 것을 말하고 싶었다.
‘예술’은 모든 연구의 새로운 시각이 될 수 있다고 생각한다. 특히 HCI 연구에서 인터랙티브 아트의 경우 두 분야는 서로 상생할 수 있는 잠재력이 매우 크다고 생각한다. 그렇기에 앞으로도 대학원생의 본업인 연구를 수행하는 동시에 새로운 분야의 친구들과 함께 재미있는 작품 활동도 꾸준히 이어나갈 계획이다.
AI타임스 윤영주 기자 yyj0511@aitimes.com
[관련기사] 그림이 '들리다'... AI, 추상화 거장 칸딘스키 작품 음악으로 구현
[관련기사] NMARA 10주년 컨퍼런스 개최, 백남준으로 AI시대 진단한다
특히 비대면 문화가 확산되고 마스크 착용이 일상화된 요즘, 사람들과 소통하는 방식도 예전과는 많이 달라졌죠. 인공지능(AI)을 통해 마스크로 가려진 절반의 표정은 어떨지, 코로나로 우리의 의사소통 방식과 삶은 어떻게 변화했는지에 대해 생각해보는 시간을 갖는 건 어떨까요.
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com