[AI로 만드는 컬처] ③인공지능과 미래의 음악

약 4년 전 발표된 'Symphonic Fantasy in A Minor, Op. 21, Genesis'는 바순의 낮은 멜로디로 시작한다. 곧 하프가 맑은 소리로 합류하고 뒤이어 바이올린, 콘트라베이스 등의 현악기가 등장하며 몽환적이면서도 조금은 애절한 분위기를 자아낸다. 후반부로 가면서 긴장이 점점 고조되다가 팀파니, 심벌즈 등의 타악기의 등장과 함께 클라이맥스를 이루고 조용히 후퇴하면서 곡은 마무리된다.

제목에서 오는 선입견 탓인지 마치 천지가 창조될 때의 혼란함과 고요함이 교차되는 격동적인 과정을 소리로 잘 표현한 음악으로 다가온다. 대중 음악을 즐겨 듣는 필자이지만 들을수록 멜로디와 화성진행이 귀에 꽂히고 플레이리스트에 추가할 수도 있겠다는 생각이 든다.

사운드클라우드(SoundCloud)라고 하는 음원공유 서비스 사이트에 올라온 이 노래는 1만번 가까이 재생되었고, 수많은 사람들이 '좋아요'와 음악에 관한 감상을 댓글로 남겼다. 작곡가는 누구일까? 'AIVA'라고 되어있는데 바로 'Artificial Intelligence Virtual Artist'의 줄임말이고 인공지능으로 만들어낸 가상가수라고 할 수 있겠다.

2016년 룩셈부르크에서 출발한 스타트업 아이바는 이미 두 장의 클래식 음반을 발매했고, 최근에는 팝, 락, 재즈, 영화음악 등 다양한 장르에서 왕성한 '창작 활동'을 하고 있다. 또한 SACEM이라고 하는 프랑스와 룩셈부르크 작곡가 권리 협회로부터 공인받아 등록된 최초의 'AI 작곡가'이기도 하다.

아이바는 음악 창작을 위해 심층인공신경망(Deep Neural Network)을 활용했다. 약 3만곡에 달하는 클래식 음악 작곡가 – 바흐, 모차르트, 베토벤 등 – 들의 악보 데이터를 작곡 AI 모델을 훈련하기 위해 사용했다고 한다. 아이바 외에도 AI를 음악 창작에 활용한 사례는 상당히 많다.

대표적으로 구글의 마젠타 그룹과 소니의 플로머신 프로젝트에서도 '딥 바흐(Deep Bach)라던가 'AI듀엣(AI Duet)' 등 AI 창작 연구를 수행하고 관련 학회에서 발표해왔다. 최근에는 테슬라의 일론 머스크가 설립한 인공지능 연구소인 오픈 에이아이(OpenAI)에서도 뮤즈넷(MuseNet)이라고 하는 자동 작곡 알고리즘을 선보였는데, 한 예로 쇼팽으로 시작해서 본 조비 풍의 음악으로 마무리되는 음악도 감상할 수 있다.

위에 열거한 AI를 활용한 음악 창작은 주로 기호화된 형태인 '악보' 창작에 중점을 두고 있다. 하지만 음악 예술을 온전히 감상하기 위해서는 작곡가가 무에서 창조한 악보를 연주가 또는 가수가 재해석하여 이를 소리로 표현하는 '연주'라는 제2의 창작 과정을 거쳐야 비로소 수용자가 귀로 음악을 듣고 감동을 느낄 수 있다. 기호화, 정형화 되어있는 악보를 비정형의 소리로 만든다는 것은 AI에게는 훨씬 더 어려운 일이라고 할 수 있다.

하지만 이에 도전하는 연구들도 최근 선을 보이고 있다. 필자의 연구실에서는 연주 중에서도 누구나 가지고 있는 악기인 '성대'를 이용한 연주, 즉 가창 신호를 생성하는 데 딥러닝 기술을 활용하였다. 아마추어 가수가 부른 노래와 악보, 그리고 가사를 훈련데이터로 사용하여 인공지능 모델을 훈련시키고 나면, 이 인공지능 가수는 어떠한 멜로디와 가사가 주어져도 노래를 부르는 것이 가능하다.

음악 창작은 아니지만 음악과 불가분의 관계인 안무 역시 AI 도움으로 창작하는 것이 가능하다. 전세계를 뒤흔들고 있는 화려한 춤동작이 필수적인 K-Pop 뿐만 아니라, 발레, 한국의 고전무용, 피겨 스케이팅 등 춤과 음악은 뗄레야 뗄 수 없는 관계이다.

청각 예술인 음악을 시각적으로 표현하여 예술성을 극대화 하기 위해 전문 안무가가 창작한 안무 데이터가 충분히 많이 주어지면 음악과 안무 사이의 관계를 AI 알고리즘이 파악할 수 있고, 알고리즘 훈련이 끝난 후에는 새로운 노래가 주어졌을 때 이와 어울리는 새로운 춤동작을 생성하는 것이 가능하다. 아래의 안무도 이를 바탕으로 인공지능이 음악을 듣고 창작'한 전에 없던 춤동작이다.

이처럼 AI가 사물인식, 음성인식, 자동번역 등의 판단, 예측, 분류의 작업을 넘어서 창작의 영역에서도 활발히 활용되고 있다. 처음에는 신기하고 흥미로운 시선으로 바라보았지만 아이바의 예에서 볼 수 있듯이 그 수준이 점점 높아지면서 AI 음악이 '불편한 골짜기(uncanny valley)'에 들어선 게 아닌가 싶은 정도가 되었다.

또한 AI가 창작한 음악을 대하는 자세도 수용자마다 매우 다양한 형태를 보이고 있다. 내 직업은 끝난 것 같다, 라고 탄식하는 작곡가가 있는가 하면 인상적이지만 영혼이 없다고 표현하는 청취자도 있다. 또한 많은 사람들이 놀라움과 막연한 두려움을 함께 느낀다고 얘기한다. 하지만 이는 이제 시작에 불과하다. AI를 포함한 기술은 더욱 더 발전할 것이고 이는 더불어 창작에 대한 진입 장벽을 낮추는 역할을 하게 될 것이다.

다시 말해서 고도의 전문적 훈련을 받은 사람이 아니더라도 누구나 창작적 마인드만 가지고 있으면 이를 음악으로 표현할 수 있는 환경이 준비되어 있다는 뜻이다. 창작 과정 뿐만 아니라 다양한 소셜 미디어 플랫폼을 이용하면 매우 쉽게 전세계 수십억의 잠재적 청취자에게 본인이 만든 음악을 공유하는 것이 가능하다.

오래 전에는 작곡가가 자신의 음악을 처음으로 대중에 발표하기 위해서는 프리미어(premiere, 초연)라는 실황 공연을 통해서만 가능했다. 녹음 기술이 발명된 이후에는 직접 공연장에 가지 않고도 집에서 음악을 재생하여 듣는 것이 가능해졌다. 워크맨이 출시된 이후에는 공간에 대한 제약으로부터 자유롭게 되었고, 모바일 기기와 네트웍 기술의 발달은 언제 어디서나 수천만 곡의 노래에 접근이 가능한 시대를 열었다.

이처럼 기술의 발달은 음악을 생산, 유통, 소비하는 전 과정에 걸쳐서 지대한 영향을 끼쳐 왔다. 음악 창작에 활용되고 있는 AI는 이러한 기술들과 어떤 차이가 있을까. 과거의 기술들처럼 시간이 지나면 익숙해져 논란이 있었던 기억조차 없어질 것인가, 아니면 음악 창작 및 산업 전반에 있어 파괴적인 혁신을 가져올 수단이 될 것인가. AI가 가져올 음악의 미래를 예측하는 것은 매우 어렵지만 아이바의 창업자이자 대표인 피에르 바로우 – 그는 컴퓨터과학자이면서 피아니스트, 작곡가, 그리고 영화감독이기도 하다 – 의 말을 인용하면서 이만 줄이고자 한다.

“저는 작곡가들이 영감을 얻고 창작 과정을 극대화할 수 있는 도구로써 인공지능을 활용할 수 있을 것으로 기대합니다. … 앞으로는 개인화 이슈가 음악을 소비하고 창작하는 데 있어 가장 큰 도전이 될 것입니다. 아이바는 개인마다 다를 수 있는 음악적 취향에 맞추어 작곡가들이 다양한 음악을 만드는 데 기여를 할 것입니다.”

 [글 싣는 순서]