[기획연재: AI와 음악을]④ 전문가 인터뷰, "낯설더라도 새로운 기술을 열린 시선으로"

작곡에 성공하며 AI는 음악 창작의 영역에 들어왔다. AI 등장으로 인간 작곡가는 필요 없어질까.  전문가의 눈으로 본 AI 작곡 기술, 수준과 음악 시장에 끼치는 영향 등을 다뤄봤다. 인터뷰는 AI 뮤직 컨설턴트 이지원 작가와 AI 작곡 스타트업 포자랩스 허원길 대표와 함께 했다.

피아니스트로 활동한 이지원 작가는 예술을 ▶음악 ▶미술 ▶문학 ▶영화 ▶무용 등의 형상을 통해 사람의 감정과 미를 표현하는 창조 활동으로 정의했다.

AI가 예술의 영역에 들어왔지만 예술의 정의 변동은 없다. 이지원 작가(이하 이 작가)는 "AI가 예술에 적용되면서 많은 주도권이 AI에게 넘어갔다. 하지만 AI 개발자의 의도에 따라 기술을 개발, 결과물을 생성한다. 결국 사람이 AI를 통해 새로운 방법으로 예술 활동을 하는 것." 이라고 말했다.

허원길 대표(이하 허 대표)는 "사람이 하는 것은 예술, 인공지능을 통한 결과물도 예술. 그것을 인간의 창작활동에 한정지어 생각할 필요는 없다. 그것을 받아들이는 사람이 어떻게 생각하는지가 중요하다."라고 말했다.

- AI가 작곡한 곡은 어느 수준인가요?

이 작가 : 형식, 길이, 장르별 특성상 AI가 작곡한 실용음악이 클래식보다는 완성도가 있어 보입니다. 현재 사람 작곡가 vs. AI 작곡가 대결과 같은 튜링 테스트 (Turing Test)를 진행하고 있는데 아직까지는 사람 작곡가가 우세하다는 평가를 받고 있습니다.
한편 AI가 작곡한 클래식 음악은 작곡가 별 스타일로 작곡을 하는 경우가 대부분입니다. 클래식의 경우 사람이 작곡을 하더라도 다른 작곡가의 스타일을 모방해 작곡하면 작품성을 인정받기 어렵습니다.

예를 들면, 현 시대의 작곡가가 바흐 스타일로 작곡을 한다고 하면 그 곡이 아무리 뛰어나다고 해도 작품성을 인정받기 힘들 것입니다. 시대에 맞게 작곡가만의 새로운 특징이 있어야 하는데 AI의 작곡도 마찬가지로 모방을 뛰어넘어 AI 음악만의 고유한 특징과 함께 새로운 음악을 만들어내야 작품성을 인정받을 수 있을 것입니다.

허 대표 : 현재 AI 작곡 수준은 사람이 하는 것과 구분이 불가할 정도로 올라왔습니다. 특히 작곡은 주관적인 영역이기 때문에 AI작곡을 더 선호하는 사람들도 명백하게 존재합니다.

- 감정을 갖고 있지 않은 AI가 작곡한 곡으로 과연 인간을 감동시킬 수 있을까요?

이 작가 :  사람은 각자 좋아하는 장르와 받는 감동의 포인트는 정말 다양합니다. 홀로그램 캐릭터에 보컬로이드로 만든 노래를 합성한 퍼포먼스에도 사람들은 열광을 합니다. 감동을 주기 위해서는 연주와 공연기획도 중요합니다. 아무리 뛰어난 작곡이라도 연주가 뒷받침되지 않는다면 감동을 주기 어렵기 때문입니다.

AI 작곡은 아직 걸음마 단계지만 데이터 학습이 쌓이고 AI 음악만의 새로운 작곡 기법을 개발한다면 반드시 작품성 있는 곡이 나올 것입니다. 수많은 사람 작곡가가 존재하지만 그들의 작품 중에서도 작품성을 인정받는 곡은 손에 꼽힙니다. AI 기술을 더 발전시켜 수준 높은 곡을 작곡해 낸다면 얼마든지 감동시킬 수 있다고 봅니다.

허 대표 : 인간이 감동하는 부분은 특히 작곡에서는 많은 수학적 법칙에 의해서 결정됩니다. 특히 작곡적인 지식이 없다면 인간이 만들었기 때문에 감정적인 부분이 작곡에 들어간다고 생각하실 수 있습니다. 하지만 인간이 느끼는 감정 대부분 수학적 혹은 화성학적 규칙을 통해 느낍니다. 인간이 느끼는 감정은 복합적이기 때문에 반드시 인간이 만들었다고 꼭 감동을 느끼지도 않습니다.

- Bgm, Ost 등 실용음악 분야의 곡도 인공지능이 작곡 가능합니다. AI로 작곡한 곡은 ①새로운 하나의 장르일지 ②동일분야에서 인간이 작곡한 곡과 공존해야 하는지 ③인간의 작곡 활동에 대한 보조적 수단으로 한정해야 할까요?

이 작가 : 음악이 발달해 온 과정을 보면 기술의 발달과 밀접한 관계가 있습니다. 컴퓨터 개발과 디지털 혁명을 가져온 3차 산업혁명 시대의 기술발전은 음악의 디지털화, 전자악기 발명과 함께 전자음악을 탄생시킵니다. 4차 산업혁명 시대, AI 기술의 발전으로 AI 음악이 등장하는 것은 자연스러운 현상입니다. 전자음악과 마찬가지로 AI 음악도 새로운 하나의 장르로 자리잡을 것입니다.
AI 기술은 자체적으로 작곡뿐 아니라 작곡가와 아마추어 음악가들이 쉽게 작곡을 할 수 있도록 도와주는 보조수단으로도 사용되고 있습니다.  누구나 자신만의 작곡이 가능한 시대가 열리고 있습니다. 미술 분야에서 사람이 그린 작품과 판화가 함께 공존해 왔고, 음악분야에서도 레코드와 라이브 연주가 공존해 왔듯이 AI 작곡과 인간의 작곡은 함께 공존해 나갈 것입니다.
 
허 대표 : 포자랩스에서는 BGM, OST 등 실용음악 분야에 대해서만 작곡을 하고 있는데요, AI로 작곡한 곡은 기존의 음악적 법칙들을 학습하여 만드는 것이기 때문에 기존의 장르들에 속합니다. 동일분야에서 인간이 작곡한 곡과 공존하는 미래는 틀림없이 오게 될겁니다. 인공지능이 만든 음악자체로 만족할 수 있다면 있는 그대로 사용할 수도 있을것이지만, 작곡가의 후처리 과정을 통해 더 높은 결과물로 이어질 수있다면 보조적 수단으로도 활용될 수 있습니다.

- 인간이 작곡한 곡 데이터를 기반으로 AI는 작곡을 합니다. AI가 작곡한 곡만의 차별점은 무엇인가요?

이 작가 : AI 작곡이 걸음마 단계라서 차별점을 말하기에는 어려운 것 같습니다.  아직까지는 AI 작곡만의 고유한 특성을 찾아보기 힘든 단계이지만 앞으로 무궁무진한 발전 가능성이 있다고 생각됩니다. 

허 대표 : AI가 작곡한 곡은 인간이 작곡한 곡과 특별한 차이점은 없습니다. 결국 인공지능은 인간을 보고 학습하기 때문에 작곡과정에서의 특별한 차별점은 없습니다. 다만 사람들이 선호하는 멜로디 장르 등을 더 학습하여 대중적으로 선호하는 음악을 쉽게 만들어낼 수 있는 장점은 있습니다.

- 인공지능과 음악의 융합을 연구하며 어려웠던 점은 무엇이었나요?

이 작가 :  2014년 회사에 입사하며 인공지능과 음악에 관하여 연구하기 시작했는데 음악이 낯선 엔지니어들과 기술을 잘 모르는 제가 서로 소통해야 했던 점이 가장 어려웠습니다.
회사를 그만두며 인공지능과 음악 전도사 역할을 하게 되었는데 새로운 컨셉을 음악의 세부적인 분야별로 구상하고 잡아 나가는 것이 어렵기도 하고 재밌기도 했던 것 같습니다. 또한 그 당시 인공지능과 음악이라는 주제 자체가 무슨 검색어로 검색을 해야 하는지, 인공지능이 음악에 어떻게 적용이 될 수 있는지 파악하기가 쉽지 않았습니다. 미국 공대 쪽에서 발표한 컴퓨터 음악 관련 논문들이 도움이 됐습니다.

허 대표 : 음악이라는 분야가 주관적이다 보니 이것을 객관화, 패턴화하는 작업이 가장 어려웠습니다. 인공지능이 학습을 하기 위해서는 수학적으로 상관관계가 있어야 하는데 이러한 점들을 분석하고 인공지능에 접목시키는 부분에 많은 노력이 필요했습니다.

- AI 작곡가와 전문 음악인, 상생 가능할까요?

이 작가 : AI 작곡은 입력값과 개발자의 설계 방식에 따라 결과물이 결정됩니다. AI 작곡 프로그램 개발자와 전문 음악인의 상생으로 볼 수 있습니다. 사람이 대량생산을 해내는 AI 작곡프로그램을 따라가기는 어렵습니다. 하지만 기계가 아무리 발달해도 기계가 만들어낸 물건과 사람이 공들여 수제로 제작한 물건의 가치는 다르게 평가받습니다. AI 작곡과 사람의 작곡도 분명히 각각의 다른 가치를 인정받고, 상생 가능할 것이라 생각합니다.

허 대표 :  상생이 가능합니다. 음악 의뢰자들은 음악이 너무 비싸다고 생각하며, 작곡가들은 자신들의 작업물이 너무 싸다고 생각합니다. 가 장큰 이유는 작곡가들이 한 곡을 작업하는데 걸리는 시간이 너무 오래 걸리기 때문입니다. AI를 통해서 작업하는데 걸리는 시간을 단축시킬 수 있다면 더 싼 값에 음악을 만들어낼 수 있을 것입니다. 의뢰자들이 싼값에 음원을 이용할 수 있다면 더 많은 수요가 발생할 것입니다.

- AI가 음악 시장에 끼치는 영향은 긍정적인가요, 부정적인가요?

이 작가 : AI가 빠른 시간 안에 BGM, 영화음악 광고음악 등을 제공해 주고, 음악 교육 어플리케이션 등에 사용되며 실용적인 면에서 다양하게 긍정적 영향을 주고 있습니다. 클래식의 경우 현재까지는 AI가 기존의 유명 작곡가 스타일로 작곡을 하는 경우가 대부분입니다. 이러한 곡들은 Transcription이나 Arrangement 같은 편곡의 의미로 볼 수 있습니다. 기존에는 좋아하는 음악이 있어도 자신이 연주하는 악기로 편곡이 되어 있지 않은 경우 연주가 어려웠지만 AI는 사용자에게 원하는 음악을 원하는 악기구성과 장르별로 다양하게 편곡하여 빠르게 제공해 줄 수 있습니다. 앞으로 음악을 작곡하고 연주하고 배우는 과정에서 AI는 대중에게도 쉽고 경제적으로 음악을 접할 수 있도록 많은 도움을 줄 것입니다.

허 대표 : AI가 음악 시장에 끼치는 영향은 긍정적인 부분 부정적인 부분 둘다 있을 것입니다. 기존 음악을 제작하는데 걸리는 노동력을 크게 단축시킬 수 있다는 점에서 현재 작곡가들이 밤을 새워가며 만드는 문제를 해결할 수 있을 것입니다. 하지만 음악 결과물에 큰 차이를 못 느끼는 일반인들은 인공지능 결과물만으로 만족할수도 있기 때문에 의뢰를 하는 대신 인공지능의 결과물을 바로 이용할 수도 있겠죠.

AIMA는 이 작가가 구상한 미래 AI 음악 도우미다.  ▶자동 악보 추적 기술 Score Following ▶음, 리듬, 연주 뉘앙스까지 재현할 수 있는 자동 연주 피아노 스타인웨이 스피리오Steinway Spirio ▶음악가의 노트 선택, 볼륨, 터치, 아티큘레이션 및 페달링 등 세부 정보를 캡쳐, 이해해 재작성하는 젠프 리퍼포먼스 기술 등이 활용 가능하다.

  * 젠프 리퍼포먼스 : 어떤 연주자가 과거에 녹음한 음반을 분석해 음악적 요소들만을 뽑아낸다. 그것을 피아노가 이해하고 다시 연주할 수 있는 데이터로 만든다. 다시 말해 기존의 녹음에서 음악을 담은 미디어 즉, LP나 SP 등의 미디어에서 연주만을 따로 분리해내는 기술

포자랩스의 AI 작곡 기술에 대해 허 대표는 "인간은 단시간에 만들어낼 수 있는 작업물에 한계가 있다. AI는 딥러닝 기술을 바탕으로 새로운 작곡 결과물을 끊임 없이 만들어낼 수 있다"라고 말했다.

AI 작곡의 상용화를 위해 이 작가와 허 대표는 인식 개선을 강조했다. 이 작가는 "개발자들은 음악가들의 필요와 성향을 파악, 개발하고 음악가들은 낯선 기술을 열린 시선으로 활용해야 한다."라고 말했다.

허 대표는 저작권에 대한 인식 개선이 필요하다며, AI 작곡 수준이 올라가면 자연스레 많은 사람이 AI 작곡을 이용할 것으로 봤다.

AI타임스 정윤아 기자 donglee0408@aitimes.com

[관련기사] AI 래퍼 FN 메카, 새 앨범 발매... "진짜 사람이나 다름 없다"

[관련기사] [기획연재: AI와 음악을] ① 온택트가 가져온 'AI음악' 전성시대