국립아시아문화전당서 남주한 카이스트 교수 아트&테크 강연
머신러닝 적용 스스로 템포, 셈여림, 장식음 등 감정 연주
악기 연주 자동화 200년 전부터…최근 2~3년 AI 연주 모델링
“흉내 수준 넘어 상호작용 가능한 반응형 AI 피아니스트 연구 중”

28일 국립아시아문화전당에서 열린 '아트&테크' 강연 프로그램에서 남주한 카이스트 교수가 '  ‘클래식 음악 연주를 위한 인공지능’ 주제로 강연을 하고 있다. 이날 코로나19 방역 지침에 따라 참여 인원 30명으로 제한해 진행됐다.  (사진=설재혁 기자).
28일 국립아시아문화전당에서 열린 '아트&테크' 강연 프로그램에서 남주한 카이스트 교수가 '  ‘클래식 음악 연주를 위한 인공지능’ 주제로 강연을 하고 있다. 이날 코로나19 방역 지침에 따라 참여 인원 30명으로 제한해 진행됐다.  (사진=설재혁 기자).

피아니스트 조성진의 연주를 학습한 AI 피아니스트. 조성진의 쇼팽콩쿠르 연주 영상을 소리 없이 영상만 재생해 AI 피아니스트 연주만 들리고 있다. (출처=유튜브 MAC Lab KAIST).

연주자 없이 딥러닝을 통해 악보를 학습한 피아노가 스스로 연주를 한다. 한국인 최초 쇼팽콩쿠르 우승자인 조성진의 연주를 학습한 인공지능(AI) 피아니스트가 마치 피아니스트처럼 그의 연주를 따라 하고 있다. 스스로 연주의 템포, 셈여림, 장식음 등을 감정 연주하는 AI 피아니스트와 인간의 합주도 펼쳐지고 있다. AI 피아니스트는 공연 뿐만 아니라 교육 분야에도 가능성을 보이며, 클래식 음악의 진입장벽을 낮춰 누구나 창작활동을 할 수 있게 할 전망이다.

지난달 28일 남주한 카이스트(KAIST) 문화기술대학원 교수는 국립아시아문화전당에서 열린 아트&테크 강연에서 ‘클래식 음악 연주를 위한 인공지능’ 주제로 강연을 펼쳤다. 이날 열린 강연은 카이스트 음악 오디오 연구실 소개 ▲AI 연주 모델 연구 목표 ▲음악 산업의 변화 ▲음악 공연의 변화 ▲피아노 연주 모델링 연구 소개‧과정 ▲공연 사례 ▲향후 연구 계획 순으로 진행됐다.

남주한 카이스트 교수가  ACC 아트&테크 강연에서 AI 피아니스트 연주 알고리즘을 설명하고 있다. (사진=설재혁 기자).
남주한 카이스트 교수가  ACC 아트&테크 강연에서 AI 피아니스트 연주 알고리즘을 설명하고 있다. (사진=설재혁 기자).

“딥러닝 기반 알고리즘 적용…현재 과도한 지도학습 진행 중”

남주한 카이스트 교수는 기계적 연주가 아닌 피아니스트처럼 연주할 수 있는 AI 연주 모델링을 찾는 과정에 있다. 남 교수는 “기계적으로 연주하면 감동을 줄 수가 없는데 피아니스트가 연주하면 뭔가 사람들을 끌어들이는 힘이 있다”며 “어떻게 연주를 하면 사람들을 끌어들일 수 있는 힘이 적용될지 연구하고 있다”고 밝혔다.

그는 연주 모델링에 대한 알고리즘을 두 가지 지능으로 나눠 설명했다. 그는 “음악 연주 지능은 표현 지능과 청음 지능으로 나뉘어 있다”며 “표현 지능은 악보를 보고 그것을 해석해서 어떻게 연주할지의 액션, 청음 지능은 귀로 소리를 듣고 어느 시점에 어떻게 연주했는지를 채보한다”고 설명했다.

AI 피아니스트는 지능적 음악 연주 머신 연구에 해당한다. 남주한 교수는 “악기 연주 자동화 200년 전, 자동음악 채보 알고리즘은 1980년도 초반부터 연구됐고, 현재의 성능이 나온 것은 불과 3~4년밖에 되지 않았다”고 말했다. (사진=구아현 기자).
AI 피아니스트는 지능적 음악 연주 머신 연구에 해당한다. 남주한 교수는 “악기 연주 자동화 200년 전, 자동음악 채보 알고리즘은 1980년도 초반부터 연구됐고, 현재의 성능이 나온 것은 불과 3~4년밖에 되지 않았다”고 말했다. (사진=구아현 기자).
연주 모델링에 적용되는 알고리즘의 두 가지 지능. (사진=남주한 교수 제공).
연주 모델링에 적용되는 알고리즘의 두 가지 지능. (사진=남주한 교수 제공).

현재는 인공신경망을 활용한 기계학습 기술인 딥러닝을 주로 사용한다. 남주한 교수는 “자동 연주 채보 알고리즘의 정확도는 95%로 나머지 5%에 대해서도 일반인들이 구분하기 어려울 정도”라며 “하지만 평가단을 대상으로 AI 피아니스트와 실제 피아니스트 연주를 비교했을 때사람들한테 감동을 선사하는 일은 아직 사람을 따라잡지 못했다”고 말했다.

남 교수는 AI 피아니스트가 사람처럼 연주하고 감동을 주려면 상황에 따라 상호작용이 가능한 반응형이 돼야 한다고 언급했다. 그는 “살아있다는 느낌을 받으려면 피아니스트의 연주를 재생하는 수준을 넘어 합주자의 연주에 반응을 하고 맞추는 상호작용이 필요하다”며 “앞으로 반응형 AI 피아니스트 연구를 진행할 계획"이라고 밝혔다.

AI 피아니스트와의 합주. (출처=유튜브 MAC Lab KAIST).

“채보 알고리즘으로 역사 속 유명 피아니스트 공연도”

AI 피아니스트는 다른 연주자의 연주를 듣고 비슷하게 따라 하거나 다른 아티스트와 합주까지 할 수 있는 지능으로 발전하고 있다. 남 교수는 “피아니스트 조성진이 2015년 쇼팽 콩쿠르에서 우승했을 당시 연주 영상을 유튜브에서 오디오 트랙을 가져와 AI 알고리즘으로 채보하고 그것을 자동 연주 피아노가 연주하게 해 실제 연주 영상과 AI 피아니스트 오디오 부분을 합쳐 연주 영상을 찍었었다”고 소개했다.

이어 그는 “악기 연주 자동화 200년 전, 자동음악 채보 알고리즘은 1980년도 초반부터 연구됐고, 현재의 성능이 나온 것은 불과 3~4년밖에 되지 않았다”며 “2007년 해외에서는 오래된 LP에서 유명인의 연주 정보를 채보하고 최신 장비로 녹음해 발매한 사례가 있다”며 “앞으로 과거 유명 연주자들과 현시대의 연주자들이 함께 공연을 펼치는 일이 가능해질 것”이라고 전망했다.

이날 강연을 들은 이태헌씨는(가운데) “미디어아트 분야의 일을 하고 있어 평소 이미지와 음악 분야 딥러닝에 관해 관심이 있었다”며 “데이터를 수집하고 컴퓨테이션을 통해 재창작하는 것인데 저작권을 가질까 하는 의문이 들기도 했다”고 말했다.(사진=설재혁 기자).
이날 강연을 들은 이태헌씨는(가운데) “미디어아트 분야의 일을 하고 있어 평소 이미지와 음악 분야 딥러닝에 관해 관심이 있었다”며 “데이터를 수집하고 컴퓨테이션을 통해 재창작하는 것인데 저작권을 가질까 하는 의문이 들기도 했다”고 말했다.(사진=설재혁 기자).

“동시음 자연어 처리, 저작권 등 해결과제 남아”

남 교수는 향후 AI 연주 모델링에 대한 해결과제도 언급했다. 그는 “악보 데이터는 텍스트도 아니고 그림도 아닌 애매한 부분이 있다”며 “자연어처리 기술이 급격히 발전하고 있어 음악 분야 도입도 시도되고 있지만 언어와 다르게 음악에서는 '동시음'이 발생해 이를 어떻게 학습 모델에 적용할지 현재 제일 관건”이라고 강조했다.

또 이날 강연을 들은 한 참여자가 AI 피아니스트의 저작권에 대한 질문을 해 관련 문제도 대두됐다. 이날 강연을 들은 이태헌 씨는 “미디어아트 분야의 일을 하고 있어 평소 이미지와 음악 분야 딥러닝에 관해 관심이 있었다”며 “데이터를 수집하고 컴퓨테이션을 통해 재창작하는 것인데 저작권을 가질까 하는 의문이 들기도 했다”고 말했다.

연주 모델링 가운데 자동 연주 채보 알고리즘. 소리를 듣고 연주자의 연주를 그대로 악보로 옮기는 과정인 채보를 인공신경망(Artificial Neural Network) 블록들로 표현 한 것. (사진=설재혁 기자).
연주 모델링 가운데 자동 연주 채보 알고리즘. 소리를 듣고 연주자의 연주를 그대로 악보로 옮기는 과정인 채보를 인공신경망(Artificial Neural Network) 블록들로 표현 한 것. (사진=설재혁 기자).

이에 대해 남주한 교수는 “AI 연주의 경우 저작권이 복잡하다”며 “한 피아니스트를 학습한 것이 아닌 수많은 사람을 학습해 나온 결과물은 더욱더 그렇다”고 말했다. 이어 “AI 연주는 누구를 모방한 것인지 밝히지 않은 이상 일반인들이 알아차리기 어려워 문제가 생길 수도 있다”며 “개발자가 어떤 데이터가 투입되는지 명확히 알고 있기 때문에 스스로 윤리적 기준 마련하는 것도 중요하다”고 말했다.

한편, 국립아시아문화전당(이하 ACC)은 ‘인공지능 그리고 아트&테크’를 주제로 7월 21일부터 8월 13일까지 ACC 라이브러리 파크에서 총 4차례 특별 강연을 개최하고 있다. 장성권 ACC 문화창조과 창제작·레지던시 전문위원은 "아트 & 테크 강연은 창제작 워크숍의 일환으로 교육과 실습까지 이어지는 프로젝트로 진행되고 있다"며 "강연은 누구나 온라인 사전예약을 통해 참여가 가능하다"고 말했다.

AI타임스 구아현 기자 ahyeon@aitimes.com

[관련기사]  'AI 도시' 광주에서 AI 강연 즐기세요…기초부터 예술 융합 강좌까지

[관련기사] ‘물은 기억한다’…AI 기술과 예술이 만나 환경 문제를 말한다

키워드 관련기사
  • 메타버스, 한류 앞에 놓인 새로운 길
  • [르포] ‘메타 가든’ 전시 가보니…“가상공간에서도 꽃 피고 바람 불고 파도치고”
  • AGI 정신과의사 등장, 우리의 미래는…장우재 작가‧박정희 연출가 인터뷰