연주 동영상만으로 피아노 연주를 학습한 뒤 실연가능한 인공지능(AI) 피아니스트가 등장했다.
9일 AI 전문 Unite.Ai 사이트에 따르면 미 워싱턴대 연구팀은 영국 피아니스트 폴 바튼(Paul Barton)이 연주한 모차르트나 베토벤 등 클래식 연주 동영상을 학습, 이를 신디사이저(전자피아노)로 연주하는 '오데오(Audeo)'를 개발했다. 연구팀은 NeurlPS 2020 컨퍼런스에서 Audeo 개발을 소개했다.
이 장치는 비디오 프레임마다 눌린 건반을 감지go 다이어그램을 개발한 뒤, 신디사이저에 각 음의 길이와 셈여림, 터치감 등 세부 정보를 추가해 연주를 가능하게 한다는 것.
피아노 연주는 정확성 뿐만 아니라 고도의 상상력이 필요하므로 두 대의 신디사이저를 사용, ▶대중에게 익숙한 피아노 소리와 ▶터치감, 셈여림, 울림, 세부적인 표현력 등 음악 흐름의 신호와 특징을 파악한 알고리즘을 각각 적용했다. 단, 표현력을 보완하는 과정에서 다소 소음이 발생하는 단점이 나타났다고 연구팀은 밝혔다.
연구팀 슈리저만(Shlizerman)은 "약 19,000개에 달하는 프레임들로 구성된 실연 동영상을 훈련한 뒤 곧바로 음악을 합성하면 품질이 좋지 않았다"면서 "표현력을 피드백 한 뒤 연주 품질이 향상됐으나 피아니스트가 공연장에서 실연하는 수준의 퀄리티에는 미치지 못했다"고 말했다.
그는 "Audeo 개발 연구를 통해 학생들이 연주 방법을 배우고 인공지능과 사람이 새로운 방식으로 상호 작용할 수 있기를 바란다"고 말했다.
한편 미 네바다 대학은 유튜브에서 1천여개의 연주 영상을 학습한 뒤, 실연자의 피아노 연주를 보고 연주 등급을 매기는 인공지능(AI) 시스템을 개발했다. 인공지능 피아니스트 연주 시대가 다가오고 있다. (관계기사)
AI타임스 최명현 기자 hyunchoi@aitimes.com
