스마트인재개발원 '파워레인조' 팀, AI 채보‧연주 연습 서비스 고안
딥러닝 통해 음원을 악보로 제공…다성 음악도 악기별로 가능
"즉흥 연주‧애드리브도 악보로 변환 가능한 서비스로 확장할 것"
【편집자주】 광주광역시 소재 스마트인재개발원에서 지난달 교육과정을 수료한 학생들의 최종성과발표회와 수료식이 열렸다. 200여 명에 달하는 교육생들이 900시간 내외 인공지능(AI)‧빅데이터‧사물인터넷(IoT) 분야 교육을 마치고 최종 프로젝트를 시연하면서 성과를 발표하는 자리였다(관련 기사). 그동안 스마트인재개발원 교육생들은 국내 주요 해커톤 대회에서 잇따라 우승해 실력을 입증해왔다. 기자는 이번 'Aidea' 기획시리즈를 통해 청년들의 갈고닦은 역량이 결집된 기발한 아이디어들을 소개하려 한다.
# 평소 음악에 관심이 많은 A씨는 코로나19로 집에서 혼자 보내는 시간이 많아지면서 최근 취미로 기타를 배우기 시작했다. A씨는 우연히 듣게 된 기타 연주곡이 마음에 들어 직접 연주해보고 싶었지만, 악보를 구할 수 없었다. 하는 수 없이 직접 음악을 듣고 음표 하나하나 악보를 그려가며 연습하려 했으나 채보하기가 쉽지 않았다.
그러다 인터넷 동호회에서 만난 한 회원이 알려준 웹사이트 덕분에 A씨는 이제 마음껏 원하는 곡을 악보로 옮겨 연습해볼 수 있게 됐다. 웹사이트에 로그인해 자신의 음원 목록에서 원하는 곡을 선택하기만 하면 악보가 뚝딱 완성된다. 딥러닝 기술을 기반으로 음원만 있으면 하나의 악기로 연주되는 음악은 물론, 여러 악기로 구성된 합주곡도 기타 연주 부분만 골라 악보로 변환할 수 있다.
또 마이페이지에서 업로드한 연습 기록들을 점수화해 연주의 정확도를 확인할 수 있어 유용하다. 게다가 연습하고 싶은 곡들을 즐겨찾기 기능을 이용해 따로 목록으로 저장할 수도 있다. 이 덕에 몇 개월 사이 기타 연주 실력이 일취월장했음을 느낀 A씨다.
코로나19의 장기화로 인해 외부 활동 대신 집에서 홀로 보내는 시간이 길어지면서 연주 감상에 그치지 않고 취미로 악기를 배우려는 '집콕족'이 늘어나고 있다. 실제 사회적 거리두기 강화로 실내 취미생활 관련 상품의 매출이 지속적으로 증가하고 있는 가운데, 여러 온라인 쇼핑몰에서 악기 전문관과 악기 기획전 등을 열 만큼 악기 수요도 크게 늘어나는 추세다.
게다가 음원‧동영상 플랫폼 시장이 성장함에 따라 연주 음악에 대한 접근성도 높아지고 있다. 하지만 음원을 찾아도 이를 연주하기 위한 악보를 구하는 일이 쉽지만은 않다. 또 음원이 MP3 파일이 아닌 MIDI 파일(연주를 위한 악보 데이터)로 제공되지 않는 이상 곡조를 듣고 직접 악보로 옮기는 채보를 해야 한다. 기존에 상용화된 채보 프로그램을 이용하더라도 정확도가 낮아 실제 연주에 활용하기 힘든 경우도 많다.
'좀 더 정확한 채보 프로그램을 만들어 사용자가 이용하기 편리한 웹 서비스로 제공할 수 없을까.' 이에 스마트인재개발원의 권누리‧김동현‧류한나‧박성현‧오동혁 교육생들로 구성된 '파워레인조' 팀은 '밴드연주 입문자를 위한 U-Net 및 MFCC를 활용한 채보‧연주 연습 서비스'를 제안했다.
악보 일일이 그리지 마세요
내가 원하는 악기만 '쏙쏙' 골라 악보로~
이들이 고안한 아이디어는 음원을 인식해 악보로 변환하는 채보 프로그램 웹 서비스인 'Music Space'를 통해 사용자가 연주하고 싶은 곡을 빠르고 간편하게 연습에 활용할 수 있도록 돕는 내용을 골자로 한다. 현재 시중에 나온 유사 제품들의 경우 주기능이 아닌 부차적 기능으로 채보 서비스가 이뤄지거나 악보가 아닌 MIDI 파일 형태로 제공된다는 한계가 있다. 또 음원 파일을 악보로 변환할 시에 정확도가 다소 떨어지는 측면도 있다.
이에 착안해 파워레인조 팀은 보다 정확도 높은 악보를 제공하는 동시에, 업로드한 연주 연습 음원의 정확도를 측정해 학습을 돕는 서비스를 구현하는 데 중점을 뒀다. 파워레인조 팀은 딥러닝 기술을 활용해 사용자가 음원을 악보로 변환해 다운로드할 수 있도록 설계했다. 곡 목록에서 원하는 곡을 선택하기만 하면 악보가 완성된다.
특히 여러 악기로 연주된 합주곡의 음원도 악보로 변환 가능할 뿐만 아니라, 합주곡에서 원하는 악기를 선택할 경우 단일 악기의 연주만 골라 부분적으로 악보를 만들 수도 있다. 또 사용자는 마이페이지에서 이전에 악보를 변환했던 내용을 확인할 수 있다.
아울러 파워레인조 팀은 악보 연습 기능을 통해 연습한 곡을 업로드하면 정확도를 측정하는 기능을 도입했다. 사용자가 연습해 녹음한 음원을 기존의 음원과 비교해 점수로 측정해주는 것. 이러한 기능을 통해 사용자는 그동안 연습한 기록을 토대로 점수 변화를 확인함으로써 연주 실력을 향상시킬 수 있다.
또 사용자는 연습하고 싶은 곡들을 즐겨찾기 기능을 통해 따로 목록으로 저장할 수있다. 향후 악보에 표현되지 않는 즉흥 연주나 연주의 애드리브 부분도 악보 변환이 가능한 서비스로 확장될 수 있다는 게 파워레인조 팀의 설명이다. 권누리 팀장에게 해당 아이디어에 대한 이야기를 들어봤다.
Q. 아이디어를 고안하게 된 계기는.
▶ 딥러닝을 통한 음원 분석은 학원에서 배우지 않았을 뿐더러 아직까지는 많이 발전되지 않은 분야라 화두가 되는 주제 가운데 하나다. 이에 이 분야에 대해 더 공부해보고 경험하는 계기가 될 것으로 기대하면서 3차 프로젝트의 주제로 선정하게 됐다.
최근 음원 및 동영상 플랫폼의 성장으로 소비자들의 음원 접근성이 높아지고, 이에 따라 악기 연주를 취미로 갖는 사람들도 늘어나고 있다. 만약 이들이 음원을 채보하고 싶다면, 현재는 해당 음원이 MIDI 파일로 제공되지 않는 이상 청음을 통해 채보해야 하는 번거로움이 있다. 몇 안 되는 상용화된 채보 프로그램을 찾았다고 하더라도 현재로서는 다성 음원에서의 정확도가 낮아 실질적으로 채보하는 의미가 없어 보였다. 때문에 우리는 이러한 수요를 공략하기 위해 정확도 높은 채보 프로그램을 제작하고, 이를 웹서비스를 통해 제공하고자 했다.
Q. 아이디어에 대해 좀 더 구체적으로 설명한다면.
▶ 우리가 구현한 딥러닝 알고리즘 흐름은 크게 음원 분리‧악기 분류‧악보 변환‧음원 비교 단계로 나뉜다. 먼저 '음원 분리'는 합주 음원에서 개별 악기의 음원을 추출하는 모델을 구현하는 단계로 파이썬의 스플리터(Spleeter)를 사용했다. 스플리터는 음원의 특성을 4가지의 기준을 통해 악기를 분류해주는 U-Net 모델로 이뤄져 있다. 10시간가량의 음원 데이터인 MUSDB를 통해 학습된 모델로 보컬과 피아노, 베이스 그리고 나머지 음원을 추출할 수 있었다.
이어 '악기 분류' 단계는 스플리터를 통해 분리‧추출된 음원의 라벨 데이터 즉 악기의 종류를 판별하기 위한 것이다. 뮤직넷(MusicNet)과 위키피디아 커먼즈(Wikipedia Commons)에서 50시간 분량의 개별 악기 음원을 학습데이터로 사용해 MLP 딥러닝 모델을 구현했다. 이를 통해 음원을 입력했을 때 어떠한 악기가 사용됐는지 확인할 수 있다.
다음으로 '악보 변환' 단계다. 우선 음원에서 음계를 뽑아낸 후, 추출된 음계를 뮤직21(Music21) 라이브러리를 통해 MIDI 데이터로 변환했다. 이어 뮤직스코어(musicscore) 프로그램을 이용해 악보로 변환할 수 있도록 설계했다. 마지막으로 연습 기능에서 정확도를 계산해 제공하는 단계다. 사용자가 연습한 음원을 업로드한 MIDI 데이터와 우리가 제공한 MIDI 데이터의 정확도를 비교해 오차 수치를 점수로 변환‧제공하도록 했다.
스마트인재개발원 '파워레인조' 팀이 제안한 채보 및 연주 연습 서비스 'Music Space'의 시연 영상. (영상=권누리 제공).
Q. 프로젝트를 수행하는 과정에서 어려움은 없었나.
▶ 현재로서 음원 데이터의 딥러닝 분석은 모델을 적용하기 전에 많은 데이터 조작 즉, 전처리가 필요하다. 컴퓨터가 소리와 주파수를 바로 분석할 수 없기 때문이다. 이 과정에서 음원 데이터 전처리 부분에 어려움을 겪었지만 음원의 샘플링 속도를 통일(44100)하고, 비트의 깊이를 조절해 나가면서 모델의 정확도를 높일 수 있었다.
또 음원 데이터를 다루기 위해서는 신호 처리 분야에 대한 전문적인 지식과 미적분 및 선형대수에 대한 지식이 필요하다. 아무래도 음원 딥러닝 분야가 생소했기 때문에 모델 개발에 앞서 주제에 대한 배경지식을 쌓는 데 중점을 두었다. 그 과정에서 팀원들이 다 같이 많은 관련 논문들을 해석하면서 공부했다. 그 결과 음원 데이터에 대한 이해와 알고리즘을 설계하는 데 많은 도움이 됐다.
전체적인 프로젝트 진행 과정에서 우리 팀은 크로스 체크를 중요시했다. 문서작업의 경우 구글 드라이브 공유를 통해 실시간으로 공유해 문제가 보이면 바로 피드백을 할 수 있었다. 개발 과정에서 오류가 발생하면, 큰 화면으로 다 같이 보며 함께 고민했다. 이 덕분에 팀원 모두가 개발의 목표와 방향을 정확히 이해할 수 있었고 중간에 방향이 바뀌는 과정 없이 효율적인 작업을 할 수 있었다.
아무래도 앞서 설명한 것과 같이 모델 내 여러 알고리즘 단계가 있기 때문에 딥러닝 모델 설계에 시간이 오래 걸렸다. 그렇다 보니 주말까지 할애해 늦은 시간까지 작업하는 경우가 종종 있었다. 어느 주말에는 저녁까지 프로젝트 작업을 하다가 리프레시가 필요하다는 다수의 의견에 따라 차를 렌트해 목포로 떠나 바닷바람을 쐬고 왔던 기억이 난다.
Q. 이번 성과가 향후 구체적으로 어떻게 활용될 수 있을지.
▶ 음원을 인식해 악보로 변환하는 채보 프로그램을 웹 서비스를 통해 제공함으로써 연주자의 악보 접근성을 높일 수 있다. 정규 음원이 아니더라도 음원만 있다면 즉흥 연주나 라이브 연주 또한 간편하게 악보로 채보가 가능해질 것이다. 또 자신이 연습해서 녹음한 음원을 악보와 비교해 정확도를 측정할 수 있다.
Q. 향후 계획에 대해.
▶ 아무래도 짧은 시간 내 프로젝트를 진행하다 보니 어쩔 수 없이 타협해야만 했던 아쉬운 점이 있다. 프로젝트의 웹 구현 및 딥러닝 모델 부분을 보완하고 싶다. 앞으로 음원 딥러닝에 대한 많은 새로운 기술들이 등장할 것으로 기대된다. 지속적인 공부를 통해 이번 프로젝트의 악보 채보 정확도를 높일 수 있도록 발전시킬 계획이다.
Q. 마지막으로 강조하고 싶은 한 말씀.
▶ 스마트인재개발원에서 전반적인 IT 지식과 현업에 필요한 기술들을 짧지만 굵게 경험해 볼 수 있었다. 스마트인재개발원의 장점으로는 시설과 수준 높은 방역 그리고 선생님들의 친절함을 꼽을 수 있다.
수업 기간 동안 학생 개개인이 각자 고사양의 컴퓨터를 한 대씩 전담으로 사용할 수 있어 수업 외 시간에도 제약 없이 사용해 공부할 수 있었다. 비대면 수업 시에는 원격으로 학원 컴퓨터에 접속해 실습할 수 있어서 비대면임에도 오류가 발생하면 실시간 피드백이 가능했다. 또 오전‧오후 시간마다 체온을 측정하고 매일 강의실을 방역하는 등 높은 수준의 방역 덕분에 안전하게 수업을 들을 수 있었다.
무엇보다도 가장 큰 장점은 선생님들의 친절함이다. 비전공자 학원생들이 기초적인 부분을 질문하면 수업 진행이 좀 더뎌져도 선생님들이 꼼꼼하게 봐주며 설명해주신 게 큰 도움이 됐다. 다른 학원들의 경우 기초적인 문제의 해결이나 이해가 어렵거나, 국비지원 교육의 경우 강의의 질이 떨어지는 등 이 같은 애로사항을 실제로 경험해 본 적이 있어, 친절한 선생님들이 어려운 수업의 진입장벽을 낮추는 제일 큰 요인이 아니었나 생각한다. 다시 한 번 감사드린다.
덕분에 5개월간 좋은 경험을 쌓고 좋은 인연들을 만날 수 있었다. 코로나로 어려운 환경임에도 불구하고 열심히 참여한 스마트인재개발원의 빅데이터 5차반 모두 너무 수고했다는 말을 전하고 싶다.
AI타임스 윤영주 기자 yyj0511@aitimes.com
[관련기사] [Aidea] ① 아직 글자 모르는 우리 아이, AI로 집에서도 쉽게 한글 배운다
[관련기사] [Aidea] ② “홀로 계신 부모님 걱정 뚝”…뉴 시니어를 위한 맞춤형 IoT 스마트 홈 플랫폼
[관련기사] [Aidea] ③ “우리 아기가 왜 그럴까”…AI로 울음 분석부터 행동 감지까지
[관련기사] [Aidea] ④ 코로나 블루로 지친 마음 'AI 도우미'로 토닥토닥
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com