구별하기 힘든 연주 멜로디도 AI가 가려낸다 < 기술 < 기사본문 - AI타임스

구별하기 힘든 연주 멜로디도 AI가 가려낸다

윤영주 기자
입력 2020.06.26 17:30
댓글 0
좋아요 0

이 기사를 공유합니다

연주자 몸짓 분석해 악기 소리 식별‧분리하는 AI 툴 개발

(사진=MIT-IBM Watson AI Lab).

연주회에 가면 귀뿐만 아니라 눈도 즐겁다. 간혹 귀로 구분할 수 없는 악기 소리를 연주자의 움직임으로 알아낼 때도 있지만 끝내 어떤 악기에서 나는 소리인지 알기 어려울 때가 많다. 이제 인공지능(AI)이 연주자들의 몸짓을 통해 각 악기의 소리를 구별해줄 수 있게 됐다.

MIT-IBM 왓슨 AI 연구소(MIT-IBM Watson AI Lab) 연구진이 연주자들의 몸짓 언어를 분석해 개별 악기의 소리를 식별‧분리할 수 있는 인공지능(AI) 툴을 개발했다고 매사추세츠공과대학교(MIT)가 25일(현지시간) 밝혔다.

이 AI 툴은 컴퓨터의 가상 눈과 가상 귀로 인간도 구별해내기 힘든 비슷한 소리를 식별해낸다. 각 연주자의 주요한 신체 골격 지점을 통해 연주자의 움직임을 개별 파트 템포에 맞추면서 AI의 청취‧식별 성능을 개선, 여러 악기들 가운데 각 악기 소리를 분리할 수 있도록 했다.

AI 시스템은 다중 감지 방식을 이용할 경우 더 적은 데이터로 더 빨리 학습할 수 있다. 이번 연구의 공동저자인 안토니오 토랄바 MIT 교수는 마치 인간이 모든 감각을 통해 배우는 것처럼 ”다중감각 처리는 보다 복잡한 업무를 수행할 수 있는 AI 시스템을 구현하기 위해 필요하다“고 설명한다.

이번 연구 성과는 여러 작업 영역에서 적용될 수 있을 것으로 보인다. 사운드 믹싱을 하거나 녹음에서 악기의 볼륨 조절하는 일부터 화상회의 시 소통을 원활하게 하는 일까지. 더 나아가 연구진은 이 같은 오디오-비디오 데이터로 훈련된 딥러닝 모델 기반 기술이 다양한 분야로 확대되길 기대하고 있다.

해당 연구는 이번 달 가상으로 열린 국제 컴퓨터 비전 및 패턴 인식 학회(CVPR)에서 소개됐다.

[관련기사] AI로 작곡한 단백질 음악...코로나19 치료제 개발되나

[관련기사] AI 로봇이 지휘하는 심포니 오케스트라, 세번째 해외공연 마쳐

Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com)
무단전재 및 재배포 금지

기사제보 및 보도자료 news@aitimes.com

윤영주 기자 우리 삶에 도움이 되는 AI 소식을 전하겠습니다. yyj0511@aitimes.com

다른기사 보기

기사 댓글 0

Array ( [0] => Array ( [data] => Array ( [0] => 정책 [1] => S1N1 [2] => [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => 산업 [1] => S1N3 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N3 [1] => 산업일반 [2] => S2N48 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N3 [1] => 메타버스 [2] => S2N50 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N3 [1] => AI 기업 [2] => S2N51 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N3 [1] => 말·말·말 [2] => S2N101 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N3 [1] => English News [2] => S2N102 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N3 [1] => 인터뷰 [2] => S2N109 [3] => [4] => N [5] => ) ) ) ) [2] => Array ( [data] => Array ( [0] => 기술 [1] => S1N24 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N24 [1] => 뉴테크 [2] => S2N103 [3] => [4] => N [5] => ) ) ) ) [3] => Array ( [data] => Array ( [0] => Art & Living [1] => S1N25 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N25 [1] => Art [2] => S2N56 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N25 [1] => Living [2] => S2N55 [3] => [4] => N [5] => ) ) ) ) [4] => Array ( [data] => Array ( [0] => 교육 [1] => S1N26 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N26 [1] => AI 교육 [2] => S2N58 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N26 [1] => AI대학원 [2] => S2N59 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N26 [1] => AI융합연구센터 [2] => S2N60 [3] => [4] => N [5] => ) ) ) ) [5] => Array ( [data] => Array ( [0] => 인물 [1] => S1N27 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N27 [1] => AI초대석 [2] => S2N61 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N27 [1] => 글로벌LAB 젊은 과학자 [2] => S2N62 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N27 [1] => 동정 [2] => S2N63 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N27 [1] => 인사/부음 [2] => S2N64 [3] => [4] => N [5] => ) ) ) ) [6] => Array ( [data] => Array ( [0] => 오피니언 [1] => S1N28 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N28 [1] => 칼럼 [2] => S2N65 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N28 [1] => 기고 [2] => S2N66 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N28 [1] => 기자수첩 [2] => S2N67 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N28 [1] => 박정현의 데이터사이언스 [2] => S2N68 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N28 [1] => 조금원의 디지털 세상 이야기 [2] => S2N69 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N28 [1] => 조영임의 AI단상 [2] => S2N70 [3] => [4] => N [5] => ) ) [6] => Array ( [data] => Array ( [0] => S1N28 [1] => 옴부즈만 [2] => S2N96 [3] => [4] => N [5] => ) ) ) ) [7] => Array ( [data] => Array ( [0] => 포커스 [1] => S1N32 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N32 [1] => AI만평 [2] => S2N90 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N32 [1] => 주간 AI [2] => S2N91 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N32 [1] => 포토/영상 [2] => S2N98 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N32 [1] => 그래픽 [2] => S2N92 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N32 [1] => 영상 [2] => S2N94 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N32 [1] => 리스티클 [2] => S2N93 [3] => [4] => N [5] => ) ) [6] => Array ( [data] => Array ( [0] => S1N32 [1] => 왔다!AI [2] => S2N104 [3] => [4] => N [5] => ) ) [7] => Array ( [data] => Array ( [0] => S1N32 [1] => Chat with AI [2] => S2N106 [3] => [4] => N [5] => ) ) [8] => Array ( [data] => Array ( [0] => S1N32 [1] => 오픈-Ko LLM 리더보드 [2] => S2N107 [3] => [4] => N [5] => ) ) [9] => Array ( [data] => Array ( [0] => S1N32 [1] => AI주크박스 [2] => S2N108 [3] => [4] => N [5] => ) ) ) ) [8] => Array ( [data] => Array ( [0] => 이벤트 [1] => S1N29 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N29 [1] => NVIDIA GTC [2] => S2N97 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N29 [1] => IFA [2] => S2N71 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N29 [1] => CES [2] => S2N72 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N29 [1] => CES 2023 [2] => S2N99 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N29 [1] => AI 갤러리 [2] => S2N100 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N29 [1] => AI & BIG DATA SHOW [2] => S2N105 [3] => [4] => N [5] => ) ) ) ) [9] => Array ( [data] => Array ( [0] => 스페셜 리포트 [1] => S1N30 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N30 [1] => 찬이의 IT교실 [2] => S2N74 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N30 [1] => 칼럼이 있는 AI 톡 [2] => S2N75 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N30 [1] => 일상으로 파고드는 AI기술 [2] => S2N76 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N30 [1] => AI와 클라우드 [2] => S2N77 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N30 [1] => 스포츠, AI를 만나다 [2] => S2N78 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N30 [1] => 춤추는 AI개발자 연봉 [2] => S2N79 [3] => [4] => N [5] => ) ) [6] => Array ( [data] => Array ( [0] => S1N30 [1] => 로봇이 온다 [2] => S2N80 [3] => [4] => N [5] => ) ) [7] => Array ( [data] => Array ( [0] => S1N30 [1] => 이미지와 비전 AI [2] => S2N81 [3] => [4] => N [5] => ) ) [8] => Array ( [data] => Array ( [0] => S1N30 [1] => 블록체인 쿼바디스? [2] => S2N82 [3] => [4] => N [5] => ) ) [9] => Array ( [data] => Array ( [0] => S1N30 [1] => 코로나와 AI [2] => S2N83 [3] => [4] => N [5] => ) ) [10] => Array ( [data] => Array ( [0] => S1N30 [1] => 광주의 AI교육 [2] => S2N84 [3] => [4] => N [5] => ) ) [11] => Array ( [data] => Array ( [0] => S1N30 [1] => AI 저널리즘을 부탁해 [2] => S2N85 [3] => [4] => N [5] => ) ) [12] => Array ( [data] => Array ( [0] => S1N30 [1] => 자율주행차 사고 어떻게 볼 것인가 [2] => S2N86 [3] => [4] => N [5] => ) ) [13] => Array ( [data] => Array ( [0] => S1N30 [1] => 김미정의 로빌리티 뿌뿌 [2] => S2N95 [3] => [4] => N [5] => ) ) ) ) [10] => Array ( [data] => Array ( [0] => Global [1] => S1N13 [2] => [3] => [4] => N [5] => ) ) [11] => Array ( [data] => Array ( [0] => Feature [1] => S1N35 [2] => [3] => [4] => N [5] => ) ) [12] => Array ( [data] => Array ( [0] => Future Energy [1] => S1N34 [2] => [3] => [4] => N [5] => ) ) [13] => Array ( [data] => Array ( [0] => 체험기 [1] => S1N33 [2] => [3] => [4] => N [5] => ) ) )