구별하기 힘든 연주 멜로디도 AI가 가려낸다
상태바
구별하기 힘든 연주 멜로디도 AI가 가려낸다
  • 입력 2020-06-26 17:30
  • 댓글 0
이 기사를 공유합니다

연주자 몸짓 분석해 악기 소리 식별‧분리하는 AI 툴 개발
(사진=MIT-IBM Watson AI Lab).
(사진=MIT-IBM Watson AI Lab).

연주회에 가면 귀뿐만 아니라 눈도 즐겁다. 간혹 귀로 구분할 수 없는 악기 소리를 연주자의 움직임으로 알아낼 때도 있지만 끝내 어떤 악기에서 나는 소리인지 알기 어려울 때가 많다. 이제 인공지능(AI)이 연주자들의 몸짓을 통해 각 악기의 소리를 구별해줄 수 있게 됐다.

MIT-IBM 왓슨 AI 연구소(MIT-IBM Watson AI Lab) 연구진이 연주자들의 몸짓 언어를 분석해 개별 악기의 소리를 식별‧분리할 수 있는 인공지능(AI) 툴을 개발했다고 매사추세츠공과대학교(MIT)가 25일(현지시간) 밝혔다.

이 AI 툴은 컴퓨터의 가상 눈과 가상 귀로 인간도 구별해내기 힘든 비슷한 소리를 식별해낸다. 각 연주자의 주요한 신체 골격 지점을 통해 연주자의 움직임을 개별 파트 템포에 맞추면서 AI의 청취‧식별 성능을 개선, 여러 악기들 가운데 각 악기 소리를 분리할 수 있도록 했다.

AI 시스템은 다중 감지 방식을 이용할 경우 더 적은 데이터로 더 빨리 학습할 수 있다. 이번 연구의 공동저자인 안토니오 토랄바 MIT 교수는 마치 인간이 모든 감각을 통해 배우는 것처럼 ”다중감각 처리는 보다 복잡한 업무를 수행할 수 있는 AI 시스템을 구현하기 위해 필요하다“고 설명한다.

이번 연구 성과는 여러 작업 영역에서 적용될 수 있을 것으로 보인다. 사운드 믹싱을 하거나 녹음에서 악기의 볼륨 조절하는 일부터 화상회의 시 소통을 원활하게 하는 일까지. 더 나아가 연구진은 이 같은 오디오-비디오 데이터로 훈련된 딥러닝 모델 기반 기술이 다양한 분야로 확대되길 기대하고 있다.

해당 연구는 이번 달 가상으로 열린 국제 컴퓨터 비전 및 패턴 인식 학회(CVPR)에서 소개됐다.

 

[관련기사] AI로 작곡한 단백질 음악...코로나19 치료제 개발되나

[관련기사] AI 로봇이 지휘하는 심포니 오케스트라, 세번째 해외공연 마쳐

기자 프로필

댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.
주요기사
유용한 리스티클
  • AI를 활용한 10가지 좋은 예
  • MIT 테크리뷰가 선정한 젊은 AI혁신가 7인
  • 포브스 선정 유망 AI기업 베스트 50
  • 신제품 개발을 개선하는 10가지 방법
  • 코로나19와 싸우는 테크기업 '베스트 15'
  • 딥마인드 엔지니어가 알려준 입사 지원 팁 5가지