MS, 음악 듣고 흉내 내는 AI 공개 < 산업일반 < 산업 < 기사본문 - AI타임스

MS, 음악 듣고 흉내 내는 AI 공개

이호진 기자
입력 2020.07.14 16:03
댓글 0
좋아요 0

이 기사를 공유합니다

중국어, 광둥어, 영어로 인터넷에서 수집한 수만곡의 노래 표준화

(사진=셔터스톡)

가수의 목소리를 학습해 흉내 내는 인공지능(AI) 가수가 등장했다.

중국 저장성대학교 연구팀과 마이크로소프트(MS) 연구팀은 중국어와 영어 노래에서 음성을 추출해 AI 기술로 합성하는 '딥싱어' 시스템을 개발했다고 벤처비트는 13일(현지시간) 보도했다.

합동 연구팀은 음원 사이트에서 여러 언어의 인기 음원 데이터를 수집했다. 이후 음성 분리 도구 '스플리터'로 음원에서 음성을 추출하고, 이를 문장으로 변환했다. 또 가사에서 각 음소의 재생 시간을 추출했다. 모델이 만들어 낸 신뢰도 점수에 따라 가사와 노래 음성을 분리하고 나머지 불완전한 학습 데이터를 처리했다.

연구 테스트에서 딥싱어는 중국어, 광둥어, 영어로 인터넷에서 수집한 수만곡의 노래 길이와 음량을 기준으로 표준화했다. 또 나머지 음질이 좋지 않거나 가사를 알수 없는 92시간 음원 데이터는 학습 데이터 셋 '싱 와일드데이터 셋'으로 분리했다.

연구팀은 딥싱어가 가사, 시간, 음의 높낮이, 레퍼런스 오디오로 부터 정확한 음조로 자연스러운 음성 합성을 했다고 밝혔다. 또 앞으로 AI기술을 더욱 고도화해 딥싱어 내 다양한 서브 모델을 공동으로 학습시키고 음성 합성 기술을 개선할 계획이다.

연구진이 만든 노래 합성본은 연구팀의 깃허브에서 확인할 수 있다.

한편 벤처비트는 최근 한 유튜브 채널에서 제이지의 음성랩을 합성해 제이지와 법적분쟁을 일으킨 사건을 인용, 이러한 음성합성기술은 딥페이크를 만드는데 사용할 수 있다고 우려했다.

[관련기사] 구별하기 힘든 연주 멜로디도 AI가 가려낸다

[관련기사] SKT-NEW ID, AI로 영화 자막·BGM 지운다

MS 인터넷 익스플로러(IE) 25년 만에 역사속으로···‘엣지’로 대체후 변화는?

Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com)
무단전재 및 재배포 금지

기사제보 및 보도자료 news@aitimes.com

이호진 기자 Holk@aitimes.com

다른기사 보기

기사 댓글 0

Array ( [0] => Array ( [data] => Array ( [0] => 정책 [1] => S1N1 [2] => [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => 산업 [1] => S1N3 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N3 [1] => 산업일반 [2] => S2N48 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N3 [1] => 메타버스 [2] => S2N50 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N3 [1] => AI 기업 [2] => S2N51 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N3 [1] => 말·말·말 [2] => S2N101 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N3 [1] => English News [2] => S2N102 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N3 [1] => 인터뷰 [2] => S2N109 [3] => [4] => N [5] => ) ) ) ) [2] => Array ( [data] => Array ( [0] => 기술 [1] => S1N24 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N24 [1] => 뉴테크 [2] => S2N103 [3] => [4] => N [5] => ) ) ) ) [3] => Array ( [data] => Array ( [0] => Art & Living [1] => S1N25 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N25 [1] => Art [2] => S2N56 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N25 [1] => Living [2] => S2N55 [3] => [4] => N [5] => ) ) ) ) [4] => Array ( [data] => Array ( [0] => 교육 [1] => S1N26 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N26 [1] => AI 교육 [2] => S2N58 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N26 [1] => AI대학원 [2] => S2N59 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N26 [1] => AI융합연구센터 [2] => S2N60 [3] => [4] => N [5] => ) ) ) ) [5] => Array ( [data] => Array ( [0] => 인물 [1] => S1N27 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N27 [1] => AI초대석 [2] => S2N61 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N27 [1] => 글로벌LAB 젊은 과학자 [2] => S2N62 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N27 [1] => 동정 [2] => S2N63 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N27 [1] => 인사/부음 [2] => S2N64 [3] => [4] => N [5] => ) ) ) ) [6] => Array ( [data] => Array ( [0] => 오피니언 [1] => S1N28 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N28 [1] => 칼럼 [2] => S2N65 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N28 [1] => 기고 [2] => S2N66 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N28 [1] => 기자수첩 [2] => S2N67 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N28 [1] => 박정현의 데이터사이언스 [2] => S2N68 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N28 [1] => 조금원의 디지털 세상 이야기 [2] => S2N69 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N28 [1] => 조영임의 AI단상 [2] => S2N70 [3] => [4] => N [5] => ) ) [6] => Array ( [data] => Array ( [0] => S1N28 [1] => 옴부즈만 [2] => S2N96 [3] => [4] => N [5] => ) ) ) ) [7] => Array ( [data] => Array ( [0] => 포커스 [1] => S1N32 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N32 [1] => AI만평 [2] => S2N90 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N32 [1] => 주간 AI [2] => S2N91 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N32 [1] => 포토/영상 [2] => S2N98 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N32 [1] => 그래픽 [2] => S2N92 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N32 [1] => 영상 [2] => S2N94 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N32 [1] => 리스티클 [2] => S2N93 [3] => [4] => N [5] => ) ) [6] => Array ( [data] => Array ( [0] => S1N32 [1] => 왔다!AI [2] => S2N104 [3] => [4] => N [5] => ) ) [7] => Array ( [data] => Array ( [0] => S1N32 [1] => Chat with AI [2] => S2N106 [3] => [4] => N [5] => ) ) [8] => Array ( [data] => Array ( [0] => S1N32 [1] => 오픈-Ko LLM 리더보드 [2] => S2N107 [3] => [4] => N [5] => ) ) [9] => Array ( [data] => Array ( [0] => S1N32 [1] => AI주크박스 [2] => S2N108 [3] => [4] => N [5] => ) ) ) ) [8] => Array ( [data] => Array ( [0] => 이벤트 [1] => S1N29 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N29 [1] => NVIDIA GTC [2] => S2N97 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N29 [1] => IFA [2] => S2N71 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N29 [1] => CES [2] => S2N72 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N29 [1] => CES 2023 [2] => S2N99 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N29 [1] => AI 갤러리 [2] => S2N100 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N29 [1] => AI & BIG DATA SHOW [2] => S2N105 [3] => [4] => N [5] => ) ) ) ) [9] => Array ( [data] => Array ( [0] => 스페셜 리포트 [1] => S1N30 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N30 [1] => 찬이의 IT교실 [2] => S2N74 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N30 [1] => 칼럼이 있는 AI 톡 [2] => S2N75 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N30 [1] => 일상으로 파고드는 AI기술 [2] => S2N76 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N30 [1] => AI와 클라우드 [2] => S2N77 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N30 [1] => 스포츠, AI를 만나다 [2] => S2N78 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N30 [1] => 춤추는 AI개발자 연봉 [2] => S2N79 [3] => [4] => N [5] => ) ) [6] => Array ( [data] => Array ( [0] => S1N30 [1] => 로봇이 온다 [2] => S2N80 [3] => [4] => N [5] => ) ) [7] => Array ( [data] => Array ( [0] => S1N30 [1] => 이미지와 비전 AI [2] => S2N81 [3] => [4] => N [5] => ) ) [8] => Array ( [data] => Array ( [0] => S1N30 [1] => 블록체인 쿼바디스? [2] => S2N82 [3] => [4] => N [5] => ) ) [9] => Array ( [data] => Array ( [0] => S1N30 [1] => 코로나와 AI [2] => S2N83 [3] => [4] => N [5] => ) ) [10] => Array ( [data] => Array ( [0] => S1N30 [1] => 광주의 AI교육 [2] => S2N84 [3] => [4] => N [5] => ) ) [11] => Array ( [data] => Array ( [0] => S1N30 [1] => AI 저널리즘을 부탁해 [2] => S2N85 [3] => [4] => N [5] => ) ) [12] => Array ( [data] => Array ( [0] => S1N30 [1] => 자율주행차 사고 어떻게 볼 것인가 [2] => S2N86 [3] => [4] => N [5] => ) ) [13] => Array ( [data] => Array ( [0] => S1N30 [1] => 김미정의 로빌리티 뿌뿌 [2] => S2N95 [3] => [4] => N [5] => ) ) ) ) [10] => Array ( [data] => Array ( [0] => Global [1] => S1N13 [2] => [3] => [4] => N [5] => ) ) [11] => Array ( [data] => Array ( [0] => Feature [1] => S1N35 [2] => [3] => [4] => N [5] => ) ) [12] => Array ( [data] => Array ( [0] => Future Energy [1] => S1N34 [2] => [3] => [4] => N [5] => ) ) [13] => Array ( [data] => Array ( [0] => 체험기 [1] => S1N33 [2] => [3] => [4] => N [5] => ) ) )