구글, 음악 생성 AI ‘뮤직LM’ 개발 < 뉴테크 < 기술 < 기사본문 - AI타임스

구글, 음악 생성 AI ‘뮤직LM’ 개발

박찬 위원
입력 2023.01.30 17:08
댓글 0
좋아요 0

이 기사를 공유합니다

텍스트로 설명하면 음악 생성...저작권 문제로 출시는 미정

(사진=셔터스톡)

구글이 텍스트 설명으로 모든 장르의 음악을 생성할 수 있는 인공지능(AI) 모델인 ‘뮤직LM(MusicLM)’를 개발했다.

하지만 저작권 문제를 이유로 아직 출시 계획은 세우지 않고 있다고 테크크런치가 28일(현지시간) 보도했다.

이처럼 음악을 생성해주는 AI가 나온 것은 이번이 처음은 아니다. '리퓨전(Riffusion)'을 비롯해 구글의 ‘오디오LM(AudioLM)', 오픈AI의 '쥬크박스(Jukebox)', 메타의 ‘오디오젠(AudioGen)’ 등 이미 다양한 모델이 나와있다.

그러나 이들 모델은 모두 기술적 한계와 제한된 학습 데이터로 인해 설득력을 지니지 못했다. 구성이 복잡하거나 충실도가 높은 곡을 제작하는데는 어려움이 있다.

뮤직LM 아키텍처 - 왼쪽: 학습 중에 오디오 전용 교육 세트에서 뮬란 오디오 토큰, 시맨틱 토큰 및 음향 토큰을 추출한다. 시맨틱 모델링 단계에서는 뮬란 오디오 토큰을 컨디셔닝으로 사용하여 시맨틱 토큰을 예측한다. 후속 음향 모델링 단계에서는 뮬란 오디오 토큰과 시맨틱 토큰이 모두 주어지면 음향 토큰을 예측한다. 각 단계는 디코더 전용 트랜스포머를 사용하는 시퀀스-시퀀스 작업으로 모델링된다. 오른쪽: 추론 중에 텍스트 프롬프트에서 계산된 뮬란 텍스트 토큰을 조건 신호로 사용하고 생성된 오디오 토큰을 사운드스트림 디코더를 사용하여 파형으로 변환한다.(사진=구글)

뮤직LM은 이같은 한계를 처음으로 극복할 수 있는 모델로 보인다. 추상적인 개념을 사용해 다양한 장르의 음악 트랙을 자동으로 생성할 수 있다. 댄스 음악과 레게의 하이브리드를 생성하는 것도 가능하다. 허밍, 휘파람은 물론 그림 설명을 기반으로도 멜로디를 생성할 수 있다.

또 스토리 모드로 여러 설명을 함께 연결해 DJ 세트 또는 사운드트랙을 생성하거나 이미지와 설명을 읽고 이미지와 동기화되는 음악을 만드는 일도 가능하다.

일부 작곡은 이상하게 들리거나 이해할 수 없는 보컬이 들어갈 수 있지만 일단은 그럴듯한 음악을 생성한다는 평가다.

다만 구글은 생성된 음악의 약 1%가 학습에 사용된 곡에서 직접 복제됐다고 털어놓았다. 아직 뮤직LM 출시계획을 세우지 못하고 있는 원인으로 보인다.

박찬 위원 cpark@aitimes.com

텍스트에서 음악 생성하는 인공지능(AI) '리퓨전'

음악에 맞춰 춤추는 인공지능...댄스 생성 AI 등장

'AI 창작'에 진심인 구글...비디오·글·음악 생성기 동시 공개

Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com)
무단전재 및 재배포 금지

기사제보 및 보도자료 news@aitimes.com

박찬 위원 cpark@aitimes.com

다른기사 보기

기사 댓글 0

Array ( [0] => Array ( [data] => Array ( [0] => 정책 [1] => S1N1 [2] => [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => 산업 [1] => S1N3 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N3 [1] => 산업일반 [2] => S2N48 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N3 [1] => 메타버스 [2] => S2N50 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N3 [1] => AI 기업 [2] => S2N51 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N3 [1] => 말·말·말 [2] => S2N101 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N3 [1] => English News [2] => S2N102 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N3 [1] => 인터뷰 [2] => S2N109 [3] => [4] => N [5] => ) ) ) ) [2] => Array ( [data] => Array ( [0] => 기술 [1] => S1N24 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N24 [1] => 뉴테크 [2] => S2N103 [3] => [4] => N [5] => ) ) ) ) [3] => Array ( [data] => Array ( [0] => Art & Living [1] => S1N25 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N25 [1] => Art [2] => S2N56 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N25 [1] => Living [2] => S2N55 [3] => [4] => N [5] => ) ) ) ) [4] => Array ( [data] => Array ( [0] => 교육 [1] => S1N26 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N26 [1] => AI 교육 [2] => S2N58 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N26 [1] => AI대학원 [2] => S2N59 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N26 [1] => AI융합연구센터 [2] => S2N60 [3] => [4] => N [5] => ) ) ) ) [5] => Array ( [data] => Array ( [0] => 인물 [1] => S1N27 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N27 [1] => AI초대석 [2] => S2N61 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N27 [1] => 글로벌LAB 젊은 과학자 [2] => S2N62 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N27 [1] => 동정 [2] => S2N63 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N27 [1] => 인사/부음 [2] => S2N64 [3] => [4] => N [5] => ) ) ) ) [6] => Array ( [data] => Array ( [0] => 오피니언 [1] => S1N28 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N28 [1] => 칼럼 [2] => S2N65 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N28 [1] => 기고 [2] => S2N66 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N28 [1] => 기자수첩 [2] => S2N67 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N28 [1] => 박정현의 데이터사이언스 [2] => S2N68 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N28 [1] => 조금원의 디지털 세상 이야기 [2] => S2N69 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N28 [1] => 조영임의 AI단상 [2] => S2N70 [3] => [4] => N [5] => ) ) [6] => Array ( [data] => Array ( [0] => S1N28 [1] => 옴부즈만 [2] => S2N96 [3] => [4] => N [5] => ) ) ) ) [7] => Array ( [data] => Array ( [0] => 포커스 [1] => S1N32 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N32 [1] => AI만평 [2] => S2N90 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N32 [1] => 주간 AI [2] => S2N91 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N32 [1] => 포토/영상 [2] => S2N98 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N32 [1] => 그래픽 [2] => S2N92 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N32 [1] => 영상 [2] => S2N94 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N32 [1] => 리스티클 [2] => S2N93 [3] => [4] => N [5] => ) ) [6] => Array ( [data] => Array ( [0] => S1N32 [1] => 왔다!AI [2] => S2N104 [3] => [4] => N [5] => ) ) [7] => Array ( [data] => Array ( [0] => S1N32 [1] => Chat with AI [2] => S2N106 [3] => [4] => N [5] => ) ) [8] => Array ( [data] => Array ( [0] => S1N32 [1] => 오픈-Ko LLM 리더보드 [2] => S2N107 [3] => [4] => N [5] => ) ) [9] => Array ( [data] => Array ( [0] => S1N32 [1] => AI주크박스 [2] => S2N108 [3] => [4] => N [5] => ) ) ) ) [8] => Array ( [data] => Array ( [0] => 이벤트 [1] => S1N29 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N29 [1] => NVIDIA GTC [2] => S2N97 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N29 [1] => IFA [2] => S2N71 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N29 [1] => CES [2] => S2N72 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N29 [1] => CES 2023 [2] => S2N99 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N29 [1] => AI 갤러리 [2] => S2N100 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N29 [1] => AI & BIG DATA SHOW [2] => S2N105 [3] => [4] => N [5] => ) ) ) ) [9] => Array ( [data] => Array ( [0] => 스페셜 리포트 [1] => S1N30 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N30 [1] => 찬이의 IT교실 [2] => S2N74 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N30 [1] => 칼럼이 있는 AI 톡 [2] => S2N75 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N30 [1] => 일상으로 파고드는 AI기술 [2] => S2N76 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N30 [1] => AI와 클라우드 [2] => S2N77 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N30 [1] => 스포츠, AI를 만나다 [2] => S2N78 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N30 [1] => 춤추는 AI개발자 연봉 [2] => S2N79 [3] => [4] => N [5] => ) ) [6] => Array ( [data] => Array ( [0] => S1N30 [1] => 로봇이 온다 [2] => S2N80 [3] => [4] => N [5] => ) ) [7] => Array ( [data] => Array ( [0] => S1N30 [1] => 이미지와 비전 AI [2] => S2N81 [3] => [4] => N [5] => ) ) [8] => Array ( [data] => Array ( [0] => S1N30 [1] => 블록체인 쿼바디스? [2] => S2N82 [3] => [4] => N [5] => ) ) [9] => Array ( [data] => Array ( [0] => S1N30 [1] => 코로나와 AI [2] => S2N83 [3] => [4] => N [5] => ) ) [10] => Array ( [data] => Array ( [0] => S1N30 [1] => 광주의 AI교육 [2] => S2N84 [3] => [4] => N [5] => ) ) [11] => Array ( [data] => Array ( [0] => S1N30 [1] => AI 저널리즘을 부탁해 [2] => S2N85 [3] => [4] => N [5] => ) ) [12] => Array ( [data] => Array ( [0] => S1N30 [1] => 자율주행차 사고 어떻게 볼 것인가 [2] => S2N86 [3] => [4] => N [5] => ) ) [13] => Array ( [data] => Array ( [0] => S1N30 [1] => 김미정의 로빌리티 뿌뿌 [2] => S2N95 [3] => [4] => N [5] => ) ) ) ) [10] => Array ( [data] => Array ( [0] => Global [1] => S1N13 [2] => [3] => [4] => N [5] => ) ) [11] => Array ( [data] => Array ( [0] => Feature [1] => S1N35 [2] => [3] => [4] => N [5] => ) ) [12] => Array ( [data] => Array ( [0] => Future Energy [1] => S1N34 [2] => [3] => [4] => N [5] => ) ) [13] => Array ( [data] => Array ( [0] => 체험기 [1] => S1N33 [2] => [3] => [4] => N [5] => ) ) )