스태빌리티, '음향효과' 생성 AI 출시..."47초 샘플 생성"

스태빌리티 AI가 음향효과에 초점을 맞춘 새로운 오디오 생성 인공지능(AI) 모델을  출시했다. 이 모델은 오프 소스지만, 비상업적 연구 목적으로만 사용할 수 있다.

벤처비트는 5일(현지시간) 스태빌리티 AI가 오디오 생성 AI 모델 ‘스테이블 오디오 오픈 1.0(Stable Audio Open 1.0)’을 출시했다고 보도했다. 

이에 따르면 스테이블 오디오 오픈 1.0은 노래를 만드는 것이 아니라  텍스트 프롬프트를 사용해 음향 효과와 같은 최대 47초 길이의 짧은 오디오 클립을 생성한다.

완전한 노래, 멜로디 또는 보컬을 생성할 수는 없다. 음악 제작 및 사운드 디자인을 위한 드럼 비트, 악기 리프, 주변 소리 및 기타 오디오 샘플 등을 생성하는 데 최적화된 전문 모델이라는 설명이다. 

스태빌리티 AI는 이 모델이 프리사운드 및 프리 뮤직 아카이브 등의 로열티 없는 오디오 데이터로만 훈련했다고 밝혔다.

특히 스테이블 오디오 오픈을 사용하면 사용자는 자신의 맞춤형 오디오 데이터에 따라 모델을 미세조정할 수 있다. 예를 들어, 드러머는 자신이 녹음한 드럼 샘플의 모델을 미세 조정해 새롭고 독특한 비트를 생성할 수 있다.

미세조정된 모델은 오픈 소스 라이선스에 따라 라이선스가 부여되는 '스테이블 오디오 툴스(Stable Audio Tools)' 라이브러리에서 사용할 수 있다.

스테이블 오디오 오픈은 상업적으로 사용할 수 없으며 비상업적 연구 목적으로만 제공된다. 또 음악 스타일과 문화 또는 영어 이외의 언어로 된 설명에서는 잘 작동하지 않는다.

현재 스테이블 오디오 오픈1.0은 허깅페이스에서 다운받을 수 있다.

한편 스태빌리티 AI는 지난해 9월 최대 90초 길이의 음악을 생성하는 모델 ‘스테이블 오디오 1.0’을 출시했으며, 지난 4월에는 3분 길이의 음악과 음향효과를 생성하는 후속 모델 ‘스테이블 오디오 2.0’을 출시한 바 있다.

음악을 완전한 노래를 생성하거나 상업적으로 사용하기를 원하는 사용자는 프리미엄 스테이블 오디오 서비스를 선택할 수 있다.

스태빌리티 AI 외에도 음성 AI 선두 스타트업 일레븐랩스가 이번달 음향효과를 생성하는 ’사운드 이펙트(Sound Effects)’를 출시했으며, 지난해 8월에는 메타가 음악과 음향 효과를 생성하는 ‘오디오크래프트(AudioCraft)’를 출시했다. 국내에서는 가우디오랩의 '폴리'가 대표적이다.

박찬 기자 cpark@aitimes.com