깜짝 곡 추천·오픈소스 크리오·가라오케 싱어롱·데드 에어 제거 등
국내 스트리밍사 플로·멜론도 AI 맞춤형 플레이리스트 확대
사용자 데이터 확보에서는 세계 시장 1위 스포티파이가 유리
국내 상륙이 임박한 세계 1위 음악 스트리밍 플랫폼 스포티파이(Spotify)가 최근 AI 사업을 가속화하고 있다. 스포티파이를 정상으로 이끈 개인 맞춤형 플레이리스트를 개선하는 것은 물론, AI 오디오 연구를 위한 오픈소스 크리오(Klio), AI로 노래방 배경음악을 추출하는 싱어롱(Sing Along) 서비스를 최근 공개했다. 음악 간 볼륨 차이와 빈 공간을 줄이는 것과 같은 미세한 작업에도 AI를 도입했다.
스포티파이가 AI 오디오 연구 인프라 조성을 위해 오픈소스 크리오를 공개한 것은 이달 13일. 자사 대규모 오디오 인텔리전스에 크리오를 구축해 대량의 오디오 파일을 쉽게 가공할 수 있는 환경을 만들었다. 오디오 엔지니어와 연구자들이 차세대 오디오 알고리즘을 개발, 보급하도록 돕겠다는 의도다.
통합 프로그래밍 모델 아파치 빔(Apache Beam)을 기반으로 한 크리오로 기업 제작팀과 연구팀은 오디오 알고리즘 개발을 위한 툴과 인프라를 공유할 수 있다. 결과적으로 재사용가능한 작업물을 늘리고 결과물 공유를 촉진해 사용 기업은 관리, 재계산 비용을 줄이는 효과를 본다.
스포티파이는 작년 크리오 개발을 시작, 프로토타입을 금년 초 공개했다. 현재 스포티파이 개발자들은 크리오를 내부 업무를 구축한는 파이프라인을 연결하는데 사용, 전체 오디오 기능 API를 활용한다.
타이슨 싱어 스포티파이 기술 부책임자는 “크리오는 스포티파이가 AI 기반 연구를 촉진하기 위해 만들었다. 우리는 최근 AI 툴에서 한계와 어려움에 부딪히기 시작했으며 연구원들은 생산적으로 일할 수 없었다. 그들이 원하는 결과를 얻기까지 너무 오랜 시간이 걸렸다”고 크리오 구축 배경을 설명했다.
음향 연구자나 개발자 이외에 프로덕트 매니저나 일반인도 크리오를 사용할 수 있다는 주장이다. 싱어 부책임자는 “크리오가 통합되면 노래의 비트, 댄스 요소를 식별하는 것과 같은 매우 간단한 기능도 사용할 수 있다. 프로덕트 매니저부터 일반 대중까지 접근성을 늘릴 예정”이라고 밝혔다.
스포티파이가 세계 1위 스트리밍사가 되는데 기여한 AI 개인 맞춤 플레이리스트 기능도 계속해서 업그레이드하는 추세다. AI 개인 맞춤 플레이리스트는 인간 큐레이터 대신 AI가 사용자 각각에 맞는 플레이리스트를 추천하는 기능이다. 스포티파이를 선두로 현재 대부분의 국내외 음원 스트리망사에서 해당 기능을 사용하고 있다.
스포티파이는 이달 개인 맞춤 플레이리스트에 예상치 못한 음악을 소개하는 서프라이즈 기능을 추가했다. AI가 유저 사용 내역을 분석한 내용을 토대로 비슷한 음악을 제시하는 기존 방식과는 반대로 듣지 않았을 것 같은 곡을 제시한다.
토니 제바라(Jebara) 스포티파이 머신러닝 담당자는 10월 2일 포춘과의 인터뷰에서 "AI가 뉘앙스를 읽어야 하는 작업을 돕는 동시에 개인 플레이리스트에 예상치못한 서프라이즈 음악을 소개한다. 유저가 일주일 내내 듣는 음악일지라도 너무 비슷한 곡을 자주 추천하면 지루할 수 있다“고 말했다.
그는 “소비자에게 어제 무엇을 들었는지 알려주는 방식으로 음악을 재생하도록 유도하는 것은 이제 아주 쉬운 방식이 됐다. 개인의 우선적인 리스닝 데이터에 기반해 간간이 서프라이즈 이벤트를 선사하면 플레이리스트가 정체되는 것을 막을 수 있을 것”이라고 강조했다.
스포티파이는 AI 기반 개인 맞춤형 플레이리스트 영역을 계속해서 확장하는 동시에 인간 큐레이팅 서비스 필요성도 인정, 완전히 제거하지는 않았다. 작년 3월 스포티파이는 플레이리스트 프로그래밍에 AI 개인 맞춤형 기능을 확대 사용하겠다고 공식 블로그에 밝혔다.
비스트 모드, 히트 음악, 댄스 파티, 메탈 발라드와 같이 장르, 히트송, 드라이브 음악 등 오래된 느낌이 드는 플레이리스트를 AI 개인 맞춤형으로 전환했다. 과거에 스포티파이는 사용자가 좋아하는 노래와 유사한 곡들을 선곡한 유어 데일리 믹스(Your Daily Mix), 사용자가 좋아할만한 신곡을 추천하는 유어 릴리즈 레이더(Your Release Radars), 기존 곡 중 좋아할만한 노래를 추천해주는 유어 디스커버리 위클리(Your Discovery Weekly)에서만 AI 음악 프로그래머를 사용했다.
스포티파이에 따르면 이 시스템 도입 후 사용자들이 더 오랫동안 음악을 듣게 됐다. 스포티파이는 “청취자가 개인 맞춤 플레이리스트에서 곡을 발견한 후, 스스로 곡을 찾아 다시 들은 사례가 80% 증가했다. 해당 곡을 저장하는 수도 66% 올랐다”고 말했다.
다른 시대에 제작한 음악 재생 시 사운드 볼륨과 같은 음원 간 볼륨 차이와 간격을 조정하는 일에도 AI를 이달 2일 도입했다. 음악 스트리밍에 내재된 보다 정교한 문제를 해결하는데 AI가 나서게 된 것이다.
해당 기능은 다양한 시대별 음악을 재생하는 라디오나 사용자에게 특히 유용할 것으로 보인다. 예를 들어 1970년대에 녹음된 노래는 보통 현대 음악보다 소리가 작다. 예를 들어 70년대 락음악을 볼륨을 올려 듣다가 BTS 노래를 자동 재생하게 되면 지나치게 큰 소리에 놀라며 황급히 볼륨을 줄이게 된다.
크리스 윌리엄스 아이하트미디어(iHeartMedia) 제품부장은 포춘지와의 인터뷰에서 “라디오에서 데드에어 문제는 가장 큰 죄로 꼽힌다. 뉴럴 네트워크 발전으로 복잡한 소프트웨어가 방대한 양의 데이터를 분석해 패턴을 배울 수 있기 되면서 더욱 정교한 오디오 기술을 실현할 수 있게 됐다. 사운드 데이터에 기술을 훈련시킨 결과 날아가는 사운드를 정확하게 조정할 수 있게 됐다”고 설명했다.
AI로 노래방 배경음을 추출하는 싱어롱(Sing Along) 기능도 출시했다. 스포티파이는 작년 12월 일본에서 AI로 보컬을 악기음에서 분리하는 것을 몇 분 안에 수행하는 AI 가라오케 싱어롱을 런칭했다.
◆플로·멜론 등 국내 스트리밍사도 AI 사용 확대 계획
스포티파이가 최초 도입한 AI 맞춤형 플레이리스트 기능은 국내 스트리밍 음원사에서도 보편적으로 사용하고 있다. 특히 SK텔레콤 음악 스트리밍 서비스 ‘플로’는 AI 큐레이팅 기능을 전면에 앞세워 후발주자임에도 국내 스트리밍 시장 3위를 단숨에 차지했다.
플로는 2018년 12월 AI 서비스를 도입해 실시간 인기 차트를 메인 화면에서 빼고 AI 기반 맞춤형 콘텐츠로 채웠다. 첫 화면에 전체 인기 차트를 배치하는 기존 음원 플랫폼과는 차별화된 선택이다. 그 결과, 플로는 2019년 8월 국내 음원 스트리망 시장 20.8%, 2020년 2월 17.7%를 점유해 3위에 올랐다.
플로 음악 추천 서비스는 이용자 취향 내역과 콘텐츠 기반 필터링을 함께 사용하는 하이브리드 방식이다. 콘텐츠 기반 필터링은 음원 고유정보인 아티스트, 장르, 곡 분위기, 템포 등을 추출해 사용자 취향에 맞춰 추천한다. 이용자 취향을 바탕으로 하는 내 취향 믹스는 음악 재생이력, 선호도로 재생순서를 새롭게 정렬한다.
불법 스트리밍을 통한 음원 인기 차트 왜곡 행위를 가려내는 일에도 AI 기능을 활용했다. 금년 3월 플로는 24시간 누적 기준 차트에 AI와 머신러닝(ML) 기술을 적용한 새로운 플로 차트를 공개했다. 이 차트는 AI가 사용자 청취 시간, 앨범, 아티스트 다양성 등을 데이터화해 비정상적인 청취 패턴을 보이는 사용자를 가려내는 기능을 탑재했다. 매크로와 같은 프로그램으로 특정 뮤지션의 곡 재생수를 폭발적으로 늘리는 불법 스트리밍을 감지하는 것이다.
이외에 플로는 SK텔레콤 AIX센터와 협업해 딥러닝을 적용한 예측·추천 기술 개발에 집중할 계획이다.
멜론은 한 곡에 최대 1200개의 태그를 추가해 고객 상황에 맞는 음악을 틀어준다. 버스커버스커의 벚꽃엔딩 노래에 기본적인 곡 정보 이외에 ‘봄’이나 ‘설렘’과 같은 태그를 추가하는 식이다. 사용자가 봄에 어울리는 노래를 찾으면 관련 태그가 붙은 음악을 찾아준다. 이용자가 음악을 듣는 시간이나 장소, 날씨 등을 파악해 현재 분위기와 어울리는 음악을 틀어주는 기능도 있다.
멜론은 카카오 통합 AI 플랫폼 Kakao i 기술을 결합해 음악비서기능을 수행하는 멜론 스마트i를 출시하기도 했다. 원하는 노래가 떠오르지 않거나 분위기에 맞는 배경음악이 필요할 때, 손이 자유롭지 않은 상황에서 유용하다.
곧 국내 진입이 예상되는 스포티파이의 특장점은 세계 1위 음악 스트리밍사로서 약 3억명 가입자와 그에 따른 사용자 데이터를 확보했다는 점이다. 2006년 스웨덴에서 출범한 스포티파이는 현재 약 100개국에서 쓰는 1위 플랫폼이다. 아시아에서는 일본, 인도, 홍콩 등에서 정식 서비스되고 있다.
스포티파이는 금년 1월 국내 법인 설립 후 현재 음원 저작권료에 대한 협상 과정에 있다. 최근 저작권 신탁관리단체들과 저작권 계약 막바지 협의를 진행하고 있는 것으로 알려졌다. 스포티파이 한국 지사 스포티파이코리아는 9월 1일 회사 자본금을 9억원에서 58억원으로 증자했고 국내·외 사내이사 2명, 감사 1명을 신규 선임했다. 대표이사로는 금년 1월 피터 그란델리우스 본사 법무총괄이 임명됐다.
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com