1년 전 할리우드 스튜디오와 정식 파트너십을 맺은 런웨이가 실제 영화를 만드는 데 아직 어려움을 겪는 것으로 알려졌다. 영화 몇만편을 인공지능(AI) 모델이 학습한다고, 원하는 퀄리티를 내는 것이 매우 어렵다는 이유다.
미국의 영화 전문 매체 더 랩은 최근 런웨이와 라이온스게이트의 파트너십이 난관에 부딪혔으며, 영화 제작에 AI를 활용하는 것이 생각보다 어렵다는 사실이 드러났다고 보도했다.
이에 따르면, 두 회사의 파트너십은 지난 1년 동안 다양한 문제에 부딪혔다. 런웨이의 모델만을 사용하면서 발생하는 역량 제한부터 라이온스게이트가 제공하는 라이브러리의 한계, 배우들의 잠재적인 권리 등이 포함됐다.
마이클 번스 라이온스게이트 부회장은 1년 전 파트너십 발표에서 "런웨이는 비전을 갖춘 동급 최고의 파트너로서, AI를 활용하여 최첨단 자본 효율적인 콘텐츠 제작 기회를 개발하는 데 도움을 줄 것"이라고 말했다.
이는 AI 스타트업이 메이저 영화사와 체결한 첫 파트너십으로 크게 주목받았으며, 런웨이는 이 회사의 영화로 미세조정한 독점 모델을 제공해 예고편이나 영화 한 장면까지 만들어낼 수 있다고 주장했다.
또, 번스 부회장은 지난달에는 벌처와의 인터뷰에서 AI를 활용해 영화 '존 윅'을 PG-13 등급 애니메이션으로 리메이크할 수 있다고 자랑했다.
그러나 정통한 관계자들에 따르면, 제한된 영화를 학습한 런웨이 모델 하나만으로는 전체 애니메이션을 제작하는 대형 프로젝트를 수행하기에 충분하지 않다는 것이 현실이다. 런웨이 모델에 문제가 있었던 것은 아니지만, 데이터셋 자체가 너무 작다는 것이다. 라이온스게이트의 라이브러리에는 2만편 이상의 영화와 TV 프로그램이 저장돼 있다.
한 관계자는 "라이온스게이트 카탈로그는 모델을 만들기에 너무 작다"라며 "사실, 디즈니의 영화 전체를 학습해도 모델을 만들기에는 너무 작다"라고 말했다.
또 다른 AI 전문가는 단일 스튜디오의 라이브러리를 기반으로 구축된 맞춤형 모델은 프로젝트의 일정과 비용을 단축하는 데 있어 실질적인 한계가 있을 것이라고 말했다.
"제작에 필요한 수천가지의 잠재적 결과물과 버전, 장면, 방식에 생성 AI 모델을 사용하려면 맥락을 이해하고 주어진 샷의 올바른 프레임, 인체 근육, 물리 법칙, 조명 및 기타 요소를 렌더링할 수 있도록 최대한 많은 데이터가 필요하다"라고 설명했다.
하지만 라이온스게이트와 런웨이의 모델보다 훨씬 더 많은 양의 동영상으로 훈련한 모델조차도 영화 생성은 어려운 것이 현실이다. 구글의 모델 '비오 3'는 20년간 유튜브에 저장된 모든 자료를 데이터셋으로 활용했다. 이는 라이온스게이트의 라이브러리와 비교가 안 될 정도로 방대한 양이다.
"방대한 데이터셋에도 불구하고, 비오 3조차 립싱크나 근육 구조와 같은 인간의 물리적 움직임을 일관되게 표현하는 데는 어려움을 겪고 있다"라고 지적했다.
또 AI 모델은 고유한 강점과 약점을 가지고 있기 때문에 단일 모델만으로는 영화 제작자의 요구를 충족하기에 충분하지 않다고 지적했다. 어떤 모델은 사실적인 표정을 잘 표현할 수 있고, 어떤 모델은 시각 효과나 설득력 있는 군중을 만들어내는 데 능숙할 수 있다는 것이다.
조나단 융거 아르카나 랩스 CEO는 "완벽한 전문 워크플로우를 구축하려면 하나의 모델만으로는 부족하다. 아니, 생태계가 필요하다"라고 말했다. 그는 최초의 AI 생성 단편 영화를 제작하고 루마나 클링, 런웨이 등의 도구를 제공하는 플랫폼을 구축했다.
법적인 문제도 복잡한 것으로 알려졌다. 지적재산권 전문 변호사인 레이 세일리는 "영화나 TV 업계에서는 작품마다 매우 다양한 권리 보유자가 있다"라며 "이제는 AI 기술 등장으로 권리 행사가 매우 까다로워졌다"라고 말했다.
라이온스게이트가 보유한 권리가 AI 학습에 대한 권리를 포괄적으로 가졌는지, 또 영화 속 특정 장면을 대체하는 것에 대해 배우나 작가, 감독과 추가 합의가 필요한지에 대한 부분이다. 이 문제로 앞으로 소송이 많이 벌어질 것으로 예상했다.
라이온스게이트는 "계획대로 여러 분야에서 AI 이니셔티브를 계속 추진하고 있으며, 런웨이와의 계약이 독점적인 것은 아니다"라고 밝혔다.
임대준 기자 ydj@aitimes.com
