텍스트에서 지정한 스타일로 기존 비디오를 새로운 비디오로 변환
미국 스타트업 런웨이가 텍스트 프롬프트에서 지정한 스타일을 적용해 기존 비디오를 새로운 비디오로 변환하는 인공지능(AI) 모델 ‘젠-1(Gen-1)’을 출시했다고 MIT 테크놀로지 리뷰가 6일(현지시간) 전했다.
'젠-1'은 거리에 있는 사람들을 클레이메이션(점토 애니메이션)으로 바꾸거나 탁자 위에 놓인 책을 밤의 도시 풍경으로 바꾸어 주는 등의 기능을 한다. '스테이블 디퓨전'과 같은 이미지 생성 AI가 텍스트 프롬프트에 스타일을 지정해 이미지를 생성하는 것과 같은 맥락이다.
지난해 말 등장한 메타의 ‘메이커비디오’와 구글 ‘페나키’가 텍스트 프롬프트로 설명하는 내용을 묘사하는 짧은 비디오 클립을 생성해주는 AI 모델이라면, '젠-1'은 기존 비디오를 텍스트 프롬프트에서 지정하는 스타일의 비디오로 변환해 주는 점이 다르다. 기존 영상을 변환하기 때문에 훨씬 더 길고 품질이 좋은 비디오 제작이 가능하다.
런웨이 비디오 생성 AI ‘젠-1’ (영상=런웨이)
젠-1은 스타일 모드에서 비디오의 스타일이나 모양을 텍스트 설명으로 변경할 수 있다. 스토리보드 모드에서는 간단하고 움직이는 스케치를 완성된 애니메이션으로 바꿀 수 있다.
마스크 모드에서는 텍스트로 개체를 선택해 변경할 수 있다. 렌더모드는 조잡한 3D 모델을 사용하고 텍스처를 추가해 렌더링된 개체를 만들 수 있다. 마지막으로 사용자 지정 모드에서는 젠-1의 모든 기능을 사용해 사용자의 필요에 맞게 조정할 수도 있다.
크리스토발 발렌수엘라 런웨이 CEO는 "비디오 제작자 커뮤니티와 긴밀하게 협력해 개발한 첫 모델 가운데 하나"라며 "영화 제작자와 영상특수효과(VFX) 편집자가 실제로 포스트 프로덕션에서 작업하는 방법에 대한 수년간의 통찰력을 제공한다"고 말했다.
젠-1은 현재 런웨이 웹사이트에서 제한된 소수만 사용할 수 있고, 조만간 대기자 명단에 있는 사람을 대상으로 출시될 예정이다.
박찬 위원 cpark@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com