Motion Prompting: Controlling Video Generation with Motion Trajectories

Motion control is crucial for generating expressive and compelling video content; however, most existing video generation models rely mainly on text prompts for control, which struggle to capture the nuances of dynamic actions and temporal compositions. To this end, we train a video generation model conditioned on spatiotemporally sparse or dense motion trajectories. In contrast to prior motion conditioning work, this flexible representation can encode any number of trajectories, object-specific or global scene motion, and temporally sparse motion; due to its flexibility we refer to this conditioning as motion prompts. While users may directly specify sparse trajectories, we also show how to translate high-level user requests into detailed, semi-dense motion prompts, a process we term motion prompt expansion. We demonstrate the versatility of our approach through various applications, including camera and object motion control, "interacting" with an image, motion transfer, and image editing. Our results showcase emergent behaviors, such as realistic physics, suggesting the potential of motion prompts for probing video models and interacting with future generative world models. Finally, we evaluate quantitatively, conduct a human study, and demonstrate strong performance.

한 줄 요약

Motion Prompting은 영상 생성에 있어 텍스트 대신 운동 궤적을 조건으로 사용하여 다양한 동작 제어를 가능하게 하는 새로운 프레임워크이다.

핵심 기여도

**Motion Prompt**: 시공간적으로 희소하거나 밀집된 운동 궤적을 조건으로 사용하는 유연한 표현 방식을 제안.
**Motion Prompt Expansion**: 사용자의 고수준 요청을 상세한 반-밀집 운동 궤적으로 변환하는 프로세스를 도입.
**ControlNet 기반 모델**: 사전 학습된 Lumiere 비디오 디퓨전 모델 위에 ControlNet을 구축하여 운동 궤적 조건을 처리.
**다양한 응용**: 카메라/객체 운동 제어, 이미지와의 상호작용, 모션 전이, 이미지 편집 등에 성공적으로 적용.

핵심 아이디어

기존 영상 생성 모델은 텍스트 프롬프트에 의존하지만, 동작의 세부 사항을 효과적으로 전달하기 어렵다. 예를 들어, "곰이 빠르게 머리를 돌린다"는 프롬프트는 "빠르게"의 정의나 정확한 궤적을 명확히 전달하지 못한다. 이에 따라, 연구팀은 운동 자체를 조건으로 사용하는 Motion Prompt를 제안한다. 이는 **시공간적으로 희소하거나 밀집된 운동 궤적**(point tracks)을 표현하는 방식으로, 객체별, 전역적, 시간적으로 희소한 운동 모두를 포괄할 수 있다.

또한, 사용자가 직접 상세한 운동 궤적을 지정하기 어렵다는 문제를 해결하기 위해, **Motion Prompt Expansion**를 도입한다. 이는 사용자의 고수준 요청(예: "카메라를 xz 평면에서 이동하라")을 컴퓨터 비전 신호를 통해 반-밀집 운동 궤적으로 변환하는 과정이다. 이는 텍스트 생성에서의 프롬프트 확장(prompt expansion)과 유사한 개념이다.

기술적 접근법

**모델 아키텍처**: 사전 학습된 Lumiere 비디오 디퓨전 모델 위에 **ControlNet**을 구축.
**운동 궤적 인코딩**: 각 운동 궤적(𝐩[n, :])에 고유한 임베딩 벡터 ϕⁿ ∈ ℝ^C를 할당하고, 시공간 볼륨(𝐜 ∈ ℝ^T×H×W×C)에 배치.
**가시성 처리**: 각 시간 단계 t에서 궤적이 가시적일 경우에만 임베딩을 배치하며, 가시성 벡터 𝐯[n, t]를 곱하여 비가시 영역은 0으로 설정.
**중복 처리**: 동일한 시공간 위치를 여러 궤적이 지나치면 임베딩을 합산.
**임베딩 생성**: ϕⁿ은 고정된 풀에서 무작위로 추출되며, 각 궤적의 고유 식별자 역할을 함.

주요 결과

**Motion Prompt**: 다양한 운동 제어를 가능하게 하며, 사용자 입력과 모델 출력 간의 일관성을 높임.
**Motion Prompt Expansion**: 사용자의 간단한 요청을 반-밀집 운동 궤적으로 변환하여 세부 운동을 정의.
**응용 성공**: 카메라/객체 운동 제어, 이미지 편집, 모션 전이 등에서 뛰어난 성능.
**정성적 평가**: 생성된 영상에서 **현실적인 물리적 행동**(예: 머리카락 움직임, 모래 이동)이 나타나며, 모델이 물리적 세계 지식을 학습했음을 시사.
**정량적 평가**: 기존 기반 모델 대비 높은 성능을 보이며, 인간 평가에서도 우수함을 입증.

의의 및 한계

**학술적 의의**: 운동을 조건으로 사용하는 새로운 프레임워크를 제시하며, 영상 생성 모델의 표현력과 제어력을 확장.
**실용적 가치**: 사용자와 생성 모델 간의 상호작용을 가능하게 하며, 향후 생성 세계 모델과의 연계 가능성 제시.
**한계**: 현재는 실시간 또는 인과적 처리가 어려움. 사용자가 직접 운동 궤적을 지정하는 것은 여전히 복잡하며, 자동화된 확장 기법의 개선이 필요.

실용적 활용

**영상 제작 산업**: 카메라 움직임, 객체 제어, 모션 전이 등에서 사용자가 세부 운동을 정의할 수 있어 전문 영상 제작에 활용 가능.
**디지털 콘텐츠 제작**: 이미지 편집, 3D 장면 생성 등에서 사용자와 모델 간의 상호작용을 향상시킬 수 있음.
**AI 연구**: 생성 모델이 학습한 물리적 세계 지식을 탐색하고, 향후 생성 세계 모델과의 연계를 위한 기초 연구에 활용 가능.