Tora: Trajectory-oriented Diffusion Transformer for Video Generation

Recent advancements in Diffusion Transformer (DiT) have demonstrated remarkable proficiency in producing high-quality video content. Nonetheless, the potential of transformer-based diffusion models for effectively generating videos with controllable motion remains an area of limited exploration. This paper introduces Tora, the first trajectory-oriented DiT framework that concurrently integrates textual, visual, and trajectory conditions, thereby enabling scalable video generation with effective motion guidance. Specifically, Tora consists of a Trajectory Extractor (TE), a Spatial-Temporal DiT, and a Motion-guidance Fuser (MGF). The TE encodes arbitrary trajectories into hierarchical spacetime motion patches with a 3D motion compression network. The MGF integrates the motion patches into the DiT blocks to generate consistent videos that accurately follow designated trajectories. Our design aligns seamlessly with DiT’s scalability, allowing precise control of video content’s dynamics with diverse durations, aspect ratios, and resolutions. Extensive experiments demonstrate that Tora excels in achieving high motion fidelity compared to the foundational DiT model, while also accurately simulating the complex movements of the physical world. Code is made available at https://github.com/alibaba/Tora.

한 줄 요약

Tora는 텍스트, 이미지, 트래젝토리 조건을 통합한 최초의 트래젝토리 지향형 DiT 모델로, 720p 204프레임까지 생성 가능하며, 물리적 움직임을 정확히 시뮬레이션한다.

핵심 기여도

최초의 트래젝토리 지향형 Diffusion Transformer (Tora)를 제안, 텍스트, 이미지, 트래젝토리 조건을 동시에 통합.
Trajectory Extractor (TE)와 Motion-guidance Fuser (MGF) 모듈을 도입, DiT 블록에 운동 패치를 통합.
720p 204프레임까지 생성 가능하며, 128프레임 기준 FVD 30-40% 개선, Trajectory Error 14.25로 감소.
3D Variational Autoencoder (VAE)를 사용한 트래젝토리 압축 방식을 제안, 기존 방법 대비 정확도 향상.

핵심 아이디어

Tora는 UNet 기반 모델의 제한된 프레임 수와 해상도 문제를 해결하기 위해, Diffusion Transformer (DiT)의 확장성을 활용한 트래젝토리 지향형 비디오 생성 모델이다. 기존 연구는 주로 UNet 기반으로 짧은 비디오(16~64프레임)만 생성했으며, 긴 시간 동안 일관된 운동 제어가 어려웠다. Tora는 Trajectory Extractor (TE)를 통해 임의의 트래젝토리를 3D VAE를 사용한 계층적 스페이스-타임 운동 패치로 변환하고, Motion-guidance Fuser (MGF)를 통해 DiT 블록에 이 정보를 통합함으로써, 물리적 움직임을 정확히 반영한 비디오를 생성한다. 특히, MGF는 adaptive layer normalization을 사용해 다중 운동 조건을 DiT 블록에 효과적으로 주입하며, 이는 UNet 기반 모델보다 긴 비디오에서도 일관성 있는 움직임을 보장한다.

기술적 접근법

**Trajectory Extractor (TE)**: 임의의 트래젝토리를 RGB 도메인으로 변환한 후, Gaussian 필터링과 3D VAE를 사용해 스페이스-타임 운동 레이턴트로 압축.
**Motion-guidance Fuser (MGF)**: adaptive layer normalization, cross-attention, channel concatenation 중 adaptive layer normalization이 가장 효과적임을 실험적으로 검증.
**Training Strategy**: 두 단계 학습 전략을 사용. 첫 번째 단계는 optical flow 추정기로 트래젝토리 추출, 두 번째 단계는 sparse trajectory 기반 학습.
**Scaling**: Tora-CogVideoX2B (2.5B 파라미터), Tora-CogVideoX5B (6.3B 파라미터) 모델로 확장 가능, DiT의 확장성과 호환.

주요 결과

**128프레임 기준**: Tora는 FVD에서 30-40% 개선, Trajectory Error는 14.25로 감소.
**UNet 기반 모델 대비**: 3~5배 높은 트래젝토리 정확도, 긴 비디오에서도 일관성 유지.
**OpenSora 대비**: TrajError 23.39 → 14.25 감소, 시각적 품질 5% 향상.
**최대 생성 사양**: 720p 204프레임, 다양한 종횡비 및 해상도 지원.

의의 및 한계

Tora는 DiT의 확장성을 활용해 UNet 기반 모델의 제한적인 운동 제어 문제를 해결하며, 물리적 움직임을 정확히 반영한 비디오 생성을 가능하게 한다. 특히, adaptive layer normalization 기반의 MGF는 DiT 블록에 운동 조건을 효과적으로 주입하는 데 기여하며, 이는 기존 연구에서 볼 수 없었던 접근법이다. 그러나, Tora는 여전히 트래젝토리 추정 오류나 긴 시간 동안의 움직임 일관성 유지에 한계가 있을 수 있다. 또한, 트래젝토리 데이터셋의 질과 양이 모델 성능에 큰 영향을 미치므로, 향후 더 다양한 운동 패턴을 학습할 수 있는 데이터 확보가 필요하다.

실용적 활용

Tora는 영화 제작, 게임 콘텐츠 제작, AR/VR 등에서 정밀한 움직임 제어가 필요한 비디오 생성에 활용 가능하다. 특히, 720p 204프레임까지 생성 가능한 확장성과 물리적 움직임을 정확히 반영하는 능력은 장면 전환, 캐릭터 애니메이션 등에 유용하다. 또한, 다양한 종횡비와 해상도 지원으로 맞춤형 콘텐츠 제작에도 적합하다.