CausalAlign: Causal Alignment of Video Generation Models for Consistent Ego-Motion

Diffusion-based video generation models (VGMs) can produce visually plausible videos, yet their camera ego-motion often drifts over long horizons. Camera ego-motion determines how the viewpoint changes between frames and is essential for maintaining consistent geometry and trajectories. To address this problem, we propose CausalAlign, a causal alignment framework with two components. First, we diagnose how precise ego motion is represented, used, and retained within VGMs using linear probes and causal interventions, revealing a rise-and-fall pattern during denoising. Second, we strengthen ego-motion state in VGM by aligning the representations at the identified layers to a 3D foundation model through delta-token space. This space encodes the changes between consecutive frames, allowing the alignment to focus on ego-motion dynamics rather than static scene content. With Wan2.2 fine-tuned on DL3DV and RealEstate10K, CausalAlign can largely improve motion accuracy, geometric consistency, and temporal smoothness, while preserving visual quality. For example, it improves geometric consistency by more than 20% relative to the base model. Moreover, with the fine-tuned VGM, CausalAlign improves the success rate of world action models (WAMs) by 10 points on mobile manipulation tasks of RoboCasa365 benchmark. Overall, CausalAlign improves ego-motion consistency in diffusion-based VGMs and yields noticeable gains in embodied models.

한 줄 요약

CausalAlign은 VAE 기반 VGM에서 카메라 자율 운동의 일관성을 향상시키기 위해 인과 진단과 델타 토큰 정렬을 결합한 프레임워크로, DL3DV와 RealEstate10K에서 20% 이상의 기하 일관성 향상을 달성한다.

핵심 기여도

VAE 기반 VGM에서 "기하 상태 잊음(Geometric State Forgetting)" 패턴을 발견: 자율 운동 정보는 중간 단계에서 증가하지만, 후반 단계에서 감소함.
CausalAlign: 인과 진단과 델타 토큰 정렬을 통해 VGM 내 자율 운동 상태를 강화.
DL3DV와 RealEstate10K에서 기하 일관성 20% 이상 향상, 재투영 오류 22.6% 감소, RoboCasa365에서 WAM 성공률 10.7%p 증가.
VAE 기반 VGM에서 기존 외부 3D 캐시, 선호 정렬, 직접 특징 정렬 방법 대비 7개 지표 중 6개에서 최고 성능.

핵심 아이디어

CausalAlign은 VAE 기반 VGM에서 자율 운동 정보가 생성 과정에서 점차 잊혀지는 문제를 해결하기 위해 두 가지 핵심 아이디어를 제시한다. 첫째, **인과 진단**을 통해 VGM 내 자율 운동 정보가 생성되는 레이어와 타임스텝을 정량적으로 파악한다. 이는 **선형 프로빙(Linear Probing)**과 **인과 개입(Causal Intervention)**을 통해 수행되며, 자율 운동 정보가 중간 단계에서 증가하다가 후반에 감소하는 "rise-and-fall" 패턴을 밝혀낸다. 둘째, **델타 토큰 정렬(Delta-Token Alignment)**을 통해 해당 레이어에서 자율 운동 정보를 강화한다. 델타 토큰은 두 연속 프레임 간의 변화를 인코딩하여 정적 씬 정보를 제거하고, **3D Foundation Model**의 기하 정보를 기반으로 정렬한다. 이는 VGM 내 자율 운동 상태를 유지하면서 시각 품질을 저하시키지 않는 것이 핵심이다.

기술적 접근법

**인과 진단**: 선형 프로빙과 인과 개입을 사용하여 VGM 내 자율 운동 정보가 생성되는 레이어와 타임스텝을 파악.
**델타 토큰 정렬**:

1. **델타 토큰 학습**: 3D Foundation Model에서 기하 정보를 기반으로 델타 토큰을 학습.
2. **프로젝터 학습**: VGM의 특징을 델타 토큰 공간으로 매핑하는 프로젝터를 학습.
3. **LoRA 업데이트**: 인과 진단에서 식별된 레이어와 타임스텝에서 LoRA를 사용해 델타 토큰과 정렬.

**데이터셋**: DL3DV와 RealEstate10K에서 학습.
**하이퍼파라미터**: 90% 데이터를 학습, 10% 평가. 델타 토큰 학습은 30%, 프로젝터 학습은 10%의 데이터를 사용.

주요 결과

**기하 일관성**: CausalAlign은 기하 일관성 지표에서 기존 모델 대비 **20% 이상 향상**.
**재투영 오류**: 8.4 픽셀 → **6.5 픽셀 (22.6% 감소)**.
**트래젝토리 매끄러움**: 0.71 → **0.88 (23.9% 향상)**.
**WAM 성공률**: RoboCasa365에서 **43.5% → 54.2% (10.7%p 증가)**.
**7개 지표 중 6개에서 최고 성능**: 재투영 오류, 트래젝토리 매끄러움, 제브(Jerk), 이동/회전 속도 유사도, 에피폴라 오류 등.

의의 및 한계

CausalAlign은 VAE 기반 VGM에서 자율 운동 일관성을 향상시키는 새로운 접근법으로, 기존 외부 3D 캐시나 선호 정렬 방법을 사용하지 않고도 **델타 토큰 정렬**을 통해 내재된 자율 운동 정보를 강화하는 것이 학술적으로 의미가 있다. 특히, **LoRA 기반의 가벼운 파인튜닝**을 통해 기존 VGM의 구조를 유지하면서도 성능을 향상시킨 점이 실용적 가치를 높인다. 그러나 한계로는 **델타 토큰 정렬이 특정 3D Foundation Model에 의존**하며, 다른 데이터셋이나 모델에 일반화될 수 있는지에 대한 추가 연구가 필요하다. 또한, **델타 토큰의 차원이 낮아 복잡한 운동을 포착하는 데 한계가 있을 수 있음**이 지적된다.

실용적 활용

CausalAlign은 로봇의 **이미 몸화된 작업**(Embodied Tasks)에서 세계 행동 모델(WAM)의 성능을 향상시키는 데 활용 가능하다. 예를 들어, **RoboCasa365 벤치마크**에서 10.7%p 성공률 증가를 기록한 바 있어, **자율 이동 로봇**이나 **실내 탐색 시스템**에 적용할 수 있다. 또한, **VR/AR 콘텐츠 생성**이나 **시뮬레이션 환경**에서 시각적으로 매력적이면서도 기하학적으로 일관된 영상 생성에 유용할 수 있다.