Making MLLM Latents Matter: Factor-Aware Predictive Learning for Cinematic Video Generation

Cinematic video generation requires both temporal inference from limited inputs (i.e., sparse rather than frame-by-frame guidance) and factor-aware control of character, scene, action, and camera. Multimodal large language models (MLLMs) offer useful priors for both capabilities, but their representations are not automatically actionable for video generation: a Video Diffusion Transformer (DiT) may bypass them through native conditioning pathways, and using them does not ensure either factor-aware control or generation-compatible temporal prediction. We propose Factor-Aware Predictive Learning (FAPL), which establishes effective MLLM latent use as a shared prerequisite and then targets the two capabilities with complementary learning signals. First, latent-only generator grounding trains the DiT with a frozen MLLM and connector, strengthening the DiT's use of MLLM latents for generation. Second, for factor-aware control, paired videos specify a target-factor change and non-target preservation, and factor-span replacement trains the DiT to realize this relationship in its output. Third, for temporal inference, text-only and text-plus-complete-video observations share a video target, and the trained DiT is then frozen while the MLLM and connector are optimized through it. This final stage trains limited-input representations for generation while retaining complete-observation reconstruction as a complementary training mode. Extensive experiments demonstrate our consistently better performance on three cinematic video generation tasks (i.e., sparse-to-video, factor-aware editing, and multi-shot generation) over baselines and validate FAPL's contributions to MLLM feature use, temporal control, and factor coordination.

한 줄 요약

FAPL은 MLLM 잠재변수를 활용해 희소 입력에서의 영화적 영상 생성과 요인 제어를 강화하는 3단계 학습 프레임워크이다.

핵심 기여도

MLLM 잠재변수를 생성에 효과적으로 활용하는 3단계 학습 프레임워크 FAPL 제안
Factor-span replacement를 통해 요인별 편집과 보존을 구조화된 학습 신호로 전환
Shared-target predictive learning을 통해 희소 입력 예측과 전체 관찰 재구성을 결합
UniVideo(13B)에서 Motion Order 61%, Translation Error 0.0586, Rotation Error 1.02 rad 달성

핵심 아이디어

기존 영상 생성 모델은 텍스트 인코더나 VAE 기반의 조건부 정보만 활용해 MLLM 잠재변수를 효과적으로 사용하지 못한다. 이에 FAPL은 MLLM 잠재변수를 생성 과정에 직접 연결하고, 이를 통해 시간적 추론과 요인 제어를 동시에 달성하는 새로운 학습 전략을 제안한다. 핵심 아이디어는 다음과 같다: 첫째, MLLM과 연결자(connector)를 고정하고 DiT만 학습시켜 잠재변수 활용 능력을 강화한다. 둘째, 요인별 편집을 위해 factor-span replacement를 사용해 특정 잠재변수 범위를 교체하고, 이에 따른 영상 변화를 학습한다. 셋째, 희소 입력에서의 예측 능력을 향상시키기 위해 텍스트-전체영상 관찰을 공유하는 shared-target 학습을 도입한다. 이는 MLLM이 생성에 적합한 잠재변수를 학습하도록 유도한다.

기술적 접근법

**MLLM-Only Generator Grounding (Stage I)**: MLLM과 connector를 고정하고 DiT만 학습. 텍스트-전체영상 관찰 모두에서 MLLM 잠재변수만 조건으로 사용.
**Factor-Aware Control Improvement (Stage II)**: factor-span replacement를 통해 특정 잠재변수 범위 교체 후, DiT가 해당 변화를 반영하도록 학습.
**Prediction From Limited Inputs (Stage III)**: DiT를 고정하고 MLLM과 connector를 텍스트-전체영상 관찰을 공유하는 방식으로 학습.
**모델 구성**: Video Diffusion Transformer(DiT), MLLM, connector.
**학습 데이터**: 페어드 비디오 데이터 사용 (특정 요인 변경 + 나머지 요인 보존).
**하이퍼파라미터**: UniVideo(13B) 데이터셋 기반 실험.

주요 결과

**UniVideo(13B)** 데이터셋에서 Motion Order는 57% → 61% 향상.
**Translation Error**: 0.0629 → 0.0586 감소.
**Rotation Error**: 1.26 → 1.02 rad 감소.
**Factor-aware editing 정확도**: 48% → 57% 향상 (factor swapping 사용 시).
**Stage III에서 텍스트-전체영상 학습**: Motion Order 57% → 61%, Translation Error 0.0629 → 0.0586, Rotation Error 1.26 → 1.02 rad.

의의 및 한계

FAPL은 MLLM 잠재변수를 생성 과정에 효과적으로 활용하는 새로운 학습 전략으로, 희소 입력에서의 시간적 추론과 요인별 제어를 동시에 달성할 수 있다. 특히, factor-span replacement와 shared-target 학습을 통해 생성 모델과 MLLM 간의 상호작용을 강화함으로써, 기존 방식보다 더 정확하고 일관된 영상 생성이 가능하다. 그러나 MLLM과 DiT의 복잡한 조합은 계산 비용이 증가할 수 있으며, 모든 요인을 완전히 분리(disentangle)하지 못하는 경우도 존재한다. 또한, 훈련 데이터의 질과 다양성에 따라 성능이 크게 달라질 수 있다.

실용적 활용

FAPL은 영화 제작, 게임 콘텐츠 생성, VR/AR 영상 제작 등에서 희소 입력(예: 스크립트 + 몇 장의 이미지)을 기반으로 일관되고 제어 가능한 영상 생성이 필요한 상황에 적용 가능하다. 특히, 특정 인물, 장면, 액션, 카메라 움직임을 독립적으로 편집할 수 있어, 창작자들이 다양한 시나리오를 시뮬레이션하고 시각화하는 데 유용하다.