video-generation latent-space generative-modeling reconstruction autoencoder semantic-representation temporal-pooling video-decoder
Abstract
Latent video generation relies on autoencoders to define a compact space in which generative models operate. Although video autoencoder architectures have evolved substantially, their latent spaces are still optimized primarily for pixel-level reconstruction and provide limited high-level semantic organization. A reconstruction-optimal latent space, however, need not be well suited to generative modeling. We propose V-RAE, a video representation autoencoder that builds compact generative latents on top of frozen vision foundation model representations. A lightweight temporal pooling module removes temporal redundancy while preserving semantic structure, and a video decoder reconstructs continuous motion from the compressed features. We evaluate V-RAE with four representative frozen encoders on video reconstruction, semantic probing, and class-conditional generation. V-RAE achieves 2.13 rFVD on K600, outperforming all evaluated large-scale pretrained video VAEs. Its latents retain substantially more semantic information than conventional video tokenizer latents. Under matched generation settings, our best variant achieves gFVD scores of 117.86 and 19.16 on UCF101 and K600, respectively, while converging up to 6x faster}. We further show that reconstruction quality alone is insufficient to characterize generative utility and introduce tFVD, a temporal-coherence diagnostic that correlates more reliably with downstream generation quality. Beyond video generation, V-RAE also improves future video prediction on Cityscapes over the Wan 2.2 VAE latent space under matched prediction settings. Taken together, the experiments show that frozen semantic representations can support video reconstruction, generation, and predictive modeling. The project page: https://v-rae.github.io/.
한국어 요약
한 줄 요약
V-RAE는 동결된 시각 기초 모델의 잠재 공간을 기반으로 동영상 생성을 위한 새로운 잠재 공간 구조를 제안하며, K600에서 2.13 rFVD를 달성한다.
핵심 기여도
- V-RAE는 동결된 시각 기초 모델(VFM)의 잠재 공간을 생성 모델의 입력으로 사용하며, 시간 풀링 모듈을 통해 시간적 중복을 제거함.
- K600 데이터셋에서 2.13 rFVD를 달성하며, 기존 대규모 사전학습된 VAE보다 우수한 성능을 보임.
- UCF101과 K600에서 각각 117.86과 19.16의 gFVD 점수를 기록하며, 기존 VAE 대비 6배 빠르게 수렴함.
- tFVD라는 새로운 시간 일관성 진단 지표를 제안하여, 생성 품질과의 상관성을 보임.
핵심 아이디어
V-RAE는 기존 동영상 자동인코더가 픽셀 수준 재구성을 최적화하는 반면, 생성 모델링에는 부적합한 잠재 공간을 형성한다는 문제를 해결하기 위해, 동결된 시각 기초 모델(DINOv3, SigLIP2 등)의 잠재 공간을 직접 생성 잠재 공간으로 활용한다. 이는 이미지 생성 분야에서 이미 성공적으로 사용된 RAE의 아이디어를 동영상으로 확장한 것이다. V-RAE는 시간 풀링 모듈을 통해 시간적 중복을 제거하면서도 의미 구조를 유지하며, 3D RoPE를 사용한 스페이시오템포럴 트랜스포머 디코더를 통해 시간적으로 일관된 동영상을 복원한다. 이 접근법은 생성 모델이 의미적 구조와 시간 일관성을 동시에 학습할 수 있도록 지원한다.
기술적 접근법
- **Encoder**: 동결된 VFM (DINOv3, SigLIP2, EUPE, V-JEPA 2.1)과 학습 가능한 경량 시간 풀링 모듈을 결합하여 시간적 중복을 제거.
- **Decoder**: 3D RoPE를 사용한 스페이시오템포럴 트랜스포머 디코더로, 시간적으로 일관된 동영상을 복원.
- **Multi-frame unpatchify layer**: 각 시간 잠재 단계를 여러 연속 프레임으로 매핑하여, 효과적인 시간 압축 비율을 지원.
- **tFVD**: 잠재 공간 내 보간된 경로를 디코딩하여 시간 일관성을 평가하는 새로운 진단 지표.
주요 결과
- K600 데이터셋에서 V-RAE(V-JEPA 2.1)는 2.13 rFVD를 달성하며, 기존 대규모 VAE보다 우수함.
- UCF101에서 DINOv3-L 기반 V-RAE는 6.12 rFVD를 기록하며, Wan2.1 VAE(6.05)에 이어 두 번째로 우수한 성능.
- UCF101과 K600에서 각각 117.86과 19.16의 gFVD 점수를 달성하며, 기존 VAE 대비 6배 빠르게 수렴.
- UCF101에서 DINOv3-L 기반 V-RAE는 89.13%의 top-1 정확도를 달성하며, 최고 VAE 기준(30.83%)보다 훨씬 높은 의미 정보 보존 능력.
의의 및 한계
V-RAE는 기존 자동인코더가 픽셀 수준 재구성에만 집중하는 한계를 극복하고, 의미 구조와 시간 일관성을 갖춘 잠재 공간을 생성 모델에 제공함으로써, 생성 품질과 수렴 속도를 동시에 향상시킨다. 또한, tFVD를 통해 재구성 품질과 생성 품질 간의 불일치를 명확히 밝혀내며, 잠재 공간 평가의 새로운 기준을 제시한다. 그러나 V-RAE는 동결된 VFM의 특성에 의존적이므로, VFM의 성능이 생성 결과에 직접적인 영향을 미친다는 점이 한계로 작용할 수 있다. 또한, 시간 압축 비율이 낮은 경우(예: 2×)는 계산 비용이 높아질 수 있다.
실용적 활용
V-RAE는 동영상 생성, 미래 예측(Cityscapes) 등 다양한 비주얼 생성 및 예측 작업에 적용 가능하다. 특히, 의미 구조와 시간 일관성을 갖춘 잠재 공간은 생성 모델의 훈련 효율과 생성 품질을 동시에 향상시키므로, 대규모 생성 모델 개발 및 산업용 동영상 생성 시스템 구축에 유용하게 활용될 수 있다.