Video Generation Models are General-Purpose Vision Learners

Driven by next-token prediction, NLP shifted from task-specific models into powerful generalist foundation models. What, then, is the equivalent catalyst needed to achieve a general-purpose model in computer vision? In this paper, we contend that large-scale text-to-video generation serves as a strong pre-training paradigm for computer vision, providing the necessary spatiotemporal priors, vision-language alignment, and scalability required for general visual intelligence. We introduce GenCeption, which leverages a pre-trained video generative diffusion backbone to define a feed-forward perception model, capable of performing various vision tasks steered by text instructions. Empirical results demonstrate that GenCeption achieves state-of-the-art performance across a diverse suite of tasks, including depth, surface normal, and camera pose estimation, expression-referring segmentation, and 3D keypoint prediction, often matching or surpassing specialized models (e.g. DepthAnything3, SAM3, D4RT, VGGT-Omega, Sapiens, David, Genmo, and Lotus-2). Furthermore, the video generative pretrained backbone outperforms alternative pretraining paradigms (e.g., V-JEPA, and Video MAE) under comparable settings. Importantly, GenCeption exhibits preliminary data and model scaling properties along with exceptional data efficiency, where it achieves comparable performance with leading models like D4RT and VGGT-Omega with 7 to 500 less training data. Finally, GenCeption also exhibits intriguing emergent behaviors: a model trained exclusively on synthetic human videos generalizes to real-world footage and out-of-distribution object categories (e.g., animals and robots). These findings suggest that video generation is not merely a synthesis tool, but a foundational path toward generalist vision intelligence for the physical world. Project page: https://genception.github.io

한 줄 요약

GenCeption은 대규모 텍스트-비디오 생성을 기반으로 한 비전 기반 모델로, 다양한 비전 작업에서 최첨단 성능을 보인다.

핵심 기여도

GenCeption은 텍스트-비디오 생성 모델을 기반으로 한 단일 아키텍처에서 다양한 비전 작업(깊이 추정, 표면 정규 추정, 3D 키포인트 예측 등)을 수행한다.
D4RT, VGGT-Ω 등 전문 모델과 비교해 유사하거나 더 높은 성능을 보인다.
V-JEPA, Video MAE와 같은 대안 사전 학습 방식보다 더 우수한 성능을 나타낸다.
7~500배 적은 학습 데이터로도 기존 최고 모델과 유사한 성능을 달성한다.

핵심 아이디어

GenCeption은 텍스트-비디오 생성 모델을 기반으로, 단일 아키텍처에서 다양한 비전 작업을 수행하는 일반적인 비전 학습 모델을 제시한다. 이 접근법은 NLP에서의 next-token prediction과 유사한 개념을 비전 분야로 확장한 것으로, 시공간적 세계의 이해, 비전-언어 정렬, 확장성을 동시에 달성한다.

기존 비전 모델은 작업별로 다른 아키텍처와 손실 함수를 사용하는 반면, GenCeption은 다양한 작업을 동일한 아키텍처와 손실 함수로 처리한다. 이는 작업별 아키텍처 설계를 데이터 포맷 설계로 전환하여, 새로운 작업이 추가될 때 아키텍처 변경 없이 데이터만 확장하면 된다는 점에서 혁신적이다.

GenCeption은 생성 모델의 반복적 샘플링 과정을 단일 단계의 feed-forward 아키텍처로 변환하여, 빠르고 정확한 추론이 가능하도록 설계되었다. 이는 비전 작업에서의 실용성을 높인다.

기술적 접근법

**모델 아키텍처**: GenCeption은 사전 학습된 텍스트-비디오 생성 디퓨전 모델을 기반으로 하며, 이 모델은 텍스트 조건 하에 고해상도 비디오를 생성하도록 학습된다.
**사후 학습**: 다양한 비전 작업(예: 깊이 추정, 분할, 3D 키포인트 예측)을 수행하기 위해, 모델은 주로 합성 데이터로 fine-tuning 된다.
**Feed-Forward 변환**: 디퓨전 모델의 반복 샘플링 과정을 단일 단계로 변환하여, 빠른 추론이 가능하도록 설계됨.
**데이터 포맷 통일**: 다양한 작업을 동일한 표현 공간(예: 표준 RGB 공간)으로 매핑하여, 단일 아키텍처로 다중 작업 처리 가능.
**데이터 합성 전략**: 다양한 고질량 데이터를 저비용으로 확보하기 위한 확장 가능한 데이터 합성 전략이 제안됨.

주요 결과

**DepthAnything V3, SAM3, D4RT, VGGT-Ω 등 전문 모델과 비교**: GenCeption은 깊이 추정, 표면 정규 추정, 카메라 포즈 추정, 표현 기반 분할, 3D 키포인트 예측 등 다양한 작업에서 유사하거나 더 높은 성능을 보인다.
**V-JEPA, Video MAE 대비 성능**: 동일한 설정에서 GenCeption이 더 우수한 성능을 나타냄.
**데이터 효율성**: D4RT와 VGGT-Ω와 유사한 성능을 7~500배 적은 학습 데이터로 달성.
**Sim-to-Real 전이**: 합성 데이터만으로 학습된 모델이 실제 영상과 OOD(Out-of-Distribution) 객체(예: 동물, 로봇)에도 일반화됨.

의의 및 한계

GenCeption은 비전 분야에서 NLP의 일반 모델로의 전환을 제시하며, 다양한 작업을 단일 아키텍처로 처리하는 새로운 패러다임을 제시한다. 특히, 생성 모델을 기반으로 한 사전 학습이 비전의 일반 지능 발전에 기여할 수 있음을 보여준다.

그러나, 3D 키포인트 예측과 같은 작업에서는 사후 학습 시 성능 저하가 발생하며, 이는 생성 모델의 학습 방식과 작업별 토큰 기반 회귀가 충돌하기 때문으로 분석된다. 또한, 모델 확장성과 데이터 효율성은 향후 연구 주제로 남아 있다.

실용적 활용

GenCeption은 다양한 산업 분야에서 활용 가능하다. 예를 들어, 자율 주행 시스템에서는 깊이 추정과 카메라 포즈 추정에, 로봇 시스템에서는 3D 키포인트 예측과 표현 기반 분할에 활용될 수 있다. 또한, 합성 데이터만으로도 높은 성능을 달성하므로, 라벨링 비용이 높은 실제 데이터가 부족한 상황에서도 유용하게 사용될 수 있다.