한 줄 요약
Future Chunk Prediction(FCP)을 통해 자동회귀 비디오 생성 모델의 시각적 진화 모델링을 효과적으로 향상시킨다.
핵심 기여도
- FCP는 teacher-forced denoising과 병행하여, 중간 시각적 맥락 없이 시간적으로 분리된 chunk를 예측하는 보조 목적 함수이다.
- FCP는 추가적인 사전 학습된 시각 인코더 없이 훈련 영상에서 직접 지도를 받는다.
- 기존 자동회귀 추론 과정을 변경하지 않으면서 물리적 타당성(physical plausibility)을 향상시킨다.
- 전체 훈련 컴퓨트 예산이 낮은 상황에서도 표준 훈련 방식보다 우수한 성능을 보인다.
핵심 아이디어
기존 자동회귀 비디오 생성 모델은 teacher forcing 하에서 현재 chunk의 denoising 과정에서 강한 시간적 중복성을 활용해 지역적 시각 연속성에 의존하는 경향이 있다. 이는 장기적인 시각적 진화를 모델링하는 압력을 줄이는 단점이 있다. FCP는 이러한 문제를 해결하기 위해, 중간 시각적 맥락 없이 미래 chunk를 예측하는 보조 목적 함수를 도입한다. 이는 모델이 단순한 지역적 연속성에 의존하지 않고, 장기적인 시각적 진화를 학습하도록 유도한다. FCP는 훈련 시에만 사용되며, 추론 과정에는 영향을 주지 않아 기존 자동회귀 생성 프로세스를 유지한다.
기술적 접근법
- FCP는 teacher-forced denoising과 병행하여 최적화되는 보조 목적 함수이다.
- 예측 대상은 현재 chunk 이후의 미래 chunk이며, 중간 시각적 맥락은 제공되지 않는다.
- FCP는 추가적인 사전 학습된 인코더 없이 훈련 영상에서 직접 지도를 받는다.
- FCP는 추론 시에는 제거되며, 자동회귀 추론 과정은 변경되지 않는다.
- 실험은 Wan2.1-1.3B 데이터셋을 기반으로 동일한 설정에서 수행된다.
주요 결과
- FCP는 표준 teacher-forced 자동회귀 훈련 대비 물리적 타당성을 향상시키며, 전체 훈련 컴퓨트 예산이 낮은 상황에서도 우수한 성능을 보인다.
- FCP는 모델 규모와 조건 설정에 관계없이 일관된 개선을 보인다.
- 시각화 결과는 FCP가 더 구조화된 표현 공간을 유도함을 보여준다.
의의 및 한계
FCP는 자동회귀 비디오 생성 모델이 단순한 지역적 연속성에 의존하지 않고, 장기적인 시각적 진화를 모델링하도록 유도함으로써 생성 품질을 향상시킨다. 이는 자동회귀 월드 모델 구축에도 유용할 수 있다. 그러나 FCP는 추가적인 인코더 없이 훈련 영상에서 직접 지도를 받기 때문에, 복잡한 시맨틱 정보를 학습하는 데에는 한계가 있을 수 있다. 또한, FCP가 모든 유형의 비디오 생성 작업에서 동일한 효과를 보이는지는 추가 연구가 필요하다.
실용적 활용
FCP는 자동회귀 비디오 생성 모델의 훈련 효율성을 높이면서 생성 품질을 향상시키므로, 영상 생성, 시뮬레이션, 게임, AR/VR 등 다양한 산업 분야에서 활용 가능하다. 특히, 월드 모델 구축에 필요한 장기적인 시각적 진화를 모델링하는 데 유용할 수 있다.