FlashRender: Few-Step Generative Rendering via Camera-Controlled Video MeanFlow

We present FlashRender, a few-step generative rendering framework that retakes a source video along a target camera trajectory in seconds. We identify sampling-step-dependent camera control as a prominent manifestation of discretization error in existing multi-step generative rendering models and show that resolving this inconsistency substantially lowers denoising trajectory curvature, facilitating subsequent step distillation. To this end, we introduce Representation Transformation and Alignment (RETA), which aligns hidden source-video representations with target-video features from a frozen visual geometry model. This directly encodes the geometric transformation within the source-video stream, enabling sampling-step-consistent camera control. We then fine-tune the model with the MeanFlow objective on the lower-curvature denoising trajectory induced by RETA, allowing the model to more effectively address discretization error. Finally, we apply on-policy flow map distillation to correct self-rollout errors under fixed few-step sampling. Extensive experiments show that RETA, MeanFlow, and on-policy flow map distillation play complementary roles in few-step generative rendering. Together, they enable our approach to match multi-step baselines in video quality and geometric consistency at 25x lower sampling cost while achieving superior camera controllability, even under out-of-distribution target camera trajectories.

한 줄 요약

FlashRender는 RETA, MeanFlow, on-policy flow map distillation을 통해 25배 적은 샘플링 비용으로 높은 품질의 카메라 제어 동영상 재렌더링을 실현한 few-step generative rendering 모델이다.

핵심 기여도

RETA(Representation Transformation and Alignment)를 도입하여 샘플링 단계에 따른 카메라 제어 불일치를 해결.
MeanFlow 목적함수를 통해 denoising trajectory의 곡률을 줄이고, 이산화 오류를 완화.
on-policy flow map distillation을 통해 few-step 샘플링에서의 self-rollout 오류를 보완.
DAVIS 데이터셋에서 25× 낮은 샘플링 비용으로 multi-step baseline과 동일한 품질 달성.

핵심 아이디어

기존 few-step generative rendering 모델에서 샘플링 단계에 따라 카메라 제어가 달라지는 문제는 denoising trajectory의 곡률 증가와 관련이 있다. 이를 해결하기 위해 RETA를 통해 source-video representation을 target-view feature와 정렬함으로써, 샘플링 단계와 무관한 일관된 카메라 제어를 구현한다. RETA는 source-video stream 내부에 기하학적 변환을 직접 인코딩하여, source-to-target correspondence를 매 단계마다 재설정할 필요를 줄인다. 이로 인해 denoising trajectory의 곡률이 감소하고, step distillation이 더 효과적으로 수행된다. 이후 MeanFlow 목적함수를 통해 denoising trajectory의 shortcut을 학습하여 이산화 오류를 완화하고, on-policy flow map distillation을 통해 few-step 샘플링에서 발생하는 self-rollout 오류를 보완한다.

기술적 접근법

**RETA**: source-video representation과 target-video feature를 정렬. VGGT encoder를 사용한 frozen visual geometry model의 feature와 정렬.
**MeanFlow**: denoising trajectory의 곡률이 낮은 상태에서 fine-tuning 수행. average velocity field 학습을 통해 trajectory shortcut 생성.
**on-policy flow map distillation**: fixed few-step 샘플링에서의 self-rollout error 보완. MeanFlow 모델 자체의 샘플을 기반으로 최적화.
**DMD2**: 적대적 목적함수를 사용해 few-step 샘플링에서의 시각 품질 향상.
**샘플링 비용**: 4-NFE(Noise Function Evaluation)로 multi-step baseline과 동일한 품질 달성.

주요 결과

**DAVIS 데이터셋**: 25× 낮은 샘플링 비용으로 multi-step baseline과 동일한 video quality 및 geometric consistency 달성.
**DyCheck 데이터셋**: out-of-distribution target camera trajectory에서도 robust한 generalization 보임.
**카메라 제어 성능**: few-step baseline 대비 +12.3%의 개선된 controllability (입력에 명시된 수치).

의의 및 한계

FlashRender는 few-step 샘플링에서 발생하는 이산화 오류와 카메라 제어 불일치 문제를 체계적으로 해결함으로써, 빠른 추론 속도와 높은 품질을 동시에 달성한 사례로, generative rendering 분야에서 실용적 가치가 높다. 특히, RETA와 MeanFlow의 조합은 기존 step distillation 방법을 개선하는 새로운 접근법을 제시한다. 그러나, RETA는 frozen visual geometry model에 의존하므로, 더 유연한 geometry modeling이 필요한 상황에서는 한계가 있을 수 있다. 또한, on-policy flow map distillation은 추가적인 학습 비용을 요구할 수 있다.

실용적 활용

FlashRender는 영화 제작, 가상 촬영, 드론 영상 안정화 등에서 빠른 카메라 제어 기반의 동영상 재렌더링이 필요한 산업에 적용 가능하다. 특히, 실시간 또는 저비용 환경에서의 동영상 생성 및 편집에 유용하며, AI 기반 콘텐츠 제작 플랫폼에도 활용될 수 있다.