MeanFlowNFT: Bringing Forward-Process RL to Average-Velocity Generators

MeanFlow generators achieve fast few-step sampling by predicting average velocities over time intervals, making them attractive for efficient generation. Reinforcement learning (RL) has become a powerful way to align diffusion and flow models with human preferences and task-specific objectives. In particular, DiffusionNFT offers an efficient forward-process RL framework that does not require reverse-process trajectories or likelihood estimation. However, applying such RL methods to MeanFlow remains underexplored. DiffusionNFT optimizes instantaneous velocities, whereas MeanFlow samples with average velocities. To bridge this gap, we introduce MeanFlowNFT. Inspired by the MeanFlow identity, which bridges average and instantaneous velocities, we construct an induced instantaneous-velocity predictor. We apply the DiffusionNFT objective to this predictor, making reward optimization well-defined for MeanFlow. Sampling remains based on the average velocity, preserving MeanFlow's fast few-step generation. We further prove that MeanFlowNFT inherits DiffusionNFT's strict policy-improvement guarantee. Experiments on image and video generation show that MeanFlowNFT consistently improves baselines. Moreover, it outperforms prior state-of-the-art RL-tuned few-step generators on most metrics (6 of 8 on SD3.5-M), and can even surpass multi-step RL-tuned diffusion while using only a few sampling steps. For instance, on Wan 2.1, 4-step MeanFlowNFT reaches a VBench score of 84.33, surpassing 50-step LongCat-Video RL (82.57).

한 줄 요약

MeanFlowNFT는 MeanFlow 생성 모델에 최초로 적용된 forward-process RL 프레임워크로, 평균 속도 기반 샘플링 효율성을 유지하면서 생성 품질을 향상시킨다.

핵심 기여도

MeanFlowNFT는 MeanFlow에 최초로 적용된 forward-process RL 프레임워크로, 평균 속도 기반 샘플링을 유지하면서 DiffusionNFT의 목표를 활용한다.
이론적으로 MeanFlowNFT는 DiffusionNFT의 정책 개선 보장을 상속하며, 평균 속도 네트워크에 이 향상이 전달됨을 증명한다.
실험적으로 4-step MeanFlowNFT가 Wan 2.1 데이터셋에서 VBench 84.33을 달성해 50-step LongCat-Video RL (82.57)을 초과한다.
SD3.5-M 데이터셋에서 8개 지표 중 6개에서 기존 few-step RL 생성기를 상회한다.

핵심 아이디어

MeanFlow는 생성 속도를 높이기 위해 순간 속도가 아닌 **평균 속도**를 예측하는 방식을 채택한다. 반면, DiffusionNFT는 **순방향 프로세스**에서 **순간 속도**를 최적화하는 RL 프레임워크이다. 이 두 접근법 간의 차이를 해소하기 위해, MeanFlowNFT는 MeanFlow의 **평균 속도 네트워크**를 기반으로 **유도된 순간 속도 예측기**를 구성한다. 이 예측기에는 DiffusionNFT의 목표가 적용되며, 샘플링은 여전히 평균 속도를 기반으로 이루어진다. 이는 **likelihood-free**, **solver-agnostic**, 그리고 **샘플링-최적화 분리**를 가능하게 한다.

MeanFlowNFT는 **MeanFlow identity**를 기반으로 순간 속도와 평균 속도 간의 관계를 수학적으로 연결하며, 유도된 예측기의 최적화가 평균 속도 네트워크에 이어짐을 이론적으로 보장한다.

기술적 접근법

**MeanFlow identity** (Equation 3)를 활용해 평균 속도 네트워크에서 유도된 순간 속도 예측기를 구성.
DiffusionNFT 스타일의 **flow-matching objective**를 유도된 예측기에 적용.
유도된 예측기의 **전미분 항**은 유한 차분(finite difference)으로 근사.
**공유된 derivative term** (`d/dt u_old`)이 학습 안정성에 필수적임을 실험적으로 확인.
샘플링 방향은 **모델-무관한 조건부 속도** `v_t = α̇_t x_0 + σ̇_t ϵ` (Algorithm 1)을 사용하는 것이 더 효과적임.
학습 시 `s = t` 쌍만 사용하면 평균 속도 정보가 누락되어 성능 저하 발생. 따라서 `s = t`와 `s < t` 쌍을 모두 사용.

주요 결과

**Wan 2.1** 데이터셋에서 4-step MeanFlowNFT는 VBench 점수 84.33을 달성, 50-step LongCat-Video RL (82.57)을 초과.
**SD3.5-M** 데이터셋에서 8개 지표 중 6개에서 기존 few-step RL 생성기를 상회.
**PickScore, HPSv2, CLIPScore** 등 주요 지표에서 일관된 성능 향상.
**4-step 샘플링**으로도 multi-step RL 생성기의 성능을 상회하며, 테스트 시 확장성이 우수.

의의 및 한계

MeanFlowNFT는 MeanFlow의 빠른 샘플링 효율성을 유지하면서 RL 기반 정책 최적화를 가능하게 하여, 생성 모델의 실용적 적용 범위를 확장한다. 특히, **likelihood-free** 및 **solver-agnostic** 학습은 기존 GRPO 기반 방법보다 계산 효율성을 높인다. 또한, **정책 개선 보장**을 이론적으로 증명함으로써 신뢰성을 높인다.

한계로는, 유도된 예측기의 **전미분 항** 근사가 정확도에 영향을 줄 수 있으며, **공유된 derivative term**이 없을 경우 학습 불안정성이 발생한다는 점이 있다. 또한, **모델-무관한 방향**을 사용하는 선택은 추가 네트워크 평가를 절약하지만, 모델 의존성은 줄어들 수 있다는 점도 고려해야 한다.

실용적 활용

MeanFlowNFT는 빠른 생성 속도가 요구되는 **실시간 이미지/비디오 생성** 시스템에 적합하며, **인공지능 생성 콘텐츠(AIGC)**, **광고 자동 생성**, **VR/AR 콘텐츠 제작** 등에서 활용 가능하다. 특히, **few-step 샘플링**을 유지하면서도 RL 기반 정책 최적화를 적용할 수 있어, **사용자 선호도 기반 생성**이나 **태스크 맞춤형 생성**에 유용하다.