DiffusionART: Efficient, Stable and Scalable Reinforcement of Diffusion Models

Online reinforcement learning (RL) fine-tunes diffusion models with black-box rewards, but reverse-process methods such as Flow-GRPO are limited in efficiency by poor credit assignment, while forward-process methods such as DiffusionNFT are efficient yet unstable without carefully tuned exponential-moving-average (EMA) off-policy training. We show that NFT-style objectives contain a hidden forward--reverse consistency force that joint positive--negative training cancels only partially, and that EMA stabilizes training through restoration rather than off-policy rollouts. We introduce DiffusionART (Diffusion Reinforcement with Aggregation-First Reward Tilting), which aggregates each prompt's rewards into a shared reward-improving direction for reverse-process states, removing the consistency force by construction, and adds a trust-region-masked second update for drift-adaptive restoration without EMA tuning. It requires no differentiable reward model, remains effective with fewer samples per prompt, and supports pairwise reward models (DiffusionART-Pairwise). Across image and video generation, DiffusionART trains efficiently and stably without per-task tuning. In particular, on HunyuanVideo-13B with equally weighted visual and motion quality rewards, DiffusionART reaches the late-stage mean reward levels of DiffusionNFT and Flow-GRPO-Fast with 12.02 and 11.72 times fewer GPU hours, respectively, while achieving 28.8% and 53.0% higher mean training rewards.

한 줄 요약

DiffusionART는 EMA 없이 안정적이고 효율적인 디퓨전 모델 강화 학습을 위한 새로운 알고리즘으로, HunyuanVideo-13B에서 12배 이상의 GPU 시간 절약과 28.8%~53.0% 높은 평균 보상 성능을 달성한다.

핵심 기여도

DiffusionART는 NFT-style의 forward-reverse consistency force를 설계적으로 제거하여 EMA 없이도 안정적 학습 가능.
Trust-region-masked 두 번째 업데이트로 드리프트-적응형 복원을 구현, EMA 튜닝 필요 없음.
HunyuanVideo-13B에서 DiffusionNFT 대비 12.02×, Flow-GRPO-Fast 대비 11.72× 적은 GPU 시간으로 동일 수준의 보상 달성.
Pairwise reward 모델을 지원하는 DiffusionART-Pairwise를 제안.

핵심 아이디어

기존 DiffusionNFT와 Flow-GRPO는 forward-process와 reverse-process 접근법을 각각 사용하지만, 각각 효율성과 안정성의 한계를 가진다. DiffusionNFT는 forward-reverse consistency force가 잔존하여 학습 불안정성을 유발하며, EMA가 복원력을 제공하지만, 이는 off-policy rollout이 아닌 랙(lag)을 통해 이루어진다. 이는 EMA의 튜닝을 요구한다.

DiffusionART는 각 프롬프트의 보상을 공유된 reward-improving 방향으로 집계(Aggregation-First)하여, forward-reverse consistency force를 설계적으로 제거한다. 이는 각 샘플의 forward velocity와의 차이를 기반으로 하는 NFT의 잔존 힘을 완전히 제거함으로써 학습 안정성을 높인다. 또한, trust-region-masked 두 번째 업데이트를 통해 드리프트에 따라 복원력을 조절하여 EMA 없이도 안정적인 학습이 가능하다.

기술적 접근법

**Aggregation-First Reward Tilting**: 각 프롬프트의 샘플과 보상을 공유된 reward-improving 방향 $ G(c) $로 집계.
**Reverse-Process 업데이트**: forward velocity를 포함하지 않는 guided target으로 각 방문 상태의 액션을 회귀.
**Trust-Region-Masked 두 번째 업데이트**: 드리프트에 비례한 복원력 추가, EMA 없이도 안정성 확보.
**DiffusionART-Pairwise**: Pairwise reward 모델 지원.
**하이퍼파라미터**: EMA 튜닝 불필요, 샘플 수 감소 가능 (fewer samples per prompt).

주요 결과

**HunyuanVideo-13B 데이터셋**에서, DiffusionART는 DiffusionNFT와 Flow-GRPO-Fast 대비 각각 12.02×, 11.72× 적은 GPU 시간으로 동일 수준의 late-stage mean reward 달성.
**평균 훈련 보상**은 DiffusionNFT 대비 28.8%, Flow-GRPO-Fast 대비 53.0% 높음.
**Pairwise reward 모델**을 사용하는 DiffusionART-Pairwise도 동일한 성능 유지.

의의 및 한계

DiffusionART는 디퓨전 모델의 강화 학습에서 EMA 없이도 안정적이고 효율적인 훈련을 가능하게 하며, 다양한 생성 작업(이미지, 동영상)에 적용 가능하다. 특히, forward-process 학습의 불안정성 문제를 명확히 분석하고 이를 설계적으로 해결한 점이 학술적 의의가 있다.

하지만, 본 연구는 특정 reward 모델 구조에만 적용 가능한지, 또는 다양한 reward scale에서 동일한 성능을 유지하는지에 대한 실험은 명시되지 않았다. 또한, Pairwise reward 모델 외의 다른 형태의 reward 모델과의 호환성도 추가 실험 대상이 될 수 있다.

실용적 활용

DiffusionART는 이미지 및 동영상 생성에서 빠르고 안정적인 강화 학습이 필요한 산업(예: 콘텐츠 생성, VR/AR)에 적용 가능하다. 특히, EMA 튜닝 없이도 작동하므로, 대규모 모델의 실시간 학습 및 배포에 유리하며, Pairwise reward 모델을 사용하는 경우 인간 선호도 기반의 생성 품질 향상에도 활용할 수 있다.