Conflict-Aware Additive Guidance for Flow Models under Compositional Rewards

Inference-time guided sampling steers state-of-the-art diffusion and flow models without fine-tuning by interpreting the generation process as a controllable trajectory. This provides a simple and flexible way to inject external constraints (e.g., cost functions or pre-trained verifiers) for controlled generation. However, existing methods often fail when composing multiple constraints simultaneously, which leads to deviations from the true data manifold. In this work, we identify root causes of this off-manifold drift and find that the approximation error scales severely with gradient misalignment. Building on these findings, we propose Conflict-Aware Additive Guidance ($g^\text{car}$), a lightweight and learnable method, which actively rectifies off-manifold drift by dynamically detecting and resolving gradient conflicts. We validate $g^\text{car}$ across diverse domains, ranging from synthetic datasets and image editing to generative decision-making for planning and control. Our results demonstrate that $g^\text{car}$ effectively rectifies off-manifold drift, surpassing baselines in generation fidelity while using light compute. Code is available at https://github.com/yuxuehui/CAR-guidance.

한 줄 요약

**[Flow Model 가이던스 / Compositional Reward]** g^car은 diffusion·flow 모델의 inference-time 가이던스에서 다중 제약 조합 시 발생하는 off-manifold drift를 gradient conflict 동적 검출·해소로 교정, fine-tuning 없이 baseline 능가하며 lightweight.

핵심 기여도

Inference-time guided sampling이 diffusion·flow 모델의 fine-tuning 없는 조향을 가능하게 함 — 생성 과정을 controllable trajectory로 해석해 외부 제약(cost function·pre-trained verifier)을 inject하는 간단·유연 방식.
기존 방법이 여러 제약을 simultaneously 조합할 때 실패해 true data manifold에서 벗어남(off-manifold drift) 진단.
Off-manifold drift의 root cause 식별 — approximation error가 gradient misalignment에 따라 severely scale함을 발견.
Conflict-Aware Additive Guidance(g^car) 제안 — gradient conflict를 동적 검출·해소해 off-manifold drift를 actively 교정하는 lightweight·learnable method.

핵심 아이디어

다중 제약을 inference-time에 조합하는 flow 모델 가이던스에서 generation 품질 저하의 root cause는 gradient conflict로 인한 off-manifold drift이며, 이를 동적으로 검출·해소하는 conflict-aware additive guidance가 lightweight으로 manifold 충실성을 회복시킨다.

기술적 접근법

**방법론**: g^car — Conflict-Aware Additive Guidance.
**핵심 기법**: (1) Off-manifold drift의 root cause로 gradient misalignment 식별, (2) Gradient conflict를 동적으로 검출, (3) Conflict 해소하는 additive guidance term 학습, (4) Lightweight·learnable 모듈로 추가 fine-tuning 없이 적용, (5) 합성 데이터·이미지 편집·생성적 의사결정(계획·제어) 등 다양 도메인 검증.

주요 결과

합성 데이터셋·이미지 편집·생성적 의사결정(계획·제어)에서 g^car 검증.
Off-manifold drift를 효과적으로 교정.
Baseline 대비 생성 fidelity 능가하면서 light compute 사용.
코드 공개: github.com/yuxuehui/CAR-guidance.

의의 및 한계

**의의**: Inference-time 다중 제약 가이던스의 핵심 실패 모드(off-manifold drift) 진단·해소, gradient misalignment scaling이라는 정량 분석, 다양 도메인(이미지·의사결정) 적용 가능 일반성, fine-tuning 없는 lightweight 접근. **한계**: Conflict 검출의 hyperparameter 의존성, 제약 수가 매우 많을 때 scaling은 추가 검증, learnable 컴포넌트의 학습 데이터 요구.

실용적 활용

다중 제약 이미지·영상 편집·생성.
Diffusion 기반 plan·control의 다중 reward 결합.
Compositional reward 환경의 generative decision-making.