FlowBalance: Verifier-Grounded Self-Improvement from On-Policy Reasoning Experience

A reasoning model can improve from its own on-policy experience, but this inner loop is fragile: terminal verifiers provide reliable yet sparse supervision, while dense same-model guidance can reinforce false confidence or overconcentrate learning on a narrow solution mode. We introduce FlowBalance, a verifier-grounded self-improvement method that learns a normalized distribution over complete responses. For each on-policy trajectory, a frozen training-time view of the same policy uses privileged context to produce token-level log-probability gains, which are aggregated into a trajectory-level self-guidance score. FlowBalance calibrates this score with the verifier-derived group advantage: guidance is retained on positive-advantage trajectories, reversed on negative-advantage trajectories, and disabled when the rollout group provides no outcome preference. The resulting energy exponentially reweights a reference policy, and profiled trajectory balance fits the normalized target with one log-partition estimate per rollout group. This realizes outcome-calibrated self-guidance via trajectory balance, without a separate token-level imitation loss. Our analysis establishes within-group contrast preservation, a minimum-change reverse-KL characterization, monotonic verifier control of target reward, and an exact correction against false-positive self-guidance on rejected responses. On mathematical reasoning, FlowBalance improves average performance over FlowRL on both Qwen3-4B and Qwen3-8B, while also improving training speed and stability, avoiding direct OPSD's response-length collapse, and exhibiting higher correct-strategy diversity in a controlled AIME24 diagnostic.

한 줄 요약

FlowBalance는 검증기 기반의 자기 개선을 통해 수학적 추론 성능과 훈련 안정성을 동시에 향상시키는 정규화된 응답 분포 학습 방법이다.

핵심 기여도

FlowBalance는 FlowRL 대비 Qwen3-4B와 Qwen3-8B 모델에서 평균 성능 개선을 달성함.
훈련 속도와 안정성을 향상시키며, OPSD의 응답 길이 축소 문제를 피함.
AIME24 진단에서 올바른 전략의 다양성을 높임.
별도의 토큰 수준 흉내 손실 없이, 트레이드미트 밸런스를 통해 정규화된 타겟 분포를 학습함.

핵심 아이디어

FlowBalance는 자기 훈련 경험에서 정확한 추론 확률을 증가시키고, 유용한 대안 전략을 보존하는 것을 목표로 한다. 기존 방법은 토큰 수준의 밀집된 가이드라인이 오류를 강화하거나 학습을 좁은 지역 모드에 집중시키는 경향이 있다. FlowBalance는 이 문제를 해결하기 위해, 검증기에서 유도된 그룹 이점을 기반으로 트레이드미트 수준의 가이드라인 점수를 보정한다. 이 점수는 양의 이점이 있는 트레이드미트에서는 유지되고, 음의 이점이 있는 트레이드미트에서는 반전되며, 결과적으로 정규화된 응답 분포를 생성한다. 이는 '트레이드미트 밸런스'를 통해 구현되며, 별도의 토큰 수준 흉내 손실 없이 이루어진다.

기술적 접근법

**FlowBalance**: 정규화된 응답 분포를 학습하는 검증기 기반 자기 개선 방법.
**Frozen training-time view**: 동일 정책의 훈련 시점 고정 버전이 토큰 수준 로그 확률 이득을 생성.
**Trajectory-level self-guidance score**: 토큰 수준 이득을 트레이드미트 수준 점수로 집계.
**Verifier-derived group advantage**: 점수 방향을 결정.
**Profiled trajectory balance**: 정규화된 타겟 분포를 한 로그-파티션 추정치로 피팅.
**Energy function**: 가이드라인 점수와 검증기 이점을 결합하여 정규화된 분포를 생성.
**Hyperparameters**: `η_A = 15`, `β_G = 1`가 기본값이며, `η_A ∈ {5, 10, 15}`, `β_G ∈ {1, 2, 3}`로 실험적으로 조정.

주요 결과

Qwen3-4B와 Qwen3-8B에서 FlowRL 대비 평균 성능 개선.
AIME24 진단에서 올바른 전략 다양성 증가.
훈련 안정성 향상 및 OPSD의 응답 길이 축소 문제 회피.
FlowBalance는 FlowRL 대비 AIME24, HMMT25, MATH500, OlympiadBench 등 4개 벤치마크 평균 성능을 개선함.

의의 및 한계

FlowBalance는 수학적 추론에서 정확한 추론 확률을 증가시키고, 유용한 대안 전략을 보존하는 데 기여한다. 특히, 검증기 기반의 희소 피드백과 밀집된 자기 가이드라인의 결합을 통해 안정적인 자기 개선을 가능하게 한다. 그러나 FlowBalance는 외부 모델 없이 동일 정책의 훈련 시점 정보만 사용하므로, 외부 정보나 더 복잡한 상호작용이 필요한 상황에서는 한계가 있을 수 있다. 또한, 훈련 과정에서 하이퍼파라미터 조정이 필요하며, 이는 실험적 조정을 요구한다.

실용적 활용

FlowBalance는 수학 문제 해결, 과학적 추론, 복잡한 논리적 추론 등 정확성과 전략 다양성이 중요한 AI 모델 훈련에 적용 가능하다. 특히, 대규모 언어 모델의 자기 개선 및 정책 최적화 과정에서 유용하게 활용될 수 있다.