PCSD: Persistent Consistency for Self-Distillation in Agentic Reinforcement Learning

Large language model agents have shown strong potential in complex interactive tasks, yet their reinforcement learning (RL) is often hindered by sparse rewards, as a long multi-turn trajectory may receive only a single outcome-level signal. On-policy self-distillation (OPSD) provides dense token-level supervision from a privileged teacher, but the teacher may not be reliable at every position. Existing methods commonly rely on isolated token-level discrepancies, which can be sensitive to noise, or assign a shared step-level weight that may overlook positional variation. We propose Persistent Consistency Self-Distillation (PCSD), which derives token-level distillation weights from the local persistence of teacher-favoring signals. PCSD combines adaptive windows with exponentially decayed aggregation to capture persistent relative teacher support, applies trend-aware modulation to attenuate locally declining support, and produces continuous weights through sigmoid gating. The resulting objective is jointly optimized with GRPO, combining dense teacher guidance with sparse environmental feedback. Without inference-time skills, PCSD achieves the best ALFWorld Overall results among all baselines on both backbones, exceeding GRPO by 15.6 and 13.3 points and SDAR by 6.2 and 5.5 points, while remaining competitive on WebShop and gaining 15.8 points over GRPO on unseen ALFWorld split.

한 줄 요약

PCSD는 강화학습에서 토큰 수준의 지도 신뢰도를 지속적 일관성으로 추정하여 성능을 향상시키는 자기-디스틸레이션 방법이다.

핵심 기여도

PCSD는 토큰 수준의 지도 신뢰도를 **지속적 일관성**(persistent consistency)으로 추정하여, 기존 방법보다 더 안정적이고 정확한 자기-디스틸레이션을 제공한다.
**적응형 윈도우**(adaptive window)와 **지수 감소 집계**(exponentially decayed aggregation)를 결합하여 지역적 신뢰도를 캡처하고, **트렌드 인식 변조**(trend-aware modulation)와 **시그모이드 게이팅**(sigmoid gating)을 통해 신뢰도를 연속적인 가중치로 변환한다.
ALFWorld 데이터셋에서 GRPO 대비 **15.6점과 13.3점**, SDAR 대비 **6.2점과 5.5점**의 성능 향상을 달성한다.
**추론 시 기술 없이도** 기존 기반 모델에서 최고 성능을 보인다.

핵심 아이디어

기존 자기-디스틸레이션 방법은 토큰 수준의 단일 차이 또는 단계 수준의 평균 가중치를 사용하여 신뢰도를 추정하지만, 이는 노이즈에 민감하거나 위치별 차이를 무시할 수 있다. PCSD는 **지속적 일관성**(persistent consistency)이라는 개념을 도입하여, 특정 토큰에서의 신뢰도를 그 주변 토큰들의 일관된 지도 신뢰도 패턴으로 추정한다. 이는 단일 토큰의 노이즈를 줄이고, 신뢰도가 높은 지역을 효과적으로 식별할 수 있게 한다.

PCSD는 세 가지 주요 메커니즘을 통해 이를 구현한다:
1. **적응형 윈도우**(adaptive window): 지역적 토큰 차이의 통계적 특성에 따라 윈도우 크기를 조정하여, 노이즈가 많은 영역에서는 넓은 윈도우를, 안정적인 영역에서는 좁은 윈도우를 사용한다.
2. **지수 감소 집계**(exponentially decayed aggregation): 가까운 토큰에 더 높은 가중치를 부여하여 위치적 로컬리티를 유지한다.
3. **트렌드 인식 변조**(trend-aware modulation)와 **시그모이드 게이팅**(sigmoid gating): 신뢰도가 감소하는 지역에서는 신뢰도를 감소시키고, 연속적인 토큰 수준의 가중치를 생성한다.

기술적 접근법

**PCSD**(Persistent Consistency Self-Distillation)는 토큰 수준의 **샘플 로그 확률 간 차이**(log-probability gap)를 기반으로 지속적 일관성을 추정한다.
**지속적 일관성 추정**: 토큰 간 일관된 지도 신뢰도를 측정하기 위해 **지수 감소 가중치**(exponentially decayed weights)를 사용한 지역적 집계를 수행한다.
**트렌드 인식 변조**(trend-aware modulation): 신뢰도가 감소하는 지역에서는 신뢰도를 감소시키는 메커니즘을 도입하여 불안정한 신호를 억제한다.
**시그모이드 게이팅**(sigmoid gating): 신뢰도를 연속적인 토큰 수준의 가중치로 매핑하여, 디스틸레이션 손실에 적용한다.
**GRPO**(Group Relative Policy Optimization)와 **결합 최적화**(joint optimization)를 통해, 토큰 수준의 지도와 희소한 환경 피드백을 결합한다.

주요 결과

**ALFWorld** 데이터셋에서 PCSD는 GRPO 대비 **15.6점과 13.3점**, SDAR 대비 **6.2점과 5.5점**의 성능 향상을 달성한다.
**WebShop**에서도 경쟁력 있는 성능을 보이며, **15.8점**의 개선을 기록한다.
**미확인**(unseen) ALFWorld 분할에서도 GRPO 대비 **15.8점**의 성능 향상을 보인다.
**모델 백본**(backbone)에 관계없이 일관된 성능 향상을 보인다.

의의 및 한계

PCSD는 토큰 수준의 지도 신뢰도를 지역적 일관성으로 추정함으로써, 기존 자기-디스틸레이션 방법의 단점을 극복한다. 특히, **지속적 신뢰도 추정**은 노이즈에 대한 내성을 높이고, **지역적 신뢰도 패턴**을 효과적으로 활용할 수 있다. 이는 복잡한 상호작용 환경에서 강화학습 성능을 향상시키는 데 중요한 기여를 한다.

그러나 PCSD는 **고정된 하이퍼파라미터**(fixed hyperparameters)와 **고정된 교사**(frozen teacher)를 사용하기 때문에, **동적 환경 변화**에 대한 적응력이 제한적이다. 또한, **지속적 신뢰도 추정**은 지역적 패턴에만 의존하기 때문에, **전역적 신뢰도 구조**를 포착하지 못할 수 있다. 향후 연구에서는 **맥락에 따른 가중치 조정**과 **온라인 상호작용을 통한 자기 진화 디스틸레이션**(self-evolving distillation) 방향으로 확장할 수 있다.

실용적 활용

PCSD는 복잡한 대화형 작업, 예를 들어 ALFWorld와 WebShop과 같은 환경에서 강화학습 기반 대형 언어 모델 에이전트의 성능을 향상시키는 데 유용하다. 특히, 희소 보상(sparse reward) 환경에서 토큰 수준