DAPD: Dual-Anchored Policy Distillation

On-policy (self) distillation (OPSD) is increasingly adopted for language-model post-training. It strengthens the teacher with privileged information but can induce a privilege illusion: the student learns privilege-dependent behavior it cannot reproduce from its inference-time context, yet behaves as if the training-time privileged information remained available, ultimately degrading performance. In this paper, we identify information asymmetry between the privileged teacher and the student at inference as the root cause of this failure in OPSD. To resolve this asymmetry, we propose Dual-Anchored Policy Distillation (DAPD), a unified framework with two levels of anchoring. Dual-Path Anchoring (DPA) introduces a self-conditioned bridge and aligns reference and rollout behavior along two matched-information paths, preventing privilege-dependent behavior from being transferred to the inference-time student. Dual-Source Anchoring (DSA) applies these paths in both reference-to-rollout and rollout-to-reference directions, reducing reliance on privileged reference guidance while preserving correctness supervision. Extensive experiments show that DAPD significantly alleviates privilege illusion, outperforming OPSD on Qwen3-4B by +2.00 points on average across tasks. Notably, its gains persist across scales, reaching +2.69 at 4B and +2.78 at 32B.

한 줄 요약

DAPD는 정보 비대칭 문제를 해결해 on-policy distillation에서의 privilege illusion을 완화하고, Qwen3-4B에서 평균 +2.00점 개선을 달성한 새로운 정책 증류 프레임워크이다.

핵심 기여도

정보 비대칭이 on-policy distillation의 실패 원인임을 명확히 규명.
DAPD 프레임워크를 제안: Dual-Path Anchoring (DPA)와 Dual-Source Anchoring (DSA) 모듈을 결합.
Qwen3-4B에서 평균 +2.00점, 4B 모델에서 +2.69점, 32B 모델에서 +2.78점의 성능 향상.
기존 방법과 달리 모델 규모 증가에도 개선 효과 유지.

핵심 아이디어

On-policy distillation(OPS)는 강화 학습이나 지도 학습 대비 더 밀집된 토큰 수준의 지도를 제공하지만, 학습 시 제공되는 특권 정보(privileged information)를 추론 시점에 사용할 수 없어 "privilege illusion"이라는 문제를 유발한다. 이는 학습된 정책이 실제 추론 시 특권 정보 없이도 동일한 성능을 낼 것처럼 행동하게 만든다. 본 연구는 이 문제의 근본 원인을 "정보 비대칭"으로 진단하고, 이를 해결하기 위해 DAPD를 제안한다. DAPD는 두 가지 핵심 아이디어를 기반으로 한다: (1) 정보가 일치하는 상황에서 정책을 정렬하는 "Dual-Path Anchoring", (2) 참조와 롤아웃 경로를 모두 활용해 지도의 균형을 맞추는 "Dual-Source Anchoring". 이는 기존 방법이 단일 지도원만 사용하는 한계를 극복한다.

기술적 접근법

**DAPD 프레임워크**:
**Dual-Path Anchoring (DPA)**:
Self-conditioned bridge를 도입해 참조와 롤아웃 행동을 두 개의 일치 정보 경로로 정렬.
Unconditioned path와 Privileged path를 통해 Entangled Distillation과 Inference Anchor, Privileged Anchor를 결합.
**Dual-Source Anchoring (DSA)**:
참조→롤아웃과 롤아웃→참조 방향 모두에서 경로를 적용.
참조는 정확성 지도, 롤아웃은 학습 가능 행동 지도를 제공.
**데이터셋**: 6개 벤치마크(추론, 코딩, 명령 수행)에서 실험.
**모델**: Qwen3-1.7B ~ 32B 모델에서 평가.
**하이퍼파라미터**: 명시되지 않음.

주요 결과

Qwen3-4B 모델에서 평균 +2.00점 개선.
4B 모델에서 +2.69점, 32B 모델에서 +2.78점 개선.
기존 OPSD는 모델 규모 증가에 따라 성능 개선이 사라지지만, DAPD는 모든 규모에서 안정적인 개선 유지.
제어 실험을 통해 정보 비대칭 메커니즘과 경로/원천 효과 검증.

의의 및 한계

DAPD는 기존 on-policy distillation의 핵심 문제인 정보 비대칭을 직접적으로 해결함으로써, 추론 시 특권 정보 없이도 정확한 행동을 유도하는 새로운 방식을 제시한다. 특히, DPA와 DSA의 결합은 기존의 단일 지도원에 의존하는 방법의 한계를 극복하고, 참조와 롤아웃의 보완적 지도를 활용하는 새로운 패러다임을 제시한다. 그러나 DAPD는 특정 모델 아키텍처(Qwen3)에서 평가되었으며, 다른 모델이나 도메인에서의 일반화 가능성은 추가 연구가 필요하다. 또한, 하이퍼파라미터 세부 사항이 명시되지 않아 재현성 측면에서 한계가 있다.

실용적 활용

DAPD는 대규모 언어 모델의 추론 안정성과 정확도를 향상시키는 데 유용하며, 특히 특권 정보가 포함된 학습 환경에서 추론 시 정보가 제한된 상황에서 활용 가능하다. 예를 들어, 코드 생성, 논리 추론, 복잡한 질의 응답 시스템 등에서 실용적 성능 향상을 기대할 수 있다.