When Teachers Mislead: Spurious-Signal-Aware On-Policy Distillation

On-Policy distillation (OPD) transfers teacher capabilities by supervising student-sampled trajectories with dense token-level teacher signals. Recent selective OPD methods improve this process by prioritizing signals that are confident, informative, or learnable. However, the assumptions overlook a fundamental failure mode of language models: their token-level judgments can be driven by input-agnostic language priors, formatting conventions, or stereotyped reasoning templates rather than task-specific evidence. We refer to such optimization-relevant but weakly input-grounded supervision as spurious signals in OPD, which may produce large gradients while contributing little task-improving direction. To mitigate this issue, we propose SA-OPD, a Spurious-Signal-Aware On-Policy Distillation framework that identifies and filters misleading token-level supervision based on input-groundedness and optimization impact. SA-OPD introduces a lightweight input-groundedness proxy estimating whether a token-level distillation signal truly depends on the input. It then filters only tokens that simultaneously exhibit low input-groundedness and extreme distillation divergence, thereby removing high-impact spurious updates and achieving fine-grained OPD optimization. Extensive experiments on both large language model (LLM) and vision-language model (VLM) settings demonstrate that SA-OPD consistently outperforms Vanilla OPD and competitive selective methods. These results establish input-groundedness as a key dimension for OPD supervision selection and offer a simple, effective strategy for mitigating spurious updates.

한 줄 요약

SA-OPD는 입력에 약하게 의존하면서도 강한 영향을 미치는 가짜 신호를 필터링하여 온-정책 디스틸레이션의 안정성과 효과성을 향상시킨다.

핵심 기여도

**가짜 신호**(spurious signals)를 정의하고, 이는 입력에 약하게 의존하면서도 강한 학습 영향을 주는 신호임을 명시.
**SA-OPD**(Spurious-Signal-Aware On-Policy Distillation) 프레임워크를 제안, 입력-접지성(input-groundedness)을 기반으로 가짜 신호를 필터링.
**입력-접지성 프록시**(input-groundedness proxy)를 도입, 원본 입력과 no-prompt 조건에서의 토큰 발산을 비교하여 신호의 입력 의존성을 추정.
**LLM 및 VLM**(Large Language Model, Vision-Language Model)에서 Vanilla OPD와 경쟁적 선택적 방법 대비 일관된 성능 향상 보임.

핵심 아이디어

기존 온-정책 디스틸레이션(OPD)은 교사 모델의 토큰 수준 신호를 사용해 학습자 정책을 업데이트하지만, 이 신호가 입력에 약하게 의존하면서도 강한 학습 영향을 주는 경우가 있다. 이는 **가짜 신호**(spurious signals)로, 교사 모델의 언어 사전, 포맷팅 규칙, 템플릿적 추론 패턴에 기반한 편향된 판단에서 비롯된다. 예를 들어, 교사가 특정 답변 템플릿이나 반복된 문장 구조에 과도하게 높은 보상을 주는 경우, 이는 입력과 무관한 편향을 학습자에게 전달할 수 있다.

이에 **SA-OPD**는 **입력-접지성**(input-groundedness)을 기준으로 가짜 신호를 필터링한다. 입력-접지성은 원본 입력과 no-prompt 조건에서의 토큰 발산을 비교해 추정하며, **낮은 입력-접지성 + 높은 발산**(low input-groundedness and high divergence)을 동시에 만족하는 토큰만 제거한다. 이는 **가장 해로운 가짜 신호**를 정밀하게 제거함으로써, 신뢰성 있는 디스틸레이션을 가능하게 한다.

기술적 접근법

**입력-접지성 프록시**(input-groundedness proxy): 원본 입력과 no-prompt 조건에서의 토큰 발산을 비교하여 계산.
**필터링 기준**: 입력-접지성이 낮고, 교사-학생 발산이 높은 토큰만 제거.
**필터링 알고리즘**: 토큰 단위로 계산, 외부 라벨 없이도 작동.
**실험 환경**: LLM 및 VLM 설정에서 평가.
**하이퍼파라미터**: 명시되지 않음.

주요 결과

**수학적 추론, 시각 이해, 시각 추론** 벤치마크에서 Vanilla OPD 대비 일관된 성능 향상.
**VLM 및 LLM** 설정에서 경쟁적 선택적 OPD 기반 대비 개선.
**입력-접지성 기반 필터링**이 가짜 신호 제거에 효과적임을 입증.
**구체적 수치**: 명시되지 않음.

의의 및 한계

**의의**: 입력-접지성(input-groundedness)을 OPD 감독 선택의 핵심 차원으로 제시. 기존 방법들이 신호의 강도나 학습 가능성에만 집중한 한계를 보완.
**한계**: 입력-접지성 프록시는 간단한 비교 기반으로, 복잡한 입력-의존성은 정확히 포착하지 못할 수 있음.
**추가 개선 필요**: 다양한 입력 유형에 대한 일반화 가능성 검증 필요.

실용적 활용

**대규모 언어 모델**(LLM) 및 **시각-언어 모델**(VLM)의 효율적인 디스틸레이션에 적용 가능.
**입력-의존성 편향**(input-agnostic bias)이 중요한 문제인 추론, 생성, 멀티모달 작업에서 특히 유용.
**가벼운 필터링 프레임워크**로, 외부 라벨 없이도 즉시 활용 가능.