Self-Supervised Visual On-Policy Distillation

Visual on-policy distillation relies heavily on an informative teacher-student asymmetry, through either a larger, stronger teacher or privileged supervision, such as reference answers or ground-truth regions of interest. This raises a fundamental question: where can informative asymmetry come from when nothing privileged is available? We answer this by inverting where the asymmetry comes from. Rather than adding privileged information to the teacher, we subtract information from the student. This asymmetry creates the same effective learning signal for free as a teacher with access to information unavailable to the student, without ground-truth annotations, rewards, or a separate stronger teacher model. Building on this principle, we introduce Self-Supervised Visual On-Policy Distillation (S^2VOPD), a simple yet effective method that constructs on-policy learning signals from asymmetric augmented views. S^2VOPD distills the teacher's distribution conditioned on the original image on-policy into the student distribution conditioned on a strongly augmented view of the same image. We systematically explore a broad design space of visual augmentations and uncover that (1) asymmetry matters: all four augmentation families improve performance, while symmetric self-distillation degrades it; (2) strength matters: performance peaks at a moderate strength; and (3) the gap must remain task-consistent: augmentations that completely remove the question-relevant evidence can induce large but uninformative discrepancies. Across six fine-grained perception benchmarks, S^2VOPD improves Qwen3.5-4B from 70.7% to 77.4%, above all open-source models compared, up to Qwen3-VL at 235B, and surpasses GPT-5.4. While holding training data the same, it recovers 96% of the improvement achieved by methods with privileged information. Website is at https://williamium3000.github.io/s2vopd

한 줄 요약

S²VOPD는 강화된 학습 신호를 생성하기 위해 학습자의 입력에 정보를 제거하는 방식으로, 특권 정보 없이도 정교한 시각 인식 성능을 향상시킨다.

핵심 기여도

S²VOPD는 학습자 입력에 강한 증강(예: 0.3–0.6× 해상도 축소 + 가우시안 노이즈)을 적용하여, 교사-학습자 간 정보 격차를 생성함.
6개의 미세 인식 벤치마크에서 Qwen3.5-4B 모델의 정확도를 70.7% → 77.4%로 향상시킴.
특권 정보를 사용하는 방법 대비 96%의 성능 개선을 재현함.
교사 모델의 업데이트 속도와 발산 함수(JSD) 선택에 대해 분석, JSD가 가장 효과적임을 밝힘.

핵심 아이디어

기존의 on-policy distillation(OPD)은 강력한 교사 모델이나 특권 정보(예: 정답, ROI)를 필요로 했으나, S²VOPD는 학습자 측에 정보를 제거함으로써 자연스럽게 정보 격차를 유도한다. 교사는 원본 이미지를, 학습자는 강하게 증강된 이미지를 처리하며, 이는 학습자에게 복원해야 할 예측 타겟을 제공한다. 이 방식은 정답 라벨, 보상, 별도의 강력한 교사 없이도 유의미한 학습 신호를 생성한다. 핵심 통찰은 증강을 통해 생성된 정보 격차가 학습의 핵심 동력이 될 수 있다는 점이다.

기술적 접근법

**모델 구조**: EMA(지수 이동 평균) 교사 모델을 사용. 학습자는 강한 증강 이미지(0.3–0.6× 해상도 + 가우시안 노이즈)를 입력으로 받음.
**학습 방식**: 교사 분포는 원본 이미지에 조건을 주고, 학습자 분포는 증강 이미지에 조건을 주어 on-policy 방식으로 지도함.
**하이퍼파라미터**: EMA 업데이트 속도(0.95–0.999)는 성능에 큰 영향을 주지 않음.
**발산 함수**: Jensen–Shannon Divergence(JSD)가 forward KL, reverse KL보다 성능이 우수함. JSD는 학습자에게 과도한 세부 재현 압박 없이 유용한 정보를 전달함.

주요 결과

Qwen3.5-4B 모델에서 6개의 미세 인식 벤치마크에서 평균 정확도 70.7% → 77.4% (6.7% 향상).
Qwen3-VL-Instruct-235B(75.8%)와 GPT-5.4(72.8%)를 초과함.
수학적 추론 능력도 +3.7% 향상됨.
특권 정보를 사용하는 방법 대비 96%의 성능 개선을 재현함.
증강이 너무 강할 경우(예: 과도한 크롭) 성능이 저하됨.

의의 및 한계

S²VOPD는 특권 정보 없이도 모델의 자체 예측을 학습 신호로 활용할 수 있음을 보여주며, 대규모 모델에서의 인식 및 추론 성능을 동시에 향상시킨다. 특히, 기존의 self-rewarding RL 방법이 추론 능력을 유지하지만 인식 성능이 낮은 반면, S²VOPD는 둘을 모두 향상시킨다는 점에서 차별화된다. 그러나 증강 강도나 종류가 과도하면 학습 신호가 무의미해질 수 있으며, 이는 정량적 조정이 필요하다는 한계를 드러낸다.

실용적 활용

S²VOPD는 대규모 시각 언어 모델의 미세 인식 및 수학적 추론 능력을 향상시키는 데 활용 가능하다. 특히, 라벨이 부족하거나 특권 정보를 얻기 어려운 실제 산업 환경에서 유용하며, 비용 효율적인 모델 훈련 전략으로도 활용될 수 있다.