Visual Contrastive Self-Distillation

On-policy self-distillation (OPSD) is promising as it removes the external teacher required by on-policy distillation (OPD), yet it still needs asymmetric information between teacher and student to ensure that the self-teacher provides a stronger learning signal than the student. Existing methods create this asymmetry either through privileged answers or visual evidence. We ask whether both can be removed, yielding a simpler form of OPSD driven purely by input conditioning. For this purpose, we propose Visual Contrastive Self-Distillation, namely VCSD, which converts image-content removal into an on-policy self-distillation signal. At each student-generated response prefix, the EMA teacher produces two next-token distributions under the same prompt and prefix -- one conditioned on the original image and the other on a content-erased control. Their token-wise log-probability difference highlights candidates whose likelihood is specifically increased by the instance-level visual content. We use this contrast to sharpen the teacher's original-image distribution within its plausible support, and distill the resulting full-distribution target into the student. Using ViRL39K dataset, VCSD consistently outperforms matched OPSD across Qwen3-VL and Qwen3.5 models. For example, on Qwen3-VL, it improves the seven-benchmark aggregate from 62.27% rightarrow 67.04% at 2B, 71.30% rightarrow 73.16% at 4B, and 72.51% rightarrow 76.26% at 8B. Furthermore, VCSD requires no external teacher, privileged answers, visual evidence signals, reasoning traces, or additional inference-time cost.

한 줄 요약

VCSD는 시각 정보의 조건 변화를 활용한 간단한 온-포로피 시스드(VCSD)로, 외부 티처 없이 모델 성능을 향상시킨다.

핵심 기여도

VCSD는 특권 답변(privileged answers)이나 시각 증거(visual evidence) 없이 입력 조건(input conditioning)만으로 온-포로피 시스드(On-Policy Self-Distillation, OPSD)의 비대칭 정보를 구축함.
VCSD는 원본 이미지와 콘텐츠 삭제 이미지의 토큰 로-확률(log-probability) 차이를 활용해 티처의 분포를 날카롭게 하여 학습 신호를 생성함.
ViRL39K 데이터셋에서 Qwen3-VL 모델의 8B 버전에서 72.51% → 76.26%의 성능 향상 기록함.
VCSD는 외부 티처, 특권 답변, 시각 증거, 추론 비용 증가 없이 작동함.

핵심 아이디어

기존의 온-포로피 시스드(OPSD)는 학생과 티처 간 비대칭 정보(예: 특권 답변, 시각 증거)를 필요로 했으나, VCSD는 이 비대칭 정보를 완전히 제거하고 입력 조건만으로 학습 신호를 생성한다. 학생이 생성한 응답 프리픽스(response prefix)에서 EMA 티처가 원본 이미지와 콘텐츠 삭제 이미지의 두 가지 조건에서 각각 토큰 분포를 생성하고, 이 분포 간 로-확률 차이를 통해 시각 정보에 의존적인 토큰을 식별한다. 이 차이를 활용해 티처의 원본 이미지 분포를 날카롭게 하여 학습 타겟을 정의한다. 이 방식은 시각 조건의 변화를 직접 학습 신호로 활용하는 것이 핵심이며, 기존의 복잡한 보조 정보를 필요로 하지 않는다.

기술적 접근법

**VCSD 모듈**: EMA(지수 이동 평균) 티처가 동일한 프롬프트와 프리픽스에서 원본 이미지와 콘텐츠 삭제 이미지의 두 가지 조건에서 토큰 분포를 생성함.
**토큰 로-확률 차이 계산**: 두 조건의 로-확률(log-probability) 차이를 계산하여 시각 정보에 의존적인 토큰을 식별함.
**분포 날카로움(sharpening)**: 원본 이미지 분포는 콘텐츠 삭제 조건의 분포와 비교하여 날카롭게 조정됨.
**전방 KL 손실**: 학습된 전체 분포 타겟을 학생 모델에 전달하기 위해 forward KL 손실을 사용함.
**데이터셋**: ViRL39K 데이터셋을 사용함.
**모델**: Qwen3-VL과 Qwen3.5 모델(2B ~ 9B 파라미터)에서 평가됨.

주요 결과

Qwen3-VL 모델에서 2B, 4B, 8B 버전에서 각각 62.27% → 67.04%, 71.30% → 73.16%, 72.51% → 76.26%의 성능 향상 기록됨.
Qwen3.5 모델에서는 기존 베이스 모델 대비 2.9% ~ 4.3%의 성능 향상 기록됨.
VCSD는 기존 OPSD 기반 모델보다 모든 모델 크기에서 일관된 성능 향상을 보임.

의의 및 한계

VCSD는 기존 온-포로피 시스드에서 필요한 특권 답변이나 시각 증거 없이 입력 조건만으로 학습 신호를 생성함으로써 모델 학습의 복잡도를 줄이고, 외부 티처나 추가 인프라 없이도 성능을 향상시킬 수 있다는 점에서 학술적·실용적 가치가 있다. 특히, 시각-언어 모델에서의 성능 향상은 실제 응용 시나리오에서의 활용 가능성을 높인다. 그러나 VCSD는 이미지 콘텐츠 삭제 기법에 의존하므로, 특정 유형의 이미지나 텍스트 조합에서는 효과가 제한될 수 있다. 또한, 콘텐츠 삭제 과정에서 중요한 시각 정보가 누락될 가능성도 존재한다.

실용적 활용

VCSD는 시각-언어 모델의 학습 과정에서 외부 티처나 복잡한 보조 정보 없이도 성능을 향상시킬 수 있어, 대규모 모델 학습 및 추론 비용 절감에 유용하다. 특히, 이미지 콘텐츠 기반의 추론이 필요한 의료, 자동차, 보안 분야에서 실용적 활용이 기대된다.