Boosting Omni-Modal Language Models: Staged Post-Training with Visually Debiased Evaluation

Omni-modal language models are intended to jointly understand audio, visual inputs, and language, but benchmark gains can be inflated when visual evidence alone is enough to answer a query. We study whether current omni-modal benchmarks separate visual shortcuts from genuine audio-visual-language evidence integration, and how post-training behaves under a visually debiased evaluation setting. We audit nine omni-modal benchmarks with visual-only probing, remove visually solvable queries, and retain full subsets when filtering is undefined or would make comparisons unstable. This yields OmniClean, a cleaned evaluation view with 8,551 retained queries from 16,968 audited queries. On OmniClean, we evaluate OmniBoost, a three-stage post-training recipe based on Qwen2.5-Omni-3B: mixed bi-modal SFT, mixed-modality RLVR, and SFT on self-distilled data. Balanced bi-modal SFT gives limited and uneven gains, RLVR provides the first broad improvement, and self-distillation reshapes the benchmark profile. After SFT on self-distilled data, the 3B model reaches performance comparable to, and in aggregate slightly above, Qwen3-Omni-30B-A3B-Instruct without using a stronger omni-modal teacher. These results show that omni-modal progress is easier to interpret when evaluation controls visual leakage, and that small omni-modal models can benefit from staged post-training with self-distilled omni-query supervision. Project page: https://cheliu-computation.github.io/omni/

📋 한 줄 요약

**[옴니모달 LLM / 평가·학습]** 시각 단서만으로 풀리는 질문을 제거한 평가 셋 OmniClean과 3단계 사후학습 레시피 OmniBoost로 3B 옴니모달 모델이 30B 모델에 필적함을 보임.

🎯 핵심 기여도

옴니모달 벤치마크가 시각 단서만으로 답할 수 있는 질의를 다수 포함해 성능을 과대평가한다는 문제를 9개 벤치마크 audit으로 정량 확인.
visual-only probing으로 시각 단서만으로 풀리는 질문을 제거하고 16,968개 audit 질문 중 8,551개를 보존한 OmniClean 평가 뷰 제작.
Qwen2.5-Omni-3B 기반의 3단계 사후학습 OmniBoost 도입: (i) 혼합 bi-modal SFT, (ii) 혼합 모달리티 RLVR, (iii) 자기증류 데이터에 대한 SFT.
OmniClean에서 자기증류 SFT 이후 3B 모델이 더 강한 옴니모달 teacher 없이도 Qwen3-Omni-30B-A3B-Instruct에 필적, 종합적으로는 약간 상회.

💡 핵심 아이디어

"옴니모달 성능 향상"은 평가 단계의 시각 누수를 통제할 때 비로소 해석 가능해지며, 작은 모델도 self-distilled omni-query supervision을 활용한 단계적 사후학습으로 큰 모델 수준에 도달할 수 있다.

🔬 기술적 접근법

**모델/방법론**: Qwen2.5-Omni-3B 기반의 3단계 후속학습 OmniBoost, 시각 누수 제거 평가 뷰 OmniClean.
**핵심 기법**: visual-only probing으로 시각 해결 가능 질문 필터링, 단계별로 mixed bi-modal SFT → mixed-modality RLVR → self-distilled omni-query 데이터에 대한 SFT 적용.

📊 주요 결과

9개 벤치마크 audit 결과 16,968→8,551 질문이 OmniClean에 보존.
균형 잡힌 bi-modal SFT는 작은 이득, RLVR이 첫 번째 광범위 개선을 제공.
자기증류 SFT 이후 3B 모델이 30B 모델에 평균적으로 약간 상회.

💭 의의 및 한계

**의의**: 옴니모달 평가의 신뢰성을 회복하면서 소형 모델 사후학습의 새로운 천장을 제시. **한계**: visual-only probing이 자동화되지 않은 일부 벤치마크는 보존 처리, hazard taxonomy·언어 적용 범위는 본문 가정에 의존.

🚀 실용적 활용

옴니모달 모델 개발팀의 평가 신뢰성 강화 도구.
소형 옴니모달 모델을 비용 효율적으로 강화하는 사후학습 레시피.
시각 누수 진단을 다른 멀티모달 벤치마크로 확장 적용.