Recent Omni LLMs (OLLMs) have demonstrated remarkable capabilities in joint audio-visual reasoning, yet cross-modal hallucinations remain a major challenge. Existing mitigation methods mainly operate at the output level, overlooking the entanglement of grounding evidence and learned priors within fused representations. To address this issue, we propose Omni-Woodpecker (OWP), a training-free framework that shifts hallucination mitigation from output-level manipulation to conflict-conditioned representation rebalancing. Specifically, OWP first identifies cross-modal conflicts from complementary modality-specific views. It then employs orthogonal decomposition to separate grounding evidence from competing priors within the hidden states. Finally, OWP adaptively rebalances fused representations by suppressing misleading priors and restoring ignored evidence before decoding. Extensive experiments demonstrate the effectiveness and strong cross-architecture generalization of OWP. Using Qwen2.5-Omni-7B as the backbone, OWP improves performance by 12.9 and 8.6 points on CMM and AVHBench, respectively, while consistently achieving gains of 0.67-2.25 points across four general OLLM reasoning benchmarks. Furthermore, OWP generalizes effectively to VideoLLaMA2-AV, improving performance by 4.6 and 3.9 points on the same benchmarks. Code is publicly available at https://github.com/ZiiJianLiu/Omni-Woodpecker
한 줄 요약
Omni-Woodpecker는 훈련 없이 OLLM 내 크로스-모달 환각을 해결하기 위해 증거와 학습된 사전 정보를 분리하고 재균형을 맞추는 프레임워크이다.
핵심 기여도
- 훈련 없이 기존 OLLM의 내부 표현을 조정하여 환각을 억제 (OWP).
- CMM에서 12.9점, AVHBench에서 8.6점 개선.
- Qwen2.5-Omni-7B와 VideoLLaMA2-AV에서 모두 4개 벤치마크에서 0.67–2.25점의 일관된 성능 향상.
- 정직한 사전 정보 억제와 무시된 증거 복원을 통해 정확도 향상.
핵심 아이디어
기존 방법은 주로 최종 출력 단계에서 환각을 조정하는 데 집중했으나, Omni-Woodpecker는 내부 표현 수준에서 문제를 해결한다. OWP는 첫째, 모달별 보기를 통해 크로스-모달 충돌을 식별한다. 둘째, 정직한 증거와 학습된 사전 정보를 분리하기 위해 직교 분해(orthogonal decomposition)를 사용한다. 마지막으로, 해독 전에 오도하는 사전 정보를 억제하고 무시된 증거를 복원함으로써 표현을 재균형한다. 이는 기존 방법이 표현 내 복잡한 상호작용을 무시한 한계를 극복한다.
기술적 접근법
- **모듈명**: Omni-Woodpecker (OWP)
- **알고리즘 단계**:
1. 모달별 충돌 식별 (cross-modal conflict identification)
2. 직교 분해 (orthogonal decomposition)를 통한 증거-사전 정보 분리
3. 해독 전 표현 재균형 (adaptive rebalancing of fused representations)
- **모델**: Qwen2.5-Omni-7B, VideoLLaMA2-AV
- **데이터셋**: CMM, AVHBench, 4개 일반 OLLM 추론 벤치마크
주요 결과
- Qwen2.5-Omni-7B 기반에서 CMM에서 12.9점, AVHBench에서 8.6점 개선.
- 4개 일반 OLLM 추론 벤치마크에서 0.67–2.25점의 일관된 성능 향상.
- VideoLLaMA2-AV에서 CMM 4.6점, AVHBench 3.9점 개선.
의의 및 한계
OWP는 훈련 없이 기존 OLLM의 내부 표현을 조정함으로써 환각을 효과적으로 억제하며, 다양한 아키텍처에 걸쳐 강력한 일반화 능력을 보인다. 이는 OLLM의 신뢰성과 실용성을 높이는 데 기여할 수 있다. 그러나 OWP는 기존 모델의 내부 표현 구조에 의존하므로, 표현 구조가 크게 다를 경우 성능이 저하될 수 있다. 또한, 특정 도메인에 최적화된 모델에는 일반화가 제한될 수 있다.
실용적 활용
OWP는 멀티모달 대화 시스템, 자동 콘텐츠 생성, 영상 기반 질의 응답 등에서 OLLM의 신뢰성을 높이는 데 활용될 수 있다. 특히, 정확한 정보 기반의 결정이 필요한 산업 현장에서 유용할 것으로 기대된다.