Multimodal Continuous Reasoning via Asymmetric Mutual Variational Learning

Multimodal Large Language Models (MLLMs) are often constrained by a language-space bottleneck, forcing complex visual reasoning into discrete tokens which can lose perceptual nuance. A promising alternative is continuous latent reasoning, where the goal is to discover implicit reasoning pathways that bridge the multimodal query and the final answer. However, this introduces a severe train-inference mismatch: a training-time posterior, conditioned on the ground-truth answer, can exploit answer-dependent shortcuts. Standard variational training then forces the inference-time prior to mimic a posterior that has access to information unavailable at test time, leading to poor performance. To address this, we propose Asymmetric Mutual Variational Learning (AMVL), a framework that resolves this mismatch via a bidirectional calibration objective. A forward KL divergence trains the target-agnostic prior to match the posterior, while a novel reverse KL divergence simultaneously regularizes the posterior, preventing it from collapsing into inference-incompatible regions and mitigating this ``answer leakage''. We provide theoretical analysis formalizing this leakage as prior contamination and prove that our dual-KL objective reduces it. We instantiate AMVL in a latent-integrated MLLM and show that it consistently outperforms strong discrete and latent-reasoning baselines, improving the average score on the complex BLINK benchmark by +10.83 and achieving gains of up to +32.00 on individual reasoning tasks, with analyses confirming improved latent-space stability.

한 줄 요약

AMVL은 MLLM의 연속 잠재 공간 추론에서 학습-추론 불일치를 해결하는 비대칭 변분 학습 프레임워크로, BLINK 벤치마크에서 평균 +10.83 개선을 달성한다.

핵심 기여도

학습-추론 불일치를 이론적으로 정식화하고, 이에 기반한 **비대칭 양방향 KL 최적화**를 제안.
**forward KL**로 prior를 posterior에 맞춤, **reverse KL**로 posterior를 prior에 맞춰 조절하여 **prior contamination**을 감소.
**BLINK** 벤치마크에서 기존 방법 대비 평균 +10.83, 최대 +32.00 개선.
**latent token 수 k=8, 차원 d=512**로 최적 성능 달성.

핵심 아이디어

기존 MLLM은 시각 정보를 언어 토큰으로 변환하는 과정에서 **language-space bottleneck**에 직면한다. 이는 복잡한 시각 추론을 손실 있는 이산 공간으로 강제하는 문제를 유발한다. 이를 해결하기 위해 **continuous latent reasoning**이 제안되지만, 학습 시 **ground-truth answer**에 의존하는 posterior가 추론 시 정보가 없는 prior를 훈련시키는 **train-inference mismatch**가 발생한다. 이 문제를 해결하기 위해 AMVL은 **prior와 posterior 간의 비대칭 양방향 KL 최적화**를 도입한다. forward KL은 prior를 posterior에 맞추고, reverse KL은 posterior가 prior의 범위를 벗어나지 않도록 제한한다. 이는 **prior contamination**을 이론적으로 정식화하고, 이를 줄이는 **dual-KL objective**를 제안한 점에서 혁신적이다.

기술적 접근법

**AMVL**은 **latent-integrated MLLM**에 구현되며, **lightweight variational heads**를 통해 효율적.
핵심 알고리즘:
**forward KL divergence**: target-agnostic prior를 posterior에 맞춤.
**reverse KL divergence**: posterior가 prior의 범위를 벗어나지 않도록 제한.
**latent token 수 k=8, 차원 d=512**로 최적 성능.
**loss weight, stop-gradient, inference-time sampling** 등 다양한 하이퍼파라미터 실험을 통해 안정성 검증.

주요 결과

**BLINK** 벤치마크에서 기존 방법 대비 평균 +10.83, 최대 +32.00 개선.
**latent-spread analysis**를 통해 forward KL은 prior를 개선, reverse KL은 posterior의 불필요한 변동을 억제.
**k=8, d=512**가 최적 구성으로, k=16, d=768은 성능 저하.
**NTP baseline** 대비 AMVL이 학습-추론 불일치를 효과적으로 해결.

의의 및 한계

AMVL은 MLLM에서 **continuous latent reasoning**을 가능하게 하며, **prior contamination** 문제를 이론적으로 해결한 점에서 학술적 의의가 크다. 특히, **discrete CoT**나 **hand-crafted supervision**에 의존하지 않고, **self-contained latent signal**을 통해 추론 공간을 발견하는 방식은 실용적 적용 가능성이 높다. 다만, **latent token 수와 차원**의 선택은 데이터에 따라 민감하게 반응하며, **over-parameterization**가 성능 저하를 유발할 수 있다는 한계가 있다. 또한, **real-time inference** 환경에서의 성능은 추가 실험 필요.

실용적 활용

AMVL은 **복잡한 시각 추론**, **다단계 추론**, **정밀 시각 추상화**가 필요한 **로봇 비전**, **의료 영상 해석**, **교육 AI** 등에서 활용 가능하다. 특히, **continuous latent space**를 기반으로 한 추론은 **hallucination 감소**, **정밀 시각 정보 유지**에 유리하며, **대규모 MLLM**에 효율적으로 통합 가능하다.