Bridging Interleaved Multi-Modal Reasoning as a Unified Decision Process

Unified multi-modal models (UMMs) have shown promising interleaved text-image reasoning capabilities, yet effectively optimizing such multi-turn generation via reinforcement learning (RL) remains an open challenge. Existing approaches apply RL exclusively to text steps, relegating image generation to supervised surrogates, preventing policy gradients from propagating through the full interleaved trajectory across heterogeneous modalities. This leaves the potential of RL for UMMs largely untapped. In the paper, we introduce BRAID (Bridging inteRleAved multI-modal reasoning as a unified Decision process), a simple framework that casts multi-turn text-image-text reasoning as a unified Markov decision process (MDP), enabling joint optimization of textual and visual generation via a single, principled RL objective. BRAID computes a shared trajectory-level advantage and propagates it coherently into both text tokens and image denoising paths, each optimized through its modality-native policy gradient mechanism. To further address long-horizon credit assignment, BRAID employs a vision-language model (VLM) judge that scores each intermediate image on its reasoning utility, supplying dense turn-level feedback to sharpen learning at critical visual branches. Experiments on spatial reasoning and visual perception benchmarks show that BRAID consistently outperforms various baselines, confirming that a unified MDP formulation with vision-thinking guidance is essential for effective multi-modal reasoning.

한 줄 요약

BRAID는 텍스트-이미지-텍스트 추론을 하나의 MDP로 통합하여, RL을 통해 텍스트와 이미지 생성을 동시에 최적화하는 새로운 프레임워크이다.

핵심 기여도

BRAID는 텍스트와 이미지 생성을 하나의 MDP로 통합하여, 기존 RL 기반 접근에서 이미지 생성이 제외되는 문제를 해결함.
BRAID는 공유된 trajectory-level advantage를 계산하고, 이를 텍스트 토큰과 이미지 디노이징 경로로 전파하여 각각의 모달리티 고유 정책 기울기로 최적화함.
VLM judge를 도입하여 중간 이미지의 추론 유용성을 평가하고, 이에 기반한 밀집된 턴 수준 피드백을 제공함.
7개 벤치마크에서 평균 +5.73% 개선, 특히 SAT(+14.00%)와 V*Bench(+10.76%)에서 두드러진 성능 향상.

핵심 아이디어

기존 연구는 RL을 텍스트 단계에만 적용하고, 이미지 생성은 감독 학습으로 대체하여, 전체 텍스트-이미지-텍스트 추론 경로에서 정책 기울기가 전파되지 못하는 문제를 겪고 있었다. BRAID는 이를 해결하기 위해, 텍스트와 이미지 생성을 하나의 MDP로 통합하고, 공유된 trajectory-level advantage를 계산하여 텍스트 토큰과 이미지 디노이징 경로로 전파함으로써, 각각의 모달리티 고유 정책 기울기로 최적화한다. 특히, BRAID는 이미지 생성 과정에서 Flow Matching 기반의 likelihood-free 정책 최적화를 적용하며, VLM judge를 통해 중간 이미지의 추론 유용성을 평가하여 밀집된 턴 수준 피드백을 제공함으로써, 장기적 credit assignment 문제를 해결한다.

기술적 접근법

BRAID는 텍스트-이미지-텍스트 추론을 하나의 MDP로 모델링하며, 텍스트 토큰 생성은 autoregressive likelihood, 이미지 생성은 flow-matching 기반의 likelihood-free 정책 최적화를 적용함.
공유 trajectory-level advantage는 텍스트와 이미지 경로로 전파되어, 각각의 모달리티 고유 정책 기울기로 최적화됨.
VLM judge는 중간 이미지의 추론 유용성을 평가하고, 이에 기반한 턴 수준 reward인 $ r^{\text{vis}} $를 생성하여 학습을 강화함.
RL 학습 시, rollout batch size는 64, update batch size는 32로 설정하며, DiffusionNFT의 경우 $ \beta = 0.4 $, sampling steps는 20으로 사용됨.

주요 결과

7개 벤치마크에서 평균 +5.73% 개선됨.
SAT 데이터셋에서 +14.00%, V*Bench에서 +10.76% 개선됨.
Maj@n n 실험에서 BRAID는 샘플링 예산이 증가함에 따라 솔루션 공간이 효율적으로 확장됨.
BRAID는 COOPER와 DeepEyes와 비교하여, 이미지 생성 경로를 RL에 통합함으로써 더 높은 정확도를 달성함.

의의 및 한계

BRAID는 텍스트와 이미지 생성을 하나의 MDP로 통합하여, 기존 RL 기반 접근에서 이미지 생성이 제외되는 문제를 해결하며, 텍스트-이미지-텍스트 추론의 전체 경로에서 정책 기울기가 전파될 수 있도록 했다는 점에서 학술적 의의가 있다. 특히, VLM judge를 통해 중간 이미지의 추론 유용성을 평가하는 방식은 장기적 credit assignment 문제를 해결하는 데 기여한다. 그러나 BRAID는 여전히 텍스트와 이미지 경로의 scale 차이로 인한 최적화 난이도가 존재하며, rollout-to-update 비율이 높아지면 학습 안정성이 저하될 수 있다는 한계가 있다.

실용적 활용

BRAID는 시공간 추론, 시각 인지 등 복잡한 텍스트-이미지-텍스트 추론이 필요한 산업 분야(예: 로봇, 자율주행, 디지털 콘텐츠 생성)에서 활용될 수 있다. 특히, 이미지 생성 과정을 RL에 통합함으로써, 시각 정보를 기반으로 한 새로운 추론 전략을 자동으로 발견할 수 있어, 인공지능 모델의 유연성과 생성 능력을 향상시킬 수 있다.