Breaking Failure Cascades: Step-Aware Reinforcement Learning for Medical Multimodal Reasoning

Recent multimodal large language models have shown great promise in clinical image reasoning, but existing post-training pipelines remain predominantly outcome-centric, relying on final answer correctness or sequence-level preferences. This suffers from sparse credit assignment, making it difficult to optimize the reasoning process essential for clinical applications. Our analysis reveals that cascading errors from early-stage reasoning failures are a leading cause of incorrect predictions in medical visual question answering (VQA) benchmarks. Motivated by this, we propose Medical Reasoning-aware Policy Optimization (MRPO), an RL algorithm that incorporates step-wise process rewards. When the final answer is incorrect, MRPO assigns exponentially larger penalties to tokens in earlier invalid reasoning steps, breaking failure cascades without compromising successful paths. Across three multimodal LLM backbones, MRPO consistently outperforms standard GRPO and a recent RL baseline, and on Qwen3-VL-8B-Instruct even surpasses substantially larger medical MLLMs such as HuatuoGPT-Vision-34B by 2.79 points. Moreover, MRPO reduces early-stage reasoning failures from 64.0% to 13.0%, showing that targeted mitigation of cascading failures improves both reasoning quality and final answer accuracy. Our code is available at https://github.com/dmis-lab/MRPO

한 줄 요약

의료 멀티모달 추론에서 초기 추론 오류를 억제하기 위해 단계별 보상 기반 강화학습 알고리즘 MRPO를 제안하여 최대 2.79점의 성능 향상과 64.0% → 13.0%의 초기 오류 감소를 달성했다.

핵심 기여도

MRPO는 GRPO 기반의 강화학습 알고리즘으로, 최종 답변이 틀렸을 때 초기 추론 단계에 지수적으로 큰 패널티를 부여하여 오류 캐스케이드를 억제한다.
Qwen3-VL-8B-Instruct 모델에서 HuatuoGPT-Vision-34B 대비 2.79점의 성능 향상을 달성했다.
초기 추론 실패 비율을 64.0%에서 13.0%로 감소시켜 추론 품질과 최종 정확도를 동시에 개선했다.
13K 개의 학습 샘플로도 GRPO와 GDPO를 포함한 기존 기법을 상회하는 성능을 보였다.

핵심 아이디어

기존 의료 멀티모달 추론 모델은 최종 답변 정확도에만 집중하여 초기 추론 오류를 적절히 보상하지 못해 오류가 캐스케이드 형태로 누적되는 문제를 겪는다. 본 연구는 이 문제를 해결하기 위해 MRPO라는 새로운 강화학습 알고리즘을 제안한다. MRPO는 외부 판단 모델(GPT-5-mini)을 활용해 각 추론 단계의 유효성을 평가하고, 최종 답변이 틀렸을 경우 초기 단계에 지수적으로 큰 패널티를 부여함으로써 오류의 근본 원인을 억제한다. 이는 단순히 최종 결과에만 의존하는 GRPO와 달리, 추론 과정 자체를 단계별로 모니터링하고 개선하는 새로운 접근법이다.

기술적 접근법

**MRPO 알고리즘**: GRPO 기반의 강화학습 알고리즘으로, 단계별 추론 보상(step-wise reasoning process reward)을 도입하여 초기 오류에 지수적으로 큰 패널티를 부여한다.
**외부 판단 모델**: GPT-5-mini를 사용해 각 추론 단계의 유효성을 평가하며, 두 가지 지표(Gold Alignment, Answer Contribution)를 통해 단계별 유효성을 측정한다.
**학습 데이터**: 13K 개의 학습 샘플로, Qwen2.5-VL-7B-Instruct, Qwen3-VL-8B-Instruct, InternVL3-8B-Instruct 세 가지 멀티모달 LLM 백본에 적용.
**평가 데이터셋**: VQA-RAD, SLAKE, PathVQA, PMC-VQA, VQA-Med-2021 등 5개 이상의 의료 멀티모달 VQA 데이터셋 사용.

주요 결과

**Qwen3-VL-8B-Instruct 모델에서 HuatuoGPT-Vision-34B 대비 2.79점의 성능 향상**.
**초기 추론 실패 비율 감소**: 64.0% → 13.0% (FAR 감소 포함).
**MRPO는 GRPO와 GDPO를 포함한 기존 기법을 상회하는 성능을 보임**.
**13K 개의 학습 샘플로도 대규모 의료 멀티모달 모델과 유사한 성능 달성**.

의의 및 한계

MRPO는 의료 멀티모달 추론에서 초기 오류 캐스케이드 문제를 직접적으로 해결함으로써 추론 품질과 최종 정확도를 동시에 향상시킨다. 이는 기존의 결과 중심 학습 접근법의 한계를 극복하고, 의료 분야에서 신뢰성 있는 추론 모델 개발에 기여할 수 있다. 그러나 외부 판단 모델(GPT-5-mini)에 의존하는 평가 방식은 모델 간의 편향이 발생할 수 있으며, 실제 의료 환경에서의 일반화 능력은 추가 실험을 통해 검증이 필요하다. 또한, 학습 샘플 수가 13K로 제한적이기 때문에 더 많은 데이터를 활용한 실험도 필요하다.

실용적 활용

MRPO는 의료 영상 진단, 병리 분석, 방사선학 등에서 사용되는 멀티모달 추론 시스템에 적용 가능하다. 특히, 초기 오류를 감지하고 억제함으로써 의료 AI의 신뢰도를 높이는 데 기여할 수 있으며, 대규모 의료 데이터를 필요로 하지 않아 의료 기관에서의 실용적 도입이 용이하다.