LlamaV-o1: Rethinking Step-by-step Visual Reasoning in LLMs

Reasoning is a fundamental capability for solving complex multi-step problems, particularly in visual contexts where sequential step-wise understanding is essential. Existing approaches lack a comprehensive framework for evaluating visual reasoning and do not emphasize step-wise problem-solving. To this end, we propose a comprehensive framework for advancing step-by-step visual reasoning in large language models (LMMs) through three key contributions. First, we introduce a visual reasoning benchmark specifically designed to evaluate multi-step reasoning tasks. The benchmark presents a diverse set of challenges with eight different categories ranging from complex visual perception to scientific reasoning with over 4k reasoning steps in total, enabling robust evaluation of LLMs' abilities to perform accurate and interpretable visual reasoning across multiple steps. Second, we propose a novel metric that assesses visual reasoning quality at the granularity of individual steps, emphasizing both correctness and logical coherence. The proposed metric offers deeper insights into reasoning performance compared to traditional end-task accuracy metrics. Third, we present a new multimodal visual reasoning model, named LlamaV-o1, trained using a multi-step curriculum learning approach, where tasks are progressively organized to facilitate incremental skill acquisition and problem-solving. The proposed LlamaV-o1 is designed for multi-step reasoning and learns step-by-step through a structured training paradigm. Extensive experiments show that our LlamaV-o1 outperforms existing open-source models and performs favorably against close-source proprietary models. Compared to the recent Llava-CoT, our LlamaV-o1 achieves an average score of 67.3 with an absolute gain of 3.8\% across six benchmarks while being 5 times faster during inference scaling. Our benchmark, model, and code are publicly available.

한 줄 요약

LlamaV-o1은 다단계 시각적 추론을 위한 새로운 벤치마크, 평가 지표, 및 커리큘럼 학습 기반 모델을 제안하여 기존 모델 대비 3.8% 개선된 성능과 5배 빠른 추론 속도를 달성한다.

핵심 기여도

VRC-Bench: 8개 범주, 1,000개 샘플, 4,173개 수동 검증된 추론 단계를 포함한 다단계 시각적 추론 벤치마크.
Step-level 평가 지표: Faithfulness-Step, Informativeness-Step, Hallucination, Redundancy 등을 기반으로 한 추론 단계별 정확성과 논리적 일관성을 평가.
LlamaV-o1: 커리큘럼 학습과 Beam Search를 결합한 다단계 추론 모델로, Llava-CoT 대비 3.8% 점수 상승과 5× 빠른 추론 성능을 달성.

핵심 아이디어

기존 시각적 추론 연구는 단계별 추론 과정을 평가하지 못하며, 대부분 최종 정답 정확도에만 집중하고 있다. 이를 해결하기 위해, 본 연구는 **VRC-Bench**라는 다단계 추론 벤치마크를 도입하여, 각 단계의 정확성과 일관성을 평가하는 새로운 지표를 제안한다. 또한, **LlamaV-o1** 모델은 **커리큘럼 학습**과 **Beam Search**를 결합하여, 단계별로 복잡도가 증가하는 작업을 학습함으로써 추론 능력을 점진적으로 향상시킨다. 이는 인간의 인지 과정을 모방한 구조로, 모델이 단계별로 추론 경로를 최적화하고, 오류를 줄이며 더 정확하고 해석 가능한 결과를 도출하도록 돕는다.

기술적 접근법

**VRC-Bench**: 8개 범주(예: Math & Logic Reasoning, Scientific Reasoning 등), 1,000개 샘플, 4,173개 수동 검증된 추론 단계.
**평가 지표**: GPT-4o 기반, **Faithfulness-Step**, **Informativeness-Step**, **Hallucination**, **Redundancy**를 포함한 단계별 평가.
**LlamaV-o1**: **PixMo**, **LLaVA-CoT-100k** 데이터셋을 사용한 학습. **커리큘럼 학습**을 통해 단계별로 복잡도 증가 작업(예: 요약 생성 → 다단계 추론)을 학습. **Beam Search**를 통해 추론 경로 최적화.

주요 결과

**VRC-Bench**에서 LlamaV-o1은 **68.93%**의 단계별 점수를 달성.
기존 모델인 **Llava-CoT** 대비 **67.3 평균 점수, 3.8% 절대 개선**.
**6개 벤치마크**(MMStar, MMBench 등)에서 평균 **67.33%** 달성, Llava-CoT(63.50%) 대비 3.83% 개선.
**추론 속도**: Llava-CoT 대비 **5× 빠름**.
**OCR & Document Understanding** 범주에서 **93.44%**, **Scientific Reasoning**에서 **86.75%** 달성.

의의 및 한계

본 연구는 시각적 추론 분야에서 단계별 평가와 학습의 중요성을 강조하며, **VRC-Bench**와 **단계별 평가 지표**를 통해 모델의 추론 과정을 정확히 평가할 수 있는 기반을 마련했다. **커리큘럼 학습**과 **Beam Search**의 결합은 모델의 추론 정확성과 해석성을 동시에 향상시키는 데 기여하며, **LlamaV-o1**은 기존 오픈소스 모델 대비 뛰어난 성능을 보인다. 그러나, **VRC-Bench**는 여전히 **제한된 샘플 수**와 **수동 검증에 의존**하는 점에서 확장성에 한계가 있으며, **더 다양한 도메인**과 **자동화된 평가 시스템** 개발이 필요하다.

실용적 활용

LlamaV-o1은 복잡한 시각 정보를 다루는 분야(예: 의료 영상 해석, 과학적 추론, 문서 이해)에서 활용 가능하며, **단계별 추론 과정의 해석 가능성**이 요구되는 산업(예: 자율주행, 법적 문서 분석)에도 적용 가능하다. 특히, **커리큘럼 학습 기반 학습 전략**은 다양한 도메인에서의 모델 개발에 유용한 틀을 제공한다.