LlaVA-CoT: Let Vision Language Models Reason Step-By-Step

Large language models have demonstrated substantial advancements in reasoning capabilities. However, current Vision-Language Models (VLMs) often struggle to perform systematic and structured reasoning, especially when handling complex visual question-answering tasks. In this work, we introduce LLaVA-COT11Our LLaVA-CoT is built upon Llama-3.2-Vision model [43]., a large VLM designed to conduct autonomous multistage reasoning. Unlike chain-of-thought prompting, LLaVA-COT independently engages in sequential stages of summarization, visual interpretation, logical reasoning, and conclusion generation. This structured approach enables LLaVA-CoT to achieve marked improvements on reasoning-intensive tasks. To accomplish this, we construct the LLaVA-COT-100k dataset, integrating samples from various visual question answering sources and providing structured reasoning annotations. Besides, we propose a test-time stage-wise retracing search method (SWIRES), which enables effective and efficient testtime scaling. Remarkably, with only 100 k training samples and test-time scaling, LLaVA-COT not only outperforms its base model by $\mathbf{9. 4 \%}$ on a wide range of multimodal reasoning benchmarks, but also surpasses the performance of larger and even closed-source models, such as Gemini-1.5pro, GPT-4o-mini, and Llama-3.2-90B-Vision-Instruct. The code, dataset, and pre-trained weights are publicly available at https://github.com/PKU-YuanGroup/LLaVA-CoT.

한 줄 요약

LLaVA-CoT는 시각적 추론을 단계별로 수행하는 VLM으로, 10만 개의 데이터셋과 SWIRES를 통해 기존 모델을 9.4% 초과.

핵심 기여도

LLaVA-CoT-100k 데이터셋 구축 (100k 샘플, 구조화된 추론 어노테이션 포함).
테스트 시 단계별 재추적 검색 알고리즘 SWIRES 제안.
베이스 모델 대비 9.4% 성능 향상 (Gemini-1.5pro, GPT-4o-mini, Llama-3.2-90B-Vision-Instruct 포함).
Llama-3.2-Vision 기반으로 구조화된 단계적 추론 수행.

핵심 아이디어

LLaVA-CoT는 기존 체인-오브-서스(Chain-of-Thought) 프롬프팅과 달리, 시스템적으로 단계별 추론을 수행한다. 모델은 요약, 시각 해석, 논리적 추론, 결론 생성의 4단계를 독립적으로 처리함으로써 복잡한 시각 질문에 대한 구조화된 응답을 가능하게 한다. 이는 단순한 프롬프팅이 아닌 모델 내부의 추론 능력을 강화하는 접근법이다. 특히, SWIRES 알고리즘은 테스트 시 단계별 추론 경로를 재추적하며 최적의 결과를 도출함으로써 추론 효율성을 높인다.

기술적 접근법

모델 기반: Llama-3.2-Vision.
데이터셋: LLaVA-COT-100k (100,000 샘플, 다양한 VQA 출처 통합).
추론 단계: 요약 → 시각 해석 → 논리적 추론 → 결론 생성.
테스트 시 알고리즘: SWIRES (Stage-wise Retracing Search).
학습 샘플 수: 100,000개.

주요 결과

다양한 멀티모달 추론 벤치마크에서 베이스 모델 대비 9.4% 성능 향상.
Gemini-1.5pro, GPT-4o-mini, Llama-3.2-90B-Vision-Instruct를 초과.
구조화된 추론 어노테이션을 사용한 훈련 효과를 입증.

의의 및 한계

LLaVA-CoT는 시각 언어 모델의 추론 능력을 구조화된 단계로 분리하여 향상시킨 점에서 학술적 의의가 있다. 특히, SWIRES 알고리즘은 테스트 시 추론 효율성을 높이는 실용적 기여를 한다. 그러나 10만 샘플만으로 기존 대형 모델을 능가한 점은 훈련 데이터의 질과 어노테이션의 효과에 의존한다는 한계가 있다. 또한, 실제 산업 환경에서의 대규모 데이터 적용 가능성은 추가 연구가 필요하다.

실용적 활용

LLaVA-CoT는 복잡한 시각 질문 답변 시스템, 자동화된 이미지 분석, 멀티모달 챗봇 등에 적용 가능하다. 특히, 구조화된 추론이 필요한 의료, 교육, 법률 분야에서 활용도가 높을 것으로 기대된다.