Insight-V: Exploring Long-Chain Visual Reasoning with Multimodal Large Language Models

Large Language Models (LLMs) demonstrate enhanced capabilities and reliability by reasoning more, evolving from Chain-of-Thought prompting to product-level solutions like OpenAI o1. Despite various efforts to improve LLM reasoning, high-quality long-chain reasoning data and optimized training pipelines still remain inadequately explored in vision-language tasks. In this paper, we present InsightV, an early effort to 1) scalably produce long and robust reasoning data for complex multi-modal tasks, and 2) an effective training pipeline to enhance the reasoning capabilities of multi-modal large language models (MLLMs). Specifically, to create long and structured reasoning data without human labor, we design a two-step pipeline with a progressive strategy to generate sufficiently long and diverse reasoning paths and a multi-granularity assessment method to ensure data quality. We observe that directly supervising MLLMs with such long and complex reasoning data will not yield ideal reasoning ability. To tackle this problem, we design a multi-agent system consisting of a reasoning agent dedicated to performing long-chain reasoning and a summary agent trained to judge and summarize reasoning results. We further incorporate an iterative DPO algorithm to enhance the reasoning agent’s generation stability and quality. Based on the popular LLaVA-NeXT model and our stronger base MLLM, we demonstrate significant performance gains across challenging multi-modal benchmarks requiring visual reasoning. Benefiting from our multi-agent system, Insight-V can also easily maintain or improve performance on perception-focused multi-modal tasks.

한 줄 요약

Insight-V는 시각-언어 작업에서 장거리 추론 능력을 향상시키기 위해 데이터 생성 파이프라인과 멀티에이전트 시스템을 결합한 MLLM 훈련 프레임워크이다.

핵심 기여도

**두 단계 데이터 생성 파이프라인**을 통해 인간 노동 없이 구조화되고 다양한 추론 경로를 생성.
**멀티에이전트 시스템**(reasoning agent + summary agent)을 도입하여 추론 과정을 분리하고 품질 향상.
**반복적 DPO 알고리즘**을 적용하여 추론 에이전트의 안정성과 생성 품질 향상.
LLaVA-NeXT 기반 모델에서 7개 시각 추론 벤치마크에서 평균 7.0% 성능 향상.

핵심 아이디어

기존 MLLM은 시각 추론 작업에서 인간 수준의 추론 능력을 갖추는 데 어려움을 겪고 있으며, 이는 주로 **고품질 장거리 추론 데이터 부족**과 **효율적인 훈련 전략 부재**에 기인한다. Insight-V는 이 문제를 해결하기 위해 **자동화된 데이터 생성 파이프라인**과 **멀티에이전트 훈련 시스템**을 결합한 새로운 접근법을 제안한다.

구체적으로, Insight-V는 **progressive strategy**를 사용하여 다양한 추론 경로를 생성하고, **multi-granularity assessment method**를 통해 데이터 품질을 보장한다. 또한, 추론 과정을 두 단계로 분리한 **reasoning agent**와 **summary agent**를 도입하여 추론 품질을 향상시키며, **iterative DPO 알고리즘**을 통해 추론 에이전트의 안정성과 정확도를 반복적으로 개선한다. 이는 기존 단일 에이전트 기반 훈련 방식보다 추론 과정의 명확성과 정확도를 높이는 데 기여한다.

기술적 접근법

**데이터 생성 파이프라인**:
**progressive strategy**를 사용하여 구조화되고 다양한 추론 경로 생성.
**multi-granularity assessment method**를 통해 추론 경로의 품질을 다층적으로 평가.
**멀티에이전트 시스템**:
**reasoning agent**: 입력 쿼리에 대한 상세한 추론 과정 생성.
**summary agent**: 추론 과정을 평가하고 선택적으로 질문에 답변.
**훈련 알고리즘**:
**iterative DPO (Direct Preference Optimization)** 알고리즘을 사용하여 추론 에이전트의 생성 품질 향상.
**기반 모델**:
LLaVA-NeXT와 더 강력한 base MLLM을 사용하여 성능 검증.

주요 결과

**LLaVA-NeXT 기반 모델**에서 7개 시각 추론 벤치마크에서 평균 **+7.0%** 성능 향상.
**강력한 base MLLM**에서 **+2.9%** 성능 향상.
**TextVQA, DocVQA, OCRBench, AI2D** 등 시각 인식 중심 벤치마크에서도 성능 유지 또는 향상.
DPO 적용 후 모델은 시각 추론 능력 향상과 동시에 표준 시각 인식 벤치마크에서 경쟁력 있는 성능 유지.

의의 및 한계

Insight-V는 시각-언어 작업에서 장거리 추론 능력을 향상시키기 위한 **자동화된 데이터 생성**과 **멀티에이전트 훈련**을 결합한 첫 시도로, MLLM의 추론 능력 향상을 위한 새로운 기반을 제공한다. 특히, **human-free 데이터 생성**과 **DPO 기반 훈련**은 추론 품질 향상에 중요한 기여를 하며, **LLaVA-NeXT 기반 모델**에서의 성능 향상은 실용적 가치를 입증한다.

그러나, Insight-V는 **시각 추론 데이터 생성의 자동화 수준**과 **멀티에이전트 시스템의 확장성**에 대한 한계가 있을 수 있다. 또한, **복잡한 다단계 추론 작업**에서는 추가적인 훈련 전략이 필요할 수 있다.

실용적 활용

Insight-V는 **자율주행**, **로봇**, **의료 영상 분석**, **문서 이해** 등 시각-언어 추론이 필요한 산업 분야에 적용 가능하다. 특히, **복잡한 시각 정보를 기반으로 단계별 추론이 필요한 시스템**에서 유용하며, **LLM 기반 챗봇**이나 **AI 어시스턴트**에도 시각 추론 능력을 부여할 수 있다.