Visual CoT: Advancing Multi-Modal Language Models with a Comprehensive Dataset and Benchmark for Chain-of-Thought Reasoning

Multi-Modal Large Language Models (MLLMs) have demonstrated impressive performance in various VQA tasks. However, they often lack interpretability and struggle with complex visual inputs, especially when the resolution of the input image is high or when the interested region that could provide key information for answering the question is small. To address these challenges, we collect and introduce the large-scale Visual CoT dataset comprising 438k question-answer pairs, annotated with intermediate bounding boxes highlighting key regions essential for answering the questions. Additionally, about 98k pairs of them are annotated with detailed reasoning steps. Importantly, we propose a multi-turn processing pipeline that dynamically focuses on visual inputs and provides interpretable thoughts. We also introduce the related benchmark to evaluate the MLLMs in scenarios requiring specific local region identification. Extensive experiments demonstrate the effectiveness of our framework and shed light on better inference strategies. The Visual CoT dataset, benchmark, and pre-trained models are available on https://hao-shao.com/projects/viscot.html to support further research in this area.

한 줄 요약

Visual CoT는 438k 질문-답변 쌍을 포함한 대규모 데이터셋과 MLLM의 해석 가능성 향상을 위한 다단계 처리 파이프라인을 제안한다.

핵심 기여도

438k 질문-답변 쌍을 포함한 Visual CoT 데이터셋을 제안함.
98k 쌍에는 상세한 추론 단계와 중간 바운딩 박스가 포함됨.
다단계 처리 파이프라인을 통해 시각 정보에 동적으로 집중하고 해석 가능한 추론을 제공함.
Visual CoT 벤치마크를 통해 MLLM의 특정 지역 식별 능력을 평가할 수 있음.

핵심 아이디어

기존 MLLM은 시각 정보 처리 시 해석 가능성과 정확도에 한계가 있으며, 특히 고해상도 이미지나 작은 관심 영역에 대한 처리가 어려움. 이를 해결하기 위해 Visual CoT는 질문-답변 쌍에 바운딩 박스와 추론 단계를 추가하여 모델이 핵심 영역을 동적으로 식별하도록 유도함. 이는 인간이 시각 정보를 처리하는 방식을 모방한 것으로, 모델이 전체 이미지를 스캔한 후 핵심 영역에 집중하는 다단계 추론 과정을 구현함. 특히, Visual CoT 파이프라인은 원본 이미지와 세부 지역 이미지를 모두 이해하여 최종 답변을 생성함.

기술적 접근법

**Visual CoT 데이터셋**: 438k 질문-답변 쌍, 98k 쌍에는 추론 단계와 바운딩 박스 포함.
**다단계 처리 파이프라인**: 이미지의 전체 맥락을 이해한 후, 핵심 지역을 동적으로 식별하고 확대하여 처리.
**Visual Sampler**: 확대된 크롭(Cropped) 영역을 사용하여 더 많은 이미지 맥락을 포함.
**Token 효율성 실험**: 224, 336, 448 해상도에서 토큰 사용량과 정확도 비교. 224 해상도에서 448 해상도보다 정확도가 높음.
**BBox 선택 전략 실험**: Ground Truth 바운딩 박스 사용 시 성능이 가장 높음. Random 선택은 기존 파이프라인과 유사한 성능을 보임.

주요 결과

Visual CoT 파이프라인은 224 해상도에서 448 해상도의 기존 파이프라인보다 정확도가 높음.
Ground Truth 바운딩 박스를 사용할 경우, 기존 파이프라인 대비 성능이 크게 향상됨.
중앙 영역 선택 전략은 Random 선택보다 성능 개선을 보임.
확장 크롭(Expanded Cropping) 전략은 더 많은 이미지 맥락을 포함하여 성능 향상에 기여함.

의의 및 한계

Visual CoT는 MLLM의 해석 가능성과 시각 추론 능력을 동시에 향상시키는 새로운 접근법을 제시함. 특히, 바운딩 박스와 추론 단계를 통해 모델이 어떻게 답변에 도달하는지를 명확히 보여주며, 연구자들이 추론 과정을 분석하고 개선할 수 있도록 지원함. 그러나, 현재 데이터셋은 5개 도메인에만 제한되어 있으며, 더 다양한 시각적 상황을 다루는 데이터 확장을 필요로 함. 또한, 바운딩 박스 예측 정확도가 모델 전체 성능에 큰 영향을 미치므로, 정확한 객체 식별 기술의 개선이 필수적임.

실용적 활용

Visual CoT는 의료 영상 분석, 자율 주행, 보안 감시 등에서 시각 정보를 정확히 해석하고 추론하는 MLLM의 활용을 촉진할 수 있음. 특히, 시각 추론 과정을 해석 가능한 형태로 제공함으로써, 모델 신뢰도를 높이고 오류 원인을 분석하는 데 유용함.