SoTA with Less: MCTS-Guided Sample Selection for Data-Efficient Visual Reasoning Self-Improvement

We introduce ThinkLite-VL, a family of visual reasoning models that achieve state-of-the-art (SoTA) performance using an order of magnitude fewer training samples, relying purely on reinforcement fine-tuning (RFT) self-improvement without any knowledge distillation. Our central insight is that sample difficulty critically influences RFT effectiveness: appropriately challenging examples can drive substantial reasoning improvements, even in low-data regimes. However, quantifying sample difficulty in a reliable and scalable manner remains non-trivial. To address this, we repurpose Monte Carlo Tree Search (MCTS) to measure sample difficulty via the number of reasoning iterations a vision-language model (VLM) requires to solve each instance. This MCTS-based selection procedure identifies samples that induce deeper reasoning while remaining solvable, allowing us to filter a high-quality subset from 70k open-source examples spanning math, natural image understanding, and chart comprehension. Using this approach, we select just 11k challenging samples for RFT on Qwen2.5-VL-7B-Instruct and 7.5k samples for Qwen2.5-VL-72B-Instruct. The resulting models, ThinkLite-VL-7B and ThinkLite-VL-72B, significantly outperform their respective base models across eight visual reasoning benchmarks. In particular, ThinkLite-VL-7B improves the average performance of Qwen2.5-VL-7B-Instruct by 7\% and surpasses all existing 7B-level models, as well as much larger models such as GPT-4o, O1 and Qwen2.5-VL-72B, achieving a new SoTA score of 75.1 on MathVista. ThinkLite-VL-72B further advances the SoTA frontier, achieving an accuracy of 79.7 on MathVista and an average benchmark improvement of 4.42 over the open-source SOTA. These results demonstrate that MCTS-guided difficulty filtering provides a scalable and effective path toward data-efficient self-improvement in multimodal reasoning.

한 줄 요약

ThinkLite-VL은 MCTS 기반 샘플 선택을 통해 소량의 데이터로 시각 추론 성능을 대폭 향상시키는 시스템이다.

핵심 기여도

MCTS를 활용한 샘플 난이도 측정을 통해 70k 샘플 중 11k와 7.5k의 고난이도 샘플을 선별.
ThinkLite-VL-7B는 Qwen2.5-VL-7B-Instruct 기반 모델 대비 평균 7% 성능 향상.
ThinkLite-VL-72B는 MathVista에서 79.7% 정확도 달성, 기존 최고 기록 75.1% 상회.
지식 증류 없이도 강력한 성능 개선을 달성한 첫 사례.

핵심 아이디어

기존 연구는 VLM의 자기 개선을 위해 지식 증류나 지도 학습을 의존했으나, 본 연구는 샘플 난이도가 학습 효과에 핵심적인 역할을 한다는 통찰을 바탕으로 새로운 접근법을 제안한다. 난이도는 MCTS를 통해 정량화되며, 이는 모델이 특정 샘플을 해결하기 위해 필요한 추론 반복 횟수로 정의된다. 이는 기존의 추상적 난이도 평가와 달리, 실제 모델의 추론 과정을 기반으로 한 정확한 측정 방법이다. MCTS는 기존에는 추론 단계에서 사용되던 알고리즘이지만, 본 연구에서는 학습 샘플 선정 단계에 재사용되어 샘플 난이도를 정량화하는 데 활용된다.

기술적 접근법

**MCTS 기반 샘플 선정**: 샘플 난이도는 VLM이 MCTS를 통해 문제를 해결하는 데 필요한 반복 횟수로 정의.
**초기 데이터셋**: 70k 개의 오픈소스 샘플 (수학, 자연 이미지, 차트 해석).
**선정된 샘플 수**: Qwen2.5-VL-7B-Instruct 기반 11k, Qwen2.5-VL-72B-Instruct 기반 7.5k.
**학습 방식**: 지식 증류 없이 RFT (Reinforcement Fine-Tuning)만 사용.
**모델**: ThinkLite-VL-7B, ThinkLite-VL-72B.

주요 결과

**ThinkLite-VL-7B**: Qwen2.5-VL-7B-Instruct 기반 모델 대비 평균 성능 7% 향상 (59.69% → 64.18%).
**ThinkLite-VL-7B**: MathVista에서 75.1% 달성 (기존 7B 모델 및 GPT-4o, Qwen2.5-VL-72B 상회).
**ThinkLite-VL-72B**: MathVista에서 79.7% 달성 (기존 최고 기록 75.1% 상회).
**ThinkLite-VL-72B**: 평균 벤치마크 성능 4.42% 향상 (68.25% → 72.67%).

의의 및 한계

ThinkLite-VL은 지식 증류 없이도 VLM의 자기 개선이 가능하다는 점에서 혁신적이다. MCTS 기반 샘플 선정은 난이도를 정량화하고, 학습 효율을 극대화하는 새로운 방법론을 제시한다. 특히, 7B 및 72B 규모의 모델 모두에서 뛰어난 성능을 보이며, 소량의 데이터로도 최고 수준의 성능을 달성할 수 있음을 입증한다. 그러나 MCTS 기반 샘플 선정은 계산 비용이 높으며, 대규모 데이터셋에서는 확장성이 한계가 있을 수 있다. 또한, 샘플 난이도 측정이 모델 종속적일 수 있어, 다른 모델에 일반화하기 어려울 수 있다.

실용적 활용

ThinkLite-VL은 데이터 수집이 어려운 환경에서 VLM을 효율적으로 학습시키는 데 유용하다. 특히, 교육, 의료, 산업 분야에서 시각 정보를 기반으로 한 추론이 필요한 시스템에 적용 가능하다. MCTS 기반 샘플 선정은 데이터 과학자들이 소량의 고질 데이터로 모델 성능을 극대화하는 데 활용할 수 있는 실용적 도구로 기능한다.