CurveBench: A Benchmark for Exact Topological Reasoning over Nested Jordan Curves

We introduce CurveBench, a benchmark for hierarchical topological reasoning from visual input. CurveBench consists of 756 images of pairwise non-intersecting Jordan curves across easy, polygonal, topographic-inspired, maze-like, and dense counting configurations. Each image is annotated with a rooted tree encoding the containment relations between planar regions. We formulate the task as structured prediction: given an image, a model must recover the full rooted containment tree induced by the curves. Despite the visual simplicity of the task, the strongest evaluated model, Gemini 3.1 Pro, achieves only 71.1\% tree-generation accuracy on CurveBench-Easy and 19.1\% on CurveBench-Hard. We further demonstrate benchmark utility through RLVR-style fine-tuning of open-weight vision-language models. Our trained Qwen3-VL-8B model improves over Qwen-3-VL-8B-Thinking from 2.8\% to 33.3\% tree-generation accuracy on CurveBench-Easy, exceeding GPT-5.4 and Claude Opus 4.5 under our evaluation protocol. The remaining gap, especially on CurveBench-Hard, shows that exact topology-aware visual reasoning remains far from solved.

📋 한 줄 요약

**[멀티모달 추론 · 벤치마크]** 시각 입력으로부터의 계층적 위상 추론을 평가하기 위해 비교차 Jordan 곡선의 포함 관계 트리 예측 과제 CurveBench를 제안한다.

🎯 핵심 기여도

비교차 Jordan 곡선 기반 이미지 756장으로 구성된 계층적 위상 추론 벤치마크 CurveBench 공개
easy / polygonal / topographic / maze-like / dense counting 등 다양한 난이도와 스타일의 구성 제공
각 이미지를 평면 영역 간 포함 관계의 루트 트리로 주석하여 구조 예측 문제로 정식화
오픈 웨이트 VLM에 대한 RLVR 스타일 파인튜닝으로 벤치마크의 학습 신호로서의 유용성 실증

💡 핵심 아이디어

"시각적 추론"이라는 모호한 영역을 비교차 Jordan 곡선의 포함 관계라는 위상적으로 명확한 구조 위에서 평가하면, 시각 단순성에도 불구하고 SOTA VLM의 정확한 위상 추론 한계를 드러낼 수 있다.

🔬 기술적 접근법

**모델/방법론**: 이미지 → 루트 트리(포함 관계) 구조 예측으로 과제 정식화
**핵심 기법**: RLVR 스타일 파인튜닝으로 Qwen3-VL-8B의 위상 추론 성능을 부트스트랩

📊 주요 결과

평가된 가장 강력한 모델 Gemini 3.1 Pro도 CurveBench-Easy에서 71.1%, CurveBench-Hard에서 19.1%에 그침
Qwen3-VL-8B을 RLVR 스타일로 파인튜닝하여 CurveBench-Easy에서 2.8% → 33.3%로 향상
본 평가 프로토콜 아래에서 파인튜닝된 모델이 GPT-5.4와 Claude Opus 4.5를 초과

💭 의의 및 한계

**의의**: 단순해 보이는 위상 추론조차 현행 VLM이 충분히 해결하지 못함을 보이고, RL 기반 파인튜닝의 가능성도 시사한다. **한계**: CurveBench-Hard에서의 잔여 격차가 크며 정확한 위상 인식이 일반화되지 않는다.

🚀 실용적 활용

VLM의 정확한 위상·계층 추론 능력 회귀 테스트
도면·지도·다이어그램 이해 모델의 평가 도구
RLVR 기반 비전 추론 파인튜닝의 검증 벤치마크