CoWorld Reasoner: Agentic Multimodal Reasoning with the Evolving Video World Model-Driven Harness

As Vision-Language Models (VLMs) advance, they are increasingly expected to perform spatiotemporal reasoning over motion, actions, and view changes beyond what the input images show. Video World Models (VWMs) provide a natural unified engine for visual imagination by generating task-relevant visual content as additional evidence. However, existing approaches typically invoke a VWM through fixed pipelines centered on a predefined form of visual imagination, such as novel-view synthesis. To support flexible visual imagination for diverse reasoning tasks, we introduce CoWorld Reasoner, an agentic framework that uses a VWM as a unified visual reasoning engine. Its Video World Model-Driven Harness exposes multiple visual operations through tools and uses skills to guide the VLM in deciding whether to imagine, selecting an operation, constructing a generation request, and interpreting the resulting visual evidence. We further introduce VLM-VWM Harness Co-Evolution, which jointly revises tools, skills, and execution code based on execution feedback while keeping both model weights fixed. Across seven benchmarks spanning spatial intelligence, temporal and causal reasoning, and perceptual reasoning, CoWorld Reasoner outperforms direct reasoning with the same VLM. The strongest variant improves on all seven benchmarks, including relative accuracy gains of 11.8% on MMSI and 13.0% on ERQA, and outperforms all five evolving baselines using the same backbone across five benchmarks.

한 줄 요약

CoWorld Reasoner는 동적 비디오 월드 모델을 활용한 에이전트형 멀티모달 추론 프레임워크로, 다양한 추론 과제에서 성능을 향상시킨다.

핵심 기여도

CoWorld Reasoner는 VLM-VWM Harness Co-Evolution이라는 새로운 학습 전략을 도입하여, 툴, 스킬, 실행 코드를 실행 피드백에 따라 조정한다.
Video World Model-Driven Harness를 통해 다양한 시각 연산을 도구로 노출하고, VLM이 추론 과정에서 적절한 연산을 선택하도록 유도한다.
7개의 벤치마크에서 기존 VLM의 직접 추론 대비 상대 정확도가 최대 13.0% 개선됨 (ERQA).
동일한 백본 모델을 사용하는 5개의 기존 진화 기반 기법을 모두 초과함.

핵심 아이디어

기존 접근법은 VWM을 고정된 파이프라인으로 활용하여, 예를 들어 새로운 뷰 합성(novel-view synthesis)에만 의존한다. CoWorld Reasoner는 대신 VWM을 유연한 시각 추론 엔진으로 사용하며, VLM이 상황에 따라 시각 연상을 생성할지 여부를 스스로 결정하도록 한다. 이는 도구와 스킬을 통해 VLM이 추론 과정에서 동적으로 행동을 선택하게 만드는 핵심 아이디어이다. VLM-VWM Harness Co-Evolution은 실행 결과에 따라 툴과 스킬을 조정하지만, 모델 가중치는 고정된 상태로 유지한다. 이는 모델 학습 없이도 시스템의 유연성과 정확도를 동시에 향상시키는 새로운 접근법이다.

기술적 접근법

**Video World Model-Driven Harness**: 다양한 시각 연산(예: 생성, 변형)을 도구로 노출.
**Skills**: VLM이 연상 생성 여부, 연산 선택, 생성 요청, 시각 증거 해석을 결정하는 지침.
**VLM-VWM Harness Co-Evolution**: 실행 피드백을 기반으로 툴, 스킬, 실행 코드를 조정. 모델 가중치는 고정.
**Dataset**: MMSI, ERQA 등 7개의 추론 벤치마크 사용.

주요 결과

**MMSI 데이터셋**: 상대 정확도 +11.8% 개선.
**ERQA 데이터셋**: 상대 정확도 +13.0% 개선.
7개의 벤치마크에서 기존 VLM의 직접 추론 대비 모든 과제에서 성능 향상.
동일한 백본 모델을 사용하는 5개의 진화 기반 기법을 모두 초과.

의의 및 한계

CoWorld Reasoner는 VLM과 VWM을 유기적으로 결합하여, 시각 추론의 유연성과 정확도를 동시에 향상시키는 새로운 프레임워크로, 멀티모달 AI 연구에 중요한 기여를 한다. 특히, 모델 가중치를 고정하면서도 시스템을 개선하는 VLM-VWM Harness Co-Evolution은 기존 학습 패러다임을 확장하는 가능성을 제시한다. 그러나, 특정 도메인에 대한 일반화 능력이나, 실제 환경에서의 실시간 성능은 명시되지 않아 추가 연구가 필요하다.

실용적 활용

CoWorld Reasoner는 로봇 비전, 자율 주행, 멀티모달 챗봇 등 시각 정보를 기반으로 복잡한 추론이 필요한 산업 분야에 적용 가능하다. 특히, 동적 환경에서 유연한 시각 추론이 요구되는 상황에서 활용도가 높다.