VibeWorlding: Can Multimodal Agents Construct 3D Open Worlds End-to-End?

Constructing an interactive 3D open world from a user query is important. However, existing methods are primarily evaluated on idealized, simple queries, making it difficult to systematically analyze and compare how multimodal agents understand user intent, use 3D tools, and reason over textual and visual 3D world information. To this end, we propose VibeWorlding, a unified framework for benchmarking and training vibe worlding agents: a multimodal agent that can autonomously infer user intent, plan scene layout, invoke 3D tools, and reflect on the multimodal feedback in a multi-turn agent-environment interaction process. To achieve this, we first build VWE-BENCH, a benchmark of 2,616 high-quality 3D assets, 323 human-annotated seed 3D worlds, and 6,828 reverse-synthesized multimodal user queries, split into verified queries with ground-truth and unverified queries with carefully designed rubrics. Moreover, we develop VibeWorlding-Gym, a joint multimodal RL post-training framework that integrates (1) a sandbox environment unifying asset retrieval, editing, and image rendering as MCP tools, and (2) a rubric-based verifier that combines physical feasibility and intent fulfillment verification, supporting both fair model evaluation and scalable multimodal RL reward service. Our experiments show that current frontier MLLMs are far from solving the vibe worlding agent task, with even GPT-5.5 and Qwen3.8-Max reaching below 60% success rate, and trace the bottleneck to precise 3D world editing. We further find that RL training can ease this weakness and enable open-source MLLMs to even surpass closed-source frontiers: our VibeWorlder-8B is comparable to frontier MLLMs, while our flagship VibeWorlder-30B-A3B attains the best overall Pass@1 among all evaluated models.

한 줄 요약

VibeWorlding은 사용자 질의로부터 3D 오픈 월드를 생성하는 멀티모달 에이전트를 평가하고 훈련하는 통합 프레임워크로, VWE-Bench와 VibeWorlding-Gym을 통해 3D 월드 생성의 정확성과 한계를 분석한다.

핵심 기여도

VWE-Bench: 2,616개의 3D 자산, 323개의 인간 주석 3D 월드, 6,828개의 멀티모달 사용자 질의로 구성된 벤치마크.
VibeWorlding-Gym: 자산 검색, 편집, 렌더링을 통합한 멀티모달 RL 훈련 프레임워크.
GPT-5.5와 Qwen3.8-Max가 60% 미만의 성공률을 보이며, 3D 월드 편집이 주요 병목임을 밝힘.
VibeWorlder-30B-A3B가 Pass@1 성능에서 기존 최신 모델을 앞선다.

핵심 아이디어

VibeWorlding은 사용자 질의를 기반으로 3D 오픈 월드를 생성하는 멀티모달 에이전트를 평가하고 훈련하기 위한 통합 프레임워크이다. 이는 기존 연구들이 단순한 질의에만 국한되어 있어 실제 복잡한 사용자 의도를 반영한 월드 생성을 평가하기 어려웠다는 문제를 해결한다. VibeWorlding은 사용자 의도 추론, 3D 툴 사용, 멀티모달 피드백 반영을 포함하는 다중 턴 에이전트-환경 상호작용 과정을 모델링한다. 핵심 아이디어는 MCP(Multimodal Construction Pipeline) 툴을 통합한 샌드박스 환경과, 물리적 가능성 및 의도 충족을 검증하는 이중 제약 검증기(rubric-based verifier)를 결합한 멀티모달 RL 훈련 프레임워크(VibeWorlding-Gym)이다.

기술적 접근법

**VWE-Bench**: 2,616개의 3D 자산, 323개의 인간 주석 월드, 6,828개의 사용자 질의로 구성. 검증된 질의는 ground-truth를, 미검증 질의는 rubric 기반 평가를 사용.
**VibeWorlding-Gym**: 샌드박스 환경에서 자산 검색, 편집, 렌더링을 MCP 툴로 통합. 이중 제약 검증기(물리적 가능성 + 의도 충족)를 통해 평가 및 RL 보상 제공.
**RL 훈련**: SFT와 RL을 결합한 통합 훈련 파이프라인. VibeWorlder-8B는 Qwen3-VL-8B 기반으로 훈련되어 Gemini 3.1-pro와 유사한 성능 달성.
**성능 측정**: Pass@1, 성공률, 3D 편집 정확도 등으로 평가.

주요 결과

GPT-5.5와 Qwen3.8-Max는 VWE-Bench에서 60% 미만의 성공률을 보임.
3D 월드 편집 정확도가 주요 병목으로 드러남.
RL 훈련을 통해 오픈소스 MLLM이 클로즈드 모델을 앞서는 성능 달성: VibeWorlder-30B-A3B가 Pass@1 성능에서 최고 기록.
VibeWorlder-8B는 Gemini 3.1-pro와 유사한 성능을 보임.

의의 및 한계

VibeWorlding은 3D 월드 생성 에이전트의 평가와 훈련을 위한 첫 번째 통합 프레임워크로, 3D 자산, 월드, 질의, 툴, 검증기를 모두 포함한 벤치마크(VWE-Bench)와 RL 훈련 환경(VibeWorlding-Gym)을 제공한다. 이는 기존 연구들이 단순한 질의에만 제한되었던 문제를 해결하고, 실제 복잡한 사용자 의도를 반영한 월드 생성을 가능하게 한다. 그러나 현재 샌드박스는 자산 검색, 추가, 삭제, 이동, 회전 등 기본적인 툴만 제공하며, 더 고급의 툴이 필요하다는 한계가 있다. 또한, 가장 복잡한 월드는 258개의 자산만 포함되어 있어 대규모 3D 월드 생성에 한계가 있다.

실용적 활용

VibeWorlding은 게임 개발, 시뮬레이션, 임베디드 AI 분야에서 사용자 질의를 기반으로 3D 오픈 월드를 자동 생성하는 에이전트 개발에 활용될 수 있다. 특히, 멀티모달 RL 훈련을 통해 오픈소스 모델이 클로즈드 모델을 앞서는 성능을 보이는 점은 산업 현장에서의 채택 가능성을 높인다.