InteractiveWorld: A Verifiable Human-Centric Environment for Building Better Interactive MLLM Assistants

People have long dreamed of an assistant that is always there to guide them and remind what they forget, from new dishes to lost keys. Powered by multimodal large language models (MLLMs), egocentric AI assistants on wearable devices are bringing this dream within reach: they see what the user sees and give instructions for user's physical work when necessary. However, testing such assistance is challenging and usually requires real people. The expensive and rare real interaction data leaves a key question unanswered: Can today's MLLMs truly help people in physical world? To answer this question, we propose InteractiveWorld, the first verifiable environment for closed-loop interaction between human and AI assistant. Unlike existing robot-centric simulators, InteractiveWorld lets the assistant guide a human agent who observes the scene, understands instructions, and acts independently. It thus realistically simulates how AI assistant collaborates with human: the assistant instructs, the human acts, and the environment executes actions and updates what they see next. Building on it, we introduce InteractiveBench, the first dynamic benchmark for egocentric AI assistants, with 120 multi-turn tasks across six categories. In each task, the assistant guides the human in real time, and every instruction shapes the outcome, which is scored by verifiable, state-based rewards. Experiments with 12 frontier MLLMs show they are still far from reliable assistants. Even the strongest model, Claude Fable 5.1, achieves at most 20% and 25% on long-horizon Guidance and Planning tasks, respectively. Overall, our work offers a verifiable platform and a rigorous evaluation set, laying a solid foundation for research on interactive MLLM assistants that truly help people in the physical world.

한 줄 요약

InteractiveWorld는 인간과 AI 보조자가 실시간으로 상호작용하는 첫 번째 검증 가능한 환경으로, MLLM의 실물 세계 협업 능력을 평가하는 InteractiveBench를 제시한다.

핵심 기여도

InteractiveWorld: 인간 중심의 폐루프 상호작용 환경을 구현하여 AI 보조자의 실질적 협업 능력을 시뮬레이션.
InteractiveBench: 6개 범주, 120개의 다중 턴 작업을 포함한 첫 번째 동적 벤치마크를 제시.
12개의 최첨단 MLLM 실험 결과: Claude Fable 5.1이 Guidance와 Planning 작업에서 최대 20%와 25% 성공률을 기록.
실험에서 MLLM이 퍼셉션, 메모리, 커뮤니케이션에서 주요 한계를 드러냄.

핵심 아이디어

기존의 정적 벤치마크는 AI 보조자가 실제 상황에서 인간과 상호작용하는 능력을 충분히 평가하지 못한다. InteractiveWorld는 인간 에이전트가 AI의 지시를 해석하고 행동을 수행하는 폐루프 시스템을 구축하여, AI가 인간의 행동을 유도하고 환경을 변화시키는 과정을 시뮬레이션한다. 이는 Assistant agent, Human agent, Interactive Environment의 3단계 구조를 통해 구현되며, 특히 Human agent는 MLLM 기반으로 36개의 행동 원시 명령어를 사용해 인간의 행동을 모사한다. InteractiveBench는 이 환경 내에서 AI가 지시를 통해 작업을 완료하는 과정을 다중 턴으로 평가하며, 최종 상태 기반 보상을 통해 작업 성공 여부를 검증한다.

기술적 접근법

**InteractiveWorld**: Isaac Sim 기반, 8,000개 이상의 객체와 50개의 장면 포함.
**Assistant agent**: 인간의 1인칭 시점 영상을 공유하며 자연어 지시를 제공.
**Human agent**: MLLM 기반으로 36개의 행동 원시 명령어(예: [Grab]<cup>)를 사용.
**Interactive Environment**: 전체 몸 모델을 통해 자율 이동, 자세 조정, 충돌 없는 조작을 수행.
**InteractiveBench**: 6개 범주( Guidance, Planning, Accessibility, Decision, Prevention, Finding), 120개의 다중 턴 작업.
**평가 설정**: 각 턴당 32프레임 제한, Gemini 3.1 Pro를 Human agent로 고정.
**Memory Augmentation 실험**: Assistant의 응답에 `Memory` 필드 추가하여 5–15% 성공률 향상.

주요 결과

12개 MLLM 실험 결과: Claude Fable 5.1이 41.7% 성공률 기록.
Guidance 작업: 최고 20.0% 성공률 (모든 모델 평균 33.3% 이하).
Planning 작업: 최고 25.0% 성공률.
Memory Augmentation은 Prevention, Finding 작업에서 5–15% 향상.
Human agent 변경 실험에서 Gemini 3.1 Pro가 가장 높은 MCR 기록.

의의 및 한계

InteractiveWorld는 AI 보조자가 인간과 실시간으로 협업하는 능력을 체계적으로 평가할 수 있는 첫 번째 환경으로, MLLM의 실물 세계 적용 가능성을 평가하는 기반을 제공한다. InteractiveBench는 동적 작업을 기반으로 한 첫 번째 다중 턴 벤치마크로, AI가 인간 행동을 유도하고 작업을 완료하는 과정을 정확히 평가할 수 있다. 그러나 실험 결과는 MLLM이 퍼셉션, 메모리, 커뮤니케이션에서 여전히 큰 한계를 보이며, 특히 장기적 작업에서 성능 저하가 두드러진다. 또한, Human agent의 행동 패턴이 Assistant 성능에 영향을 미치는 점도 한계로 지적된다.

실용적 활용

InteractiveWorld와 InteractiveBench는 웨어러블 AI 보조기 개발, 인간-로봇 협업 시스템 설계, MLLM의 실물 세계 적용 연구에 활용 가능하다. 특히, Memory Augmentation 실험은 MLLM에 내재적 메모리 메커니즘을 학습시키는 방향으로 연구를 이끌 수 있다.