Dual Exam: Controlled Evaluation of Multimodal Agents and World Models
Zhefan Rao, Meng Chu, Xuan Zhang, Jingfan Chen, Guohao Cai, Runyi Li, Shiyi Du, Ning Lu, Xu Huang, Zhixuan Chen, Feng Nie, Harold Haodong Chen, Hanwen Wang, Wen-Jie Shu, Yajing Bai, Xianfeng Wu, Xuanhua He, Shuhan Guo, Ziyue Ma, Ruichuan An, Long Bai, Miaosen Chai, Wenhao Chai, Jingye Chen, Qi Chen, Xuhang Chen, Wei Chow, Minghao Fu, Yunhao Gou, Haokun Gui, Dong Huang, Wei Huang, Zi Cheng Huang, Haibo Jin, Lingdong Kong, Leung Chun Ho, Tianqin Li, Yanheng Li, Jiayuan Liu, Jiyang Liu, Mingyu Liu, Shaoteng Liu, Xiaocheng Lu, Yawen Luo, Zeyu Qin, Tiancheng Shen, Yueqi Song, Zhaolong Su, Hengkai Tan, Tianhao Tang, Yiran Tao, Juncheng Wang, Qinghe Wang, Shangshang Wang, Yingying Wang, Fang Wu, Tiange Xiang, Qiushi Yang, Weicai Ye, Weichen Yu, Jiarui Zhang, Jize Zhang, Liuzhou Zhang, Renrui Zhang, Sheng Zhang, Wenhu Zhang, Junru Zhao, Lingting Zhu, Yuxin Zuo, Yutong Bai, Long Chen, Yang Deng, Ziqi Huang, Yeying Jin, Weijia Li, Kevin Qinghong Lin, Quande Liu, See-Kiong Ng, Hongliang Ren, Hongru Wang, Shujun Wang, Qifeng Chen, Haoxuan Che
arXiv:2610.31066 · 2026-10-26 공개 · arXiv · PDF
world-models multimodal-agents gpt-6-astra action-selection task-performance state-evolution dual-exam controlled-evaluation
Abstract
World Models (WMs) can support Multimodal Agents (MAs) through simulated experience, while Agent trajectories can inform World Model refinement. Evaluating this interaction requires separate evidence about action selection and state evolution. We introduce Dual Exam, which tests Agents under fixed environment response mechanisms and World Models under fixed action interventions across physical, digital, social, and scientific domains. The Agent track compares 10 configurations on 1,088 items in 15 reporting categories. The World Model track contains 400 cases across eight scenarios; 15 configurations have full coverage and one covers six scenarios. GPT 6 Astra leads the case-weighted Agent Index at 31.3, and GPT-Image-2 leads the full-coverage WM Overall at 21.7. These scores use different tasks and metrics and are not directly comparable. A 150-case pilot of one coupled pairing records zero task successes and motivates component-level diagnosis. Results reveal uneven task performance and failures to preserve task-relevant state. Their value for predicting coupled success or sustained reciprocal learning remains to be established.
한국어 요약
한 줄 요약
Dual Exam은 멀티모달 에이전트와 월드 모델을 독립적으로 평가하는 프레임워크로, GPT 6 Astra와 GPT-Image-2가 각각 31.3과 21.7 점수를 기록했다.
핵심 기여도
- Dual Exam 프레임워크를 제안하여, 멀티모달 에이전트(Agent)와 월드 모델(World Model)을 고정된 환경 반응 및 고정된 행동 개입 하에 독립적으로 평가.
- Agent 평가에서는 10개 구성이 15개 보고 범주, 1,088개 항목에 걸쳐 평가됨. GPT 6 Astra가 31.3의 Agent Index를 기록.
- World Model 평가에서는 8개 시나리오, 400개 케이스로 구성됨. GPT-Image-2가 21.7의 WM Overall 점수를 기록.
- 150개 케이스의 결합 평가에서 0%의 작업 성공률을 기록하며, 구성 요소별 진단의 필요성을 강조.
핵심 아이디어
Dual Exam은 멀티모달 에이전트와 월드 모델 간 상호작용을 평가하기 위해, 각 구성 요소를 고립된 환경에서 평가하는 새로운 접근법이다. 기존 연구는 결합된 시스템의 결과만을 평가했으나, 이는 실패 원인을 특정하기 어렵다. Dual Exam은 Agent 평가에서 고정된 환경 반응 메커니즘을, World Model 평가에서는 고정된 행동 개입을 적용하여, 각 구성 요소의 독립적 성능을 측정한다. 예를 들어, Agent는 15개 보고 범주, 1,088개 항목에서 평가되며, World Model은 8개 시나리오, 50개 케이스당 평가된다. 이는 각 구성 요소의 강점과 약점을 분리해 파악할 수 있도록 한다.
기술적 접근법
- **Agent 평가**: 10개 구성이 15개 보고 범주, 1,088개 항목에 걸쳐 평가됨.
- **World Model 평가**: 8개 시나리오, 50개 케이스당 평가됨. 16개 구성 중 15개는 8개 시나리오를 모두 커버.
- **GPT 6 Astra**: Agent Index 31.3 (case-weighted)
- **GPT-Image-2**: WM Overall 21.7 (full-coverage)
- **결합 평가**: 150개 케이스, 10개 시나리오에서 0% 작업 성공률 기록.
- **평가 기준**: 각 항목은 명시된 목표와 상태 제약에 따라 검증됨.
주요 결과
- **Agent 평가**: GPT 6 Astra가 31.3의 Agent Index를 기록.
- **World Model 평가**: GPT-Image-2가 21.7의 WM Overall 점수를 기록.
- **결합 평가**: 150개 케이스에서 0% 작업 성공률.
- **태스크 성능**: Scientific Experiments에서 38.9%, Social Interaction에서 26.6%의 World State Consistency 기록.
- **Agent Corrective Response**: 최대 25.0% (Daily Life)로, 대부분의 범주에서 낮은 성능.
의의 및 한계
Dual Exam은 멀티모달 에이전트와 월드 모델의 독립적 성능을 정량적으로 평가하는 첫 시도로, 각 구성 요소의 강점과 약점을 분리해 파악할 수 있다. 특히, 결합된 시스템의 실패 원인을 특정하기 어려운 문제를 해결한다. 그러나 평가 점수는 선택된 작업, 환경, 검증 규칙에 따라 달라질 수 있으며, 독립적인 검증이 부족하다. 또한, World Model의 출력 점수에 대한 독립적인 합의 추정치가 제공되지 않았으며, 평가 결과의 신뢰도를 높이기 위해 환경 검증, 점수 재검토, 불확실한 체크 사례 등을 추가적으로 기록해야 한다.
실용적 활용
Dual Exam은 로봇, 자율주행, 웹 인터페이스, 사회적 상호작용 등 다양한 분야에서 멀티모달 시스템의 구성 요소별 성능을 평가하는 데 활용될 수 있다. 특히, 시스템 설계 초기 단계에서 각 모듈의 신뢰도를 평가함으로써, 결합된 시스템의 안정성과 성능을 개선하는 데 기여할 수 있다.