llm-evaluation model-capabilities task-success-rate text-based-world-models globebench rl-environment-simulation semantic-judge deterministic-gates
Abstract
Text-based world models have recently shown potential to simulate complex RL environment state transitions for a diverse set of use cases. However, no standardized benchmark exists to compare, study and improve these models. Through this paper, we attempt to solve this problem by building GlobeBench, a novel benchmark with 1,632 tasks across five separate domains and nineteen simulation skills. The tasks check whether models can predict the environment's response to a specific action given the full agent trajectory by understanding earlier state changes, following environment rules, and predicting the effects of actions on both related and unrelated objects. We compare the predicted environment response with an execution-derived reference, using a hybrid architecture with both deterministic gates and a semantic judge. Among 20 general-purpose LLMs and specialized text world models, GPT-6 Astra achieves the highest task success rate at 49.57%. We find that model accuracy decreases as actions affect a larger portion of the environment. Specifically, when the agent's changes must propagate to dependent objects, task success drops to an average of 5.1% across all 20 models. Although model strengths differ across tasks, 631 tasks remain unsolved by any model, suggesting a significant gap in general LLM capabilities as a world model.
한국어 요약
한 줄 요약
GlobeBench는 텍스트 기반 월드 모델의 환경 시뮬레이션 능력을 평가하는 새로운 벤치마크로, 1,632개의 태스크로 구성되어 있다.
핵심 기여도
- GlobeBench는 5개 도메인, 19개 시뮬레이션 스킬로 구성된 1,632개 태스크를 포함한 새로운 벤치마크를 제시.
- GPT-6 Astra가 49.57%의 태스크 성공률로 가장 높은 성능을 보임.
- 행동이 환경의 더 많은 부분에 영향을 미칠수록 모델 정확도가 급격히 감소함 (의존 객체 변경 시 평균 5.1%).
- 631개 태스크는 모든 모델이 해결하지 못함.
핵심 아이디어
기존 텍스트 기반 월드 모델은 복잡한 환경 전이를 시뮬레이션할 수 있지만, 비교 및 평가 기준이 없어 개선이 어려웠다. GlobeBench는 모델이 주어진 에이전트 궤적과 환경 규칙을 이해하고, 행동의 결과를 예측하는 능력을 평가하는 데 초점을 맞춘다. 특히, 행동이 관련 및 비관련 객체에 미치는 영향을 동시에 고려해야 하는 상황을 포함하여, 모델의 일반화 능력을 체계적으로 평가한다.
기술적 접근법
- 5개 도메인, 19개 시뮬레이션 스킬, 1,632개 태스크로 구성된 GlobeBench.
- 태스크는 에이전트 궤적과 환경 규칙을 바탕으로 행동의 결과를 예측하는 능력을 평가.
- 예측 결과는 실행 기반 참조와 비교하며, 결정론적 게이트와 의미 판단기로 구성된 하이브리드 아키텍처 사용.
- 20개 일반 목적 LLM과 전용 텍스트 월드 모델 비교.
주요 결과
- GPT-6 Astra가 49.57%의 태스크 성공률로 가장 높은 성능.
- 행동이 환경의 더 많은 부분에 영향을 미치면, 20개 모델 평균 성공률은 5.1%로 감소.
- 631개 태스크는 모든 모델이 해결하지 못함.
의의 및 한계
GlobeBench는 텍스트 기반 월드 모델의 시뮬레이션 능력을 체계적으로 평가할 수 있는 첫 번째 표준 벤치마크로, 모델 개선과 비교 연구에 기여할 수 있다. 그러나 모델이 환경의 복잡한 상호작용을 이해하는 데 한계가 있으며, 특히 의존 객체 변경 시 성능이 급격히 저하되는 문제가 있다. 이는 일반 LLM이 월드 모델로서의 한계를 드러낸다.
실용적 활용
GlobeBench는 강화 학습 환경 시뮬레이션, 게임 AI 개발, 자율 시스템 설계 등에서 모델의 환경 이해 능력을 평가하는 데 활용될 수 있다.