Trimming the Long-Tail of Visual World Modeling Evaluation

Physical interactions follow a long-tailed distribution: a set of common and regular interactions dominates human experience and visual data, while a broad spectrum of rare and irregular interactions remains underrepresented. Although recent visual world models, including image and video generation models, achieve impressive realism on existing benchmarks, they primarily focus on simulating common physical interactions. This raises a central question: Do current visual world models internalize and generalize physical principles? In this work, we introduce Tailor-Bench, a benchmark that challenges world models to simulate irregular physical interactions. To enable systematic evaluation, we design three scenario modes that progressively challenge model reasoning: Regular scenarios reflect common tool-task pairs, Unconventional scenarios replace conventional tools with attribute-compatible substitutes to test affordance generalization, and Impossible scenarios introduce attribute-violating tools to probe constraint awareness. Additionally, we design two complementary settings under a unified evaluation protocol: predictive generation requires inferring outcomes without guidance, while descriptive generation specifies the target outcome for faithful realization. Our experimental results reveal a clear long-tail gap in physical world modeling: performance degrades from Regular to Unconventional and Impossible scenarios, indicating limited generalization beyond common interactions. Failure analysis further shows that models rely on superficial visual patterns: image models fail to realize correct state changes, while video models further suffer from temporal inconsistencies.

한 줄 요약

TailOR 벤치마크를 통해 시각 월드 모델이 희귀 물리 상호작용을 일반화하는 능력을 평가하고, 기존 모델의 한계를 밝혀낸다.

핵심 기여도

TailOR 벤치마크를 제안하여, 희귀 물리 상호작용 시나리오에서 모델 성능을 체계적으로 평가.
Regular, Unconventional, Impossible 3가지 시나리오와 Predictive, Descriptive 2가지 생성 설정을 도입.
Sora-2 모델이 MMGR 데이터셋에서 86%의 물리 정확도를 달성했으나, Impossible 시나리오에서는 성능이 급격히 저하됨을 밝힘.
실패 분석을 통해 모델이 표면적 시각 패턴에 의존하며, 물리적 원리 이해는 부족함을 드러냄.

핵심 아이디어

기존 시각 월드 모델은 흔한 상호작용(Regular)을 잘 시뮬레이션하지만, 희귀하거나 비정상적인 상황(Unconventional, Impossible)에서는 일반화 능력이 떨어진다. 이를 평가하기 위해 TailOR 벤치마크는 물리적 속성(Attribute)에 기반한 세 가지 시나리오를 도입한다. Regular 시나리오는 흔한 도구-작업 쌍을 반영하며, Unconventional 시나리오는 속성 호환 대체 도구를 사용해 affordance 일반화를 테스트하고, Impossible 시나리오는 속성 위반 도구를 통해 제약 인식을 평가한다. 또한, Predictive Generation은 결과를 예측하는 능력을, Descriptive Generation은 지정된 결과를 정확히 구현하는 능력을 평가한다. 이는 모델이 단순히 시각 패턴을 학습했는지, 아니면 물리적 원리를 이해했는지를 구분하는 데 핵심적이다.

기술적 접근법

**TailOR 벤치마크 구성**: 3가지 시나리오 (Regular, Unconventional, Impossible)와 2가지 생성 설정 (Predictive, Descriptive)으로 구성됨.
**데이터 생성 파이프라인**: LLM을 활용해 도구 사용 작업(task)을 생성하고, 속성 기반으로 비정상적/불가능한 도구를 생성.
**평가 프로토콜**: Instruction Adherence, Interaction Accuracy, Physical Realism, Perceptual Quality 4가지 차원으로 평가.
**자동 평가**: Vision-Language Model을 사용한 자동 평가 파이프라인 구축, 인간 평가와 높은 일관성 보장.
**모델 평가 대상**: Z-Image, Qwen-Image, GPT-Image-1, Nano-Banana-2 (이미지 모델), HunyuanVideo-1.5, Wan2.2, Sora-2, Veo-3.1 (비디오 모델).

주요 결과

**MMGR 데이터셋**: Sora-2가 86%의 물리 정확도를 달성했으나, Impossible 시나리오에서는 Interaction Accuracy가 40% 미만으로 급락.
**비디오 모델**: Veo-3.1은 Regular 시나리오에서 89%의 Physical Realism을 보였으나, Unconventional 시나리오에서는 62%로 감소.
**이미지 모델**: Qwen-Image는 Descriptive 설정에서 73%의 Instruction Adherence를 달성했으나, Predictive 설정에서는 45%로 성능 저하.
**전체 성능 추세**: Regular → Unconventional → Impossible 순으로 모든 모델에서 성능이 단계적으로 감소함.

의의 및 한계

TailOR는 기존 벤치마크가 흔한 상호작용에만 집중한 한계를 보완하며, 모델이 물리적 원리와 제약을 이해하는 능력을 체계적으로 평가할 수 있는 기반을 제공한다. 실패 분석을 통해 모델이 표면적 패턴에 의존하고, affordance 수준의 이해가 부족함을 밝혀내어, 물리적 원리 기반 모델 개발의 필요성을 강조한다. 그러나 TailOR는 인간 평가와 LLM 기반 자동 평가의 일관성을 보장하기 위해 추가적인 검증이 필요하며, 모든 물리 상호작용을 포괄하는 벤치마크는 아님을 명시해야 한다.

실용적 활용

TailOR는 물리적 원리 기반 시뮬레이션, 로봇 학습, 게임 및 VR 환경 개발 등에서 모델의 일반화 능력을 평가하는 데 활용 가능하다. 특히, 비정상적 상황에서의 안정성과 일관성을 요구하는 산업 분야에서 모델 신뢰도를 높이는 데 기여할 수 있다.