Streaming Multi-Agent Autoregressive Diffusion Model with World State Registers

Multi-agent interactive world models should not only generate consistent observations, but also maintain world states that persist across agents and evolve across views. Existing autoregressive video diffusion pipelines carry forward observation history as conditioning context, which makes shared state difficult to maintain in multi-agent and multi-view settings. We present WorldWeaver (W^2), a streaming multi-agent video diffusion model that augments rollout with cross-agent world state registers: learnable tokens that store shared world information, track individual agent status, and are dynamically updated after each generated chunk. We ground these registers with supervision signals spanning individual agent status, global state views including bird's-eye views, and scene text. We further improve the architecture with a Mixture-of-Transformers design that uses separate weights for world state modeling and visual frame modeling. Extensive experiments in two-agent Minecraft video generation show that explicit world-state modeling improves logical consistency and generation quality.

한 줄 요약

WorldWeaver는 다중 에이전트 환경에서 일관된 세계 상태를 유지하는 스트리밍 비디오 확산 모델로, 세계 상태 레지스터와 Mixture-of-Transformers(MoT) 구조를 도입한다.

핵심 기여도

**World State Registers**: 에이전트 간 공유 정보를 저장하고 업데이트하는 학습 가능한 토큰 집합을 도입.
**Supervision Signals**: 개별 에이전트 상태, 조망도, 장면 텍스트를 활용한 세계 상태 레지스터의 지도 학습.
**Mixture-of-Transformers(MoT)**: 세계 상태와 비주얼 토큰을 별도의 가중치로 처리하여 모델 성능 향상.
**Minecraft 실험**: 두 에이전트 환경에서 세계 점수(World Score) 105.1 달성 (기존 81.0 대비 +24.1).

핵심 아이디어

기존 자동 회귀 비디오 확산 모델은 과거 프레임을 조건으로 사용하여 다음 프레임을 생성하지만, 이는 다중 에이전트 환경에서 공유 세계 상태를 유지하기 어렵게 만든다. WorldWeaver는 이를 해결하기 위해 **World State Registers**라는 학습 가능한 토큰 집합을 도입하여, 에이전트 간 공유 정보를 저장하고 업데이트한다. 이 레지스터는 각 생성 단계에서 동적으로 갱신되며, **개별 에이전트 상태**, **조망도**, **장면 텍스트** 등의 지도 신호를 통해 학습된다. 또한, **Mixture-of-Transformers(MoT)** 구조를 사용하여 세계 상태 토큰과 비주얼 토큰을 별도의 가중치로 처리함으로써, 서로 다른 역할을 하는 토큰 간의 갈등을 줄이고, 세계 상태 학습을 안정화한다.

기술적 접근법

**World State Registers**: 에이전트 간 공유 정보를 저장하는 학습 가능한 토큰.
**Supervision Signals**:
**Agent Stats**: 에이전트의 위치, 속도, 방향 예측.
**Bird’s-eye View**: 3D 공간 구조를 반영한 조망도.
**Scene Text**: 장면 텍스트를 통해 의미적 정보를 반영.
**Mixture-of-Transformers(MoT)**: 세계 상태와 비주얼 토큰을 별도의 가중치로 처리.
**Self-Forcing**: 생성된 프레임과 레지스터를 기반으로 다음 단계의 조건을 업데이트.
**Hyperparameters**: 학습률 스케줄링을 통해 레지스터와 시각 트랜스포머를 별도로 업데이트.

주요 결과

**Minecraft 실험**:
**World Score**: 105.1 (기존 81.0 대비 +24.1).
**VLM 정확도**: 85.9 (기존 79.7 대비 +6.2).
**FID**: 34.0 (기존 43.3 대비 -9.3).
**모델 비교**:
**Dense vs. MoT**: 조망도 지도가 있는 경우, MoT는 World Score 103.2 달성 (Dense 91.3 대비 +11.9).
**Scene Text 추가**: World Score 103.2 → 105.1 (기존 대비 +1.9).

의의 및 한계

WorldWeaver는 다중 에이전트 환경에서 세계 상태를 명시적으로 모델링함으로써, **비주얼 품질**과 **논리적 일관성**을 동시에 향상시키는 기술적 기여를 한다. 특히, **Mixture-of-Transformers(MoT)** 구조는 세계 상태와 시각 정보를 별도로 처리함으로써 모델 안정성과 성능을 높이는 데 기여한다. 그러나, 실제 세계의 복잡한 상태는 직접적으로 접근하기 어렵고, 현재는 **제한된 지도 신호**에 의존하는 한계가 있다. 향후 연구에서는 **더 복잡한 3D 시각 정보**와 **에이전트 간 의미적 관계**를 반영하는 모델이 필요하다.

실용적 활용

WorldWeaver는 **게임 환경**(예: Minecraft)에서 에이전트 간 협업을 지원하는 시뮬레이션, **로봇 시스템**에서의 다중 시점 비디오 생성, **VR/AR** 환경에서의 세계 모델링 등에 적용 가능하다. 특히, **동시 다중 시점 생성**과 **장기적 세계 상태 유지**가 필요한 시스템에 유용하다.