OverSeer: Multi-Agent World Models Beyond What Agents See

Despite the success of video world models, extending them to multiple agents is difficult because it requires generating several agent-specific video streams that are consistent in time and between agents. To address this gap, we introduce OverSeer, a multi-agent world model that augments egocentric agent views with auxiliary camera views. We suggest that, by fixing the auxiliary views in space, they act as a proxy for a world-centric representation: Unlike the agents' views, which can change entirely due to a simple change in agent position, changes in the auxiliary views directly map to localized changes in the world state. We show that these fixed views substantially help the model to maintain consistency. We also show that, due to their redundant and semi-static nature, the auxiliary views can be efficiently compressed with a delta-VAE that encodes only the changes relative to a static reference image, reducing the number of tokens required to process them. Experiments in Minecraft and Doom demonstrate improved world and agent consistency, with qualitative results on real-world multi-camera captures indicating that the approach is not tied to game engines. Our compression analysis further shows that delta-VAE substantially reduces the computational overhead of auxiliary-view generation. We conclude that these fixed views provide a simple and efficient way to improve multi-agent world models.

한 줄 요약

OverSeer는 다중 에이전트 환경에서 세계 모델의 일관성을 향상시키기 위해 고정된 보조 카메라 뷰와 δ-VAE 압축 기법을 도입한 시스템이다.

핵심 기여도

고정된 보조 카메라 뷰를 도입하여 세계 중심 표현의 대체로 사용함으로써 세계 일관성과 에이전트 일관성을 향상.
δ-VAE를 통해 보조 뷰의 반복되는 정적 배경을 제거하고, 동적 변화만 인코딩하여 토큰 오버헤드를 37.5%로 줄임.
Minecraft와 Doom 환경에서 기존 모델 대비 38–60%의 정확도 향상 (기존 0–12.5%)를 달성.
실제 세계 다카메라 캡처에서도 적용 가능성을 보여줌.

핵심 아이디어

OverSeer는 다중 에이전트 환경에서 각 에이전트의 시점만으로는 세계 일관성을 유지하기 어렵다는 문제를 해결하기 위해, 고정된 보조 카메라 뷰를 도입한다. 이 뷰는 에이전트의 시점과 달리 카메라 이동에 영향을 받지 않고, 세계 상태의 실제 변화만을 반영하므로 일관성을 유지하는 데 유리하다. 보조 뷰는 세계 중심 표현의 실질적인 대체로 사용되며, 이는 에이전트 간 상호작용을 공통 기준으로 정리하는 데 기여한다. 또한, δ-VAE는 정적 참조 이미지에 대한 변화만 인코딩함으로써, 반복되는 배경 정보를 제거하고 토큰 수를 줄여 효율성을 높인다.

기술적 접근법

**OverSeer**: 다중 에이전트 뷰와 고정된 보조 카메라 뷰를 동시에 생성하는 세계 모델.
**고정된 보조 카메라 뷰**: 공간 상에서 고정된 위치에서 촬영된 뷰로, 세계 상태의 변화만 반영.
**δ-VAE**: 정적 참조 프레임을 기반으로 동적 변화만 인코딩하는 2단계 잠재 공간 압축 기법.
**토큰 오버헤드**: 6개의 보조 뷰가 2개의 에이전트 스트림 대비 37.5%의 토큰 오버헤드만 소요.
**공유 어텐션**: 보조 뷰와 에이전트 뷰를 자동, 공동, 효율적으로 생성.

주요 결과

**Minecraft & Doom**: OverSeer는 기존 모델 대비 에이전트 분리 후 재결합 시 정확도가 38–60% (기존 0–12.5%) 향상됨.
**토큰 오버헤드**: δ-VAE를 사용한 보조 뷰 생성은 전체 토큰 비용의 37.5%만 소요됨.
**VLM Episode Accuracy**: 32개 에피소드 평균 기준, Minecraft에서 38–60% 달성.
**FID (Frame Fréchet Inception Distance)**: 낮은 값으로 시각 일관성 향상 확인.

의의 및 한계

OverSeer는 다중 에이전트 환경에서 세계 일관성을 유지하는 새로운 접근법을 제시하며, δ-VAE를 통해 효율적인 보조 뷰 생성을 가능하게 함으로써 계산 비용을 줄이는 데 성공했다. 특히, 고정된 뷰가 세계 상태의 변화를 직접적으로 반영하므로, 에이전트 간 상호작용의 일관성을 향상시키는 데 기여한다. 그러나 이 접근법은 모든 환경에서 동일한 효과를 보장하지는 않으며, 실제 세계 데이터셋에서의 정량적 평가가 추가적으로 필요하다. 또한, 보조 카메라 뷰의 위치와 수가 성능에 큰 영향을 미칠 수 있으므로, 최적화가 필요하다.

실용적 활용

OverSeer는 게임 엔진 외에도 실제 세계의 다카메라 시스템, 예를 들어 드론 네트워크나 보안 카메라 시스템에서 적용 가능하다. 특히, 여러 에이전트가 공유하는 환경을 시뮬레이션하거나, 장기적인 세계 상태를 추적해야 하는 로봇 제어 및 자율 주행 분야에서 활용 가능하다.