Alaya-EVOKE: From Linear-Scaling Supervision to Endless World

Interactive world models must support persistent memory, responsive interaction, and long-horizon generation, yet these requirements place conflicting demands on the model. Maintaining history in the denoiser context or key-value cache incurs growing cost, forcing a trade-off between session length and retained memory, while low-latency interaction relies on few-step generation whose capabilities are bounded by its teacher. Evoke addresses both limitations by externalizing persistent world state and redesigning the teacher for long-horizon interactive generation. Scene geometry is maintained in an external, camera-indexed world state bank, from which only view-relevant information is retrieved, keeping the denoiser context bounded as the session grows. Rather than treating the teacher as a fixed generator, we design it for long-horizon supervision: its sparse attention combines chunk-wise grouping, retrieval of selected distant frames, and a linear-attention global state, yielding linear growth in memory and compute while enabling supervision over long horizons. Such supervision exposes content drift that stays locally plausible within short windows, while per-chunk conditioning enables prompt changes and event control throughout the sequence. A 30-second distribution-matching objective, applied under self-forced rollouts, transfers both capabilities to a three-step student that uses no classifier-free guidance, improving resistance to long-term drift while preserving responsive conditioning. With bounded context and recurrent external memory, Evoke supports open-ended, continuously evolving generation; on a single H200 at 384times 640, each 1.5,s chunk is generated in 2.11,s. As a three-step world model, Evoke achieves state-of-the-art performance on WBench while remaining competitive on VBench-Long and VBench-2.0.

한 줄 요약

Evoke는 지속적 세계 상태를 외부 기하 메모리에 분리하고, 선형 확장의 지도를 통해 3단계 생성자로 장기적 상호작용을 가능하게 하는 세계 모델이다.

핵심 기여도

외부 기하 메모리(`world state bank`)를 도입하여 생성자 컨텍스트를 고정, 세션 시간에 따른 메모리 증가를 방지.
선형-주의(`linear-attention`)와 청크 기반(`chunk-wise`) 스파스 어텐션을 결합한 새로운 교사(`teacher`) 설계로, 장기적 지도를 제공.
30초 분포 일치(`distribution-matching`) 목적을 사용한 3단계 학생(`student`)으로, 분류기 없는 가이던스(`CFG`) 없이도 장기 드리프트 저항성 향상.
단일 H200 GPU에서 384×640 해상도에서 1.5초 청크당 2.11초의 생성 속도 달성.

핵심 아이디어

기존 세계 모델은 지속적 메모리 유지와 낮은 지연 상호작용을 동시에 달성하는 데 어려움이 있었다. Evoke는 이 두 요구를 생성자와 외부 메모리로 분리함으로써 해결한다. 외부 `world state bank`는 카메라 위치를 기반으로 기하 정보를 저장하고, 필요 시 현재 뷰에 관련된 정보만 검색하여 생성자 컨텍스트를 고정 유지한다. 이는 세션 시간이 늘어나더라도 메모리 비용이 증가하지 않도록 보장한다.

또한, Evoke는 기존의 고정된 교사가 아닌, 장기적 지도를 위한 교사를 설계한다. 이 교사는 `chunk-wise grouping`, `selected distant frames retrieval`, `linear-attention global state`를 결합한 스파스 어텐션을 사용하여, 메모리와 계산 비용이 선형으로 증가하면서도 장기적 일관성을 유지할 수 있도록 한다. 이는 단기적 드리프트는 감지하면서도, 장기적 내용 드리프트(`content drift`)를 방지하는 데 기여한다.

기술적 접근법

**외부 기하 메모리**: 카메라 위치(`camera pose`)로 인덱싱된 `world state bank`를 사용. 이전에 관찰된 표면은 카메라 프러스텀에 재진입 시 렌더링되어 생성자에 제공됨.
**스파스 어텐션**: `chunk-wise grouping`, `selected distant frames retrieval`, `linear-attention global state`를 결합한 스파스 어텐션 구조.
**30초 분포 일치 목적**: `self-forced rollouts` 하에서 적용된 30초 단위의 분포 일치 목적.
**3단계 학생**: `classifier-free guidance` 없이도 장기 드리프트 저항성과 빠른 조건 반응(`prompt changes`)을 유지.
**하드웨어 성능**: 단일 H200 GPU에서 384×640 해상도, 1.5초 청크당 2.11초의 생성 속도.

주요 결과

**WBench**: 최고 성능 달성.
**VBench-Long, VBench-2.0**: 시각적 품질에서 경쟁력 있는 성능 유지.
**생성 속도**: 1.5초 청크당 2.11초 (H200 GPU 기준).
**장기 드리프트 저항성**: 30초 분포 일치 목적을 통해 학습된 3단계 학생은 장기적 일관성을 유지.

의의 및 한계

Evoke는 장기적 상호작용과 낮은 지연 생성을 동시에 달성하는 새로운 설계 원칙을 제시한다. 외부 기하 메모리와 선형 확장 지도는 기존의 컨텍스트 제한 문제를 해결하고, 3단계 학생은 실시간 상호작용에 적합한 속도를 제공한다. 그러나 현재 `world state bank`는 대상의 세부 일관성(`object identity, appearance`)을 제한적으로 유지하며, 동적 상태(`object motion, state transitions`)를 모델링하지 못한다는 한계가 있다. 또한, 실시간 상호작용을 위한 추가 가속이 필요하다.

실용적 활용

Evoke는 게임, VR/AR, 시뮬레이션 등에서 장기적 세계 생성과 실시간 사용자 입력 반응이 필요한 상황에 적용 가능하다. 특히, `world state bank`와 `sparse attention` 기반의 설계는 대규모 장면의 지속적 유지와 빠른 생성을 동시에 요구하는 산업 분야에서 유용할 것으로 기대된다.