LayerRecall: A State-Conditioned Memory Router for Long-Horizon Consistency in Video Generation

Autoregressive video diffusion enables scalable long-video generation by producing chunks from a bounded recent context. While recency-based caching preserves local continuity, it evicts historical cues needed when subjects, objects, scenes, or attributes reappear. Existing memory mechanisms expose models to nonlocal history, but access alone does not ensure effective use. Our analysis reveals that video DiT layers exhibit distinct preferences for current, recent, and distant context, suggesting that long-range memory requires deciding both what to retrieve and where to use it. We introduce LayerRecall, a current-conditioned, layer-selective memory router that retrieves relevant historical K/V states and injects them only into backbone-specific memory-sensitive layers while preserving local attention elsewhere. To reduce reliance on scarce high-quality long-horizon videos and explicit memory-allocation labels, we further propose Cross-Horizon Prediction Matching (CHPM), which uses a privileged long-context reference to supervise the bounded-memory router in prediction space. Across 100 multi-shot evaluation prompts, LayerRecall achieves the best overall results on MemoBench and MovieBench while matching its backbone on VBench-Long, demonstrating stronger long-range recovery without sacrificing local continuity. Qualitative analyses further reveal memory-guided self-correction, whereby initially mismatched local attributes return to their historical appearance without resetting ongoing motion or scene structure. Additional analyses show cross-backbone portability and negligible inference overhead.

한 줄 요약

LayerRecall은 장기 기억을 효과적으로 활용해 동영상 생성의 장기 일관성을 향상시키는 레이어 선택적 메모리 라우터를 제안한다.

핵심 기여도

LayerRecall은 현재 상태를 조건으로 하여 특정 레이어에만 과거 K/V 상태를 주입하는 메모리 라우터를 제안함.
Cross-Horizon Prediction Matching (CHPM)을 통해 명시적 메모리 라벨 없이 장기 예측 기반의 라우팅을 학습함.
MemoBench와 MovieBench에서 최고 성능을 달성하면서 VBench-Long에서 백본 모델과 동일한 수준 유지함.
추론 시간은 LongLive-2.0 대비 305.9초에서 309.4초로, 추가 오버헤드는 3.5초 미만임.

핵심 아이디어

기존 자동 회귀 비디오 생성 모델은 최근 맥락만 유지해 장기 일관성을 보장하지 못한다. LayerRecall은 DiT 레이어별로 과거, 최근, 현재 맥락에 대한 선호도가 다르다는 관찰을 바탕으로, "무엇을 검색할지(what to retrieve)"와 "어디에 사용할지(where to use it)"라는 두 가지 결정을 동시에 처리하는 메커니즘을 제안한다. 이는 특정 레이어에만 과거 정보를 주입함으로써, 로컬 어텐션 구조를 유지하면서도 장기 기억을 활용할 수 있게 한다. CHPM 알고리즘은 장기 맥락을 가진 참조 모델의 예측을 기반으로, 메모리 라우팅을 학습하게 하며, 명시적 라벨 없이도 효과적인 학습이 가능하다는 점에서 혁신적이다.

기술적 접근법

**LayerRecall**: 현재 생성 상태를 조건으로 하여 과거 K/V 상태를 검색하고, 백본 모델의 메모리 민감 레이어에만 주입함.
**CHPM**: 장기 맥락을 가진 참조 모델의 예측을 사용해, 제한된 메모리 환경에서 라우팅을 학습함.
**DiT 레이어 분석**: 레이어별로 과거, 최근, 현재 맥락에 대한 어텐션 분포가 다르므로, 메모리 주입 정책도 레이어별로 달라져야 함.
**H100 기준 추론 효율성**: LongLive-2.0 대비 305.9초에서 309.4초로, 오버헤드는 3.5초 미만임.

주요 결과

**MemoBench**와 **MovieBench**에서 최고 성능 달성.
**VBench-Long**에서 백본 모델(LongLive-2.0)과 동일한 수준 유지.
100개의 멀티샷 평가 프롬프트에서 장기 복구 능력 향상.
**자체 수정(self-correction)**: 로컬 속성이 초기에는 불일치했으나, 과거 정보를 바탕으로 다시 정상으로 돌아감.

의의 및 한계

LayerRecall은 장기 기억을 효과적으로 활용하면서도 로컬 일관성을 유지하는 새로운 메모리 관리 전략을 제시한다. 특히, 레이어별 메모리 민감도를 고려한 선택적 주입은 기존 메모리 기반 접근법의 한계를 극복한다. CHPM은 명시적 메모리 라벨 없이도 라우팅 정책을 학습할 수 있어, 훈련 데이터의 부족 문제를 완화한다. 그러나, LayerRecall은 특정 백본에 의존적인 메모리 민감 레이어 정책을 필요로 하므로, 모든 모델에 즉시 적용하기는 어려울 수 있다. 또한, 장기 맥락을 가진 참조 모델이 필요하므로, CHPM은 완전히 독립적인 학습이 아님.

실용적 활용

LayerRecall은 장기 비디오 생성, 특히 장면 전환 후에도 일관된 캐릭터나 배경을 유지해야 하는 애니메이션 제작, VR/AR 콘텐츠 생성, 그리고 실시간 스트리밍 인퍼런스 시스템에 유용하게 활용될 수 있다. 특히, 메모리 오버헤드가 낮아 대규모 배치 환경에서도 적용 가능하다.