Closing the Loop: Training-Free Revisit Consistency for Autoregressive Generative Rendering

Recent conditional video generation models have shown promising potentials to transform 3D engine renderings, such as depth maps and untextured geometry, into photorealistic videos for gaming and immersive content creation. These applications require long-horizon auto-regressive generation that continuously synthesizes new frames while preserving a persistent 3D world. Auto-regressive generators synthesize video chunk by chunk with a bounded KV cache, so when the camera revisits a location after its context has been evicted, the model often regenerates inconsistent appearance, even though the conditioning renderings (e.g., depth) remain perfectly aligned with the underlying geometry.We address this revisit inconsistency without any post-training by exploiting correspondences the 3D engine already provides: temporal correspondence retrieves pose-matched historical latent chunks into the KV cache as loop-closure memory, while spatial correspondence from camera pose and depth reprojection biases token-level attention toward geometrically corresponding regions of the retrieved chunks. We demonstrate our method on loop-closure trajectories mined from TartanAir and TartanGround dataset to mirror complicate real-world application scenarios, where it outperforms existing training-free baselines on revisit consistency without losing overall video quality. Project Page: https://wenchao-m.github.io/ClosetheLoop.github.io/

한 줄 요약

3D 엔진에서 제공하는 대응 정보를 활용해 훈련 없이 자동 생성 렌더링의 재방문 일관성을 향상시킨다.

핵심 기여도

**Pose-retrieved loop-closure memory** 모듈을 통해 KV 캐시에 과거 렌더링된 뷰를 복원하여 재방문 시 일관성을 유지.
**Geometry-guided attention bias**를 도입하여 토큰 단위의 어텐션을 기하학적으로 대응되는 영역으로 유도.
**TartanGround-Revisit** 및 **TartanAir-Revisit** 데이터셋에서 기존 훈련 없는 기반 모델 대비 재방문 일관성 향상.
**VBench-Long** 지표에서 전체 비디오 품질 저하 없이 일관성 개선.

핵심 아이디어

기존 자동 생성 렌더링 모델은 KV 캐시 크기 제한으로 인해 카메라가 동일 장소를 재방문할 때 이전 렌더링과 일관되지 않은 결과를 생성하는 문제가 있었다. 이를 해결하기 위해, 3D 엔진에서 제공하는 **카메라 포즈**와 **메트릭 깊이** 정보를 활용해, 과거 렌더링된 뷰를 KV 캐시에 복원하고, 어텐션 메커니즘을 기하학적 대응 관계에 따라 조정한다. 이는 **추가 훈련 없이** 기존 사전 훈련된 모델을 활용해 재방문 일관성을 향상시키는 새로운 접근법이다. 특히, **SuperPoint + LightGlue** 기반의 키포인트 매칭을 통해 기하학적 일관성을 정량적으로 평가한다.

기술적 접근법

**Pose-retrieved loop-closure memory**: 카메라 포즈 일치하는 과거 렌더링 블록을 KV 캐시에 복원.
**Geometry-guided attention bias**: 현재 토큰을 과거 블록의 기하학적으로 대응되는 토큰으로 어텐션을 유도.
**TartanGround-Revisit**: 71개의 루프, 최소 100프레임, 최소 5m 이동.
**TartanAir-Revisit**: 285개의 루프, 72개 환경, 90°~180° 회전 및 줌 인/아웃 패턴.
**SuperPoint + LightGlue**: 키포인트 매칭, 신뢰도 0.5 이상의 매칭 수를 기하학적 일관성 지표로 사용.

주요 결과

**TartanGround-Revisit**에서 기존 훈련 없는 기반 모델 대비 **키포인트 매칭 수 +23.6%** 증가.
**TartanAir-Revisit**에서 **DINOv2 유사도 +12.4%**, **L1 오차 -18.2%** 개선.
**VBench-Long** 지표에서 전체 비디오 품질 유지 (1.0에 가까운 값 유지).
**Self Forcing (SF)** 기반에 **attention sink (AS)**, **pose retrieval (PR)**, **geometry bias (GB)**를 순차적으로 추가한 실험에서 PR이 가장 큰 일관성 향상 기여.

의의 및 한계

3D 엔진에서 제공하는 대응 정보를 활용해 훈련 없이 재방문 일관성을 향상시킨다는 점에서 실용적 가치가 높음.
**SuperPoint + LightGlue** 기반의 기하학적 일관성 평가 체계를 도입해 정량적 평가 가능.
한계는 3D 엔진에서 제공하는 **카메라 포즈 및 메트릭 깊이**에 의존하며, 실시간 재구성 기반의 기하학 정보는 노이즈를 유발할 수 있음.
**VGGT 및 VGGT-Ω**와 같은 온라인 재구성 방법을 결합하면 실제 비디오에도 확장 가능하지만, 대응 정보의 노이즈에 대한 내성이 요구됨.

실용적 활용

게임, 가상 콘텐츠 제작, 시뮬레이션 등에서 카메라가 장소를 반복 방문하는 상황에서 일관된 시각적 결과를 생성.
3D 엔진에서 제공하는 **depth map, camera pose** 정보를 기반으로 사전 훈련된 모델을 활용해 **실시간 렌더링** 가능.
**TartanAir 및 TartanGround**와 유사한 데이터셋을 활용한 대규모 환경에서의 일관성 유지에 적합.