LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models

Recovering high-quality video from sparse event streams is a challenging task. Regression methods often blur textures, while existing generative models struggle with long-term stability. We propose LongE2V, a novel approach that leverages pre-trained video diffusion priors to jointly handle event-based video reconstruction, prediction, and frame interpolation. By fine-tuning a foundational video model, our approach achieves high data efficiency and superior perceptual quality. We introduce Autoregressive Unrolling and Adaptive Context Switching to mitigate temporal drift in extremely long sequences. We also propose Reencoding Alignment with Cross Residual Correction to ensure precise bidirectional consistency during frame interpolation. Furthermore, Event Voxel Density Augmentation ensures robustness across varying sensor resolutions. Extensive experiments on real-world benchmarks demonstrate that LongE2V outperforms state-of-the-art methods across all three tasks, exhibiting exceptional temporal coherence and zero-shot generalization. Project page: https://cdfan0627.github.io/LongE2V-page/

한 줄 요약

LongE2V는 이벤트 기반 영상 복원, 예측, 프레임 보간을 통합적으로 처리하는 비디오 디퓨전 모델 기반 접근법이다.

핵심 기여도

**LongE2V**를 제안하여, 이벤트 기반 영상 복원, 예측, 프레임 보간을 통합적으로 처리.
**Autoregressive Unrolling**과 **Adaptive Context Switching**을 도입하여 긴 시퀀스에서의 시간적 드리프트 감소.
**Reencoding Alignment**와 **Cross Residual Correction**을 통해 프레임 보간 시 양방향 일관성을 보장.
**Event Voxel Density Augmentation**을 통해 다양한 센서 해상도에 대한鲁棒성을 확보.

핵심 아이디어

기존 이벤트 기반 영상 생성 방법은 CNN, RNN, 또는 디퓨전 모델을 사용했으나, 복원, 예측, 보간을 별도의 아키텍처로 처리하여 유연성이 떨어지고, 특히 긴 시퀀스에서 오류 누적과 드리프트 문제가 발생했다. LongE2V는 이벤트 볼륨을 조건으로 삼아 **비디오 디퓨전 모델(CogVideoX)**을 활용해 세 가지 작업을 통합적으로 처리한다. 이는 기존 방법들이 각 작업에 맞게 설계된 반면, LongE2V는 **Conditional Generation** 프레임워크를 통해 유연한 처리가 가능하다는 점에서 차별화된다. 특히, **3D VAE 잠재 공간**에서의 시간적 일관성을 보장하기 위해 Reencoding Alignment와 Cross Residual Correction을 도입한 것이 핵심이다.

기술적 접근법

**모델**: 기존 비디오 디퓨전 모델 **CogVideoX**를 미세 조정하여 이벤트 볼륨을 조건으로 사용.
**Autoregressive Unrolling**과 **Adaptive Context Switching**: 오류 누적과 드리프트 감소를 위해, 시퀀스를 청크 단위로 분할하고, 각 청크 내에서 자동 회귀 방식으로 생성하며, 맥락 정보를 동적으로 조정.
**Reencoding Alignment** + **Cross Residual Correction**: 3D VAE 잠재 공간에서의 시간적 일관성을 위해, 인코딩-디코딩-재인코딩 과정을 거치고, 잔차 정보를 교차 주입하여 일관성을 강화.
**Event Voxel Density Augmentation**: 다양한 센서 해상도에 대한 일반화를 위해, 훈련 시 이벤트 볼륨의 밀도를 증강.

주요 결과

**Event-based Video Reconstruction**: 기존 E2VID 대비 텍스처 복원 품질 향상.
**Frame Interpolation**: LPIPS 지표에서 기존 방법 대비 **+0.037 개선**.
**Prediction**: 오래된 시퀀스에서도 드리프트 감소, **Point Artifacts 감소**.
**Zero-shot Generalization**: 다양한 센서 해상도에서 안정적인 생성 성능 유지.

의의 및 한계

LongE2V는 이벤트 기반 영상 처리에서 복원, 예측, 보간을 통합적으로 처리할 수 있는 첫 번째 통합 프레임워크로, 기존 방법들의 단점을 보완한 점에서 학술적·실용적 가치가 크다. 특히, **3D VAE 잠재 공간에서의 일관성 유지**와 **이벤트 볼륨 밀도 증강**은 이 분야에서 새로운 접근법을 제시한다. 그러나, **추론 속도**와 **메모리 효율성**은 아직 개선이 필요한 부분이며, 실제 산업 적용 시에는 **하드웨어 최적화**가 필수적이다.

실용적 활용

LongE2V는 고속 이벤트 카메라를 활용하는 자율 주행, 드론, 로봇 비전 등에서 실시간 영상 복원 및 예측에 활용 가능하다. 특히, **HDR 환경**이나 **빠른 움직임**이 필요한 상황에서 기존 카메라의 한계를 보완할 수 있다.