Towards Practical Real-Time Neural Video Compression

We introduce a practical real-time neural video codec (NVC) designed to deliver high compression ratio, low latency and broad versatility. In practice, the coding speed of NVCs depends on 1) computational costs, and 2) non-computational operational costs, such as memory I/O and the number of function calls. While most efficient NVCs prioritize reducing computational cost, we identify operational cost as the primary bottleneck to achieving higher coding speed. Leveraging this insight, we introduce a set of efficiency-driven design improvements focused on minimizing operational costs. Specifically, we employ implicit temporal modeling to eliminate complex explicit motion modules, and use single low-resolution latent representations rather than progressive downsampling. These innovations significantly accelerate NVC without sacrificing compression quality. Additionally, we implement model integerization for consistent cross-device coding and a module-bank-based rate control scheme to improve practical adaptability. Experiments show our proposed DCVC-RT achieves an impressive average encoding/decoding speed at 125.2/112.8 fps (frames per second) for 1080p video, while saving an average of 21% in bitrate compared to H.266/VTM. The code is available at https://github.com/microsoft/DCVC.

한 줄 요약

DCVC-RT는 1080p 영상에서 125.2/112.8 fps의 인코딩/디코딩 속도를 달성하며, H.266/VTM 대비 21%의 비트레이트 절감을 보이는 실시간 신경망 영상 압축 기술이다.

핵심 기여도

**운영 비용(operational cost)가 인코딩 속도의 주요 병목**임을 밝혀, 기존 연구가 주로 고려한 계산 비용(computational cost)보다 더 중요한 요소로 제시.
**암묵적 시간 모델링(implicit temporal modeling)**과 **단일 저해상도 레이턴트 표현(single low-resolution latent representation)**을 도입하여, 복잡한 움직임 추정/보상 모듈을 제거하고 메모리 I/O를 줄임.
**모델 정수화(model integerization)**와 **모듈-뱅크 기반 비트레이트 제어(module-bank-based rate control)**를 통해, 장치 간 일관성과 실용적 적응성을 확보.
**DCVC-RT는 1080p 영상에서 평균 125.2/112.8 fps의 인코딩/디코딩 속도**를 달성하며, H.266/VTM 대비 21%의 비트레이트 절감.

핵심 아이디어

기존 신경망 영상 압축(NVC) 연구는 주로 계산 비용을 줄이는 데 집중했지만, 본 연구는 **운영 비용**(메모리 I/O, 함수 호출 수 등)이 인코딩 속도의 주요 병목임을 밝혔다. 이를 바탕으로, **암묵적 시간 모델링**을 도입하여 복잡한 움직임 추정/보상 모듈을 제거하고, **단일 저해상도 레이턴트 표현**을 사용하여 메모리 I/O를 줄였다. 이는 레이턴트 표현의 크기를 1/8로 줄이며, **메모리 I/O 비용을 감소시키고 레이턴트 변환 효율을 향상**시켰다. 또한, **모델 정수화**(16비트 정수 연산)를 통해 장치 간 일관성을 확보하고, **모듈-뱅크 기반 비트레이트 제어**를 통해 실용적 적응성을 강화했다.

기술적 접근법

**암묵적 시간 모델링**: 복잡한 움직임 추정/보상 모듈을 제거하고, 프레임 인코딩 모듈에 계산 자원을 재할당하여 **시간적 의존성을 암묵적으로 학습**.
**단일 저해상도 레이턴트 표현**: 원본 이미지 크기의 1/8 크기로 레이턴트 표현을 학습하여, **메모리 I/O 비용을 줄이고 레이턴트 변환 효율을 향상**.
**모델 정수화**: 16비트 정수 연산을 도입하여, **장치 간 일관성**(cross-device consistency)을 보장.
**모듈-뱅크 기반 비트레이트 제어**: 다양한 비트레이트 설정에 따라 적절한 인코딩 모듈을 선택하여, **실용적 적응성**을 강화.
**하드웨어 최적화 부족**: 현재 int16 모드는 fp16 대비 속도가 느림. 향후 하드웨어 최적화 필요.

주요 결과

**1080p 영상에서 DCVC-RT의 평균 인코딩/디코딩 속도는 125.2/112.8 fps**.
**H.266/VTM 대비 21%의 비트레이트 절감**.
**단일 저해상도 레이턴트 표현**을 사용하여, **메모리 I/O 비용을 감소시키고 레이턴트 변환 효율을 향상**.
**암묵적 시간 모델링**을 통해, **움직임 추정/보상 모듈을 제거**하고 처리 속도를 향상.
**모델 정수화**를 통해, **장치 간 일관성**(cross-device consistency)을 확보.

의의 및 한계

DCVC-RT는 **실시간 인코딩**(1080p 기준 125.2 fps)과 **높은 압축률**(H.266/VTM 대비 21% 절감)을 동시에 달성한 최초의 NVC로, **신경망 영상 압축 기술의 실용화를 촉진**하는 중요한 기반을 제공한다. 특히, **운영 비용 최적화**를 통해 기존 연구가 간과했던 병목 요소를 해결함으로써, **실제 애플리케이션에 적용 가능한 속도와 효율**을 달성했다. 그러나, **int16 모드의 하드웨어 최적화가 부족**하여, fp16 대비 속도가 느린 한계가 있으며, 이는 향후 연구 주제로 제시된다.

실용적 활용

DCVC-RT는 **실시간 영상 스트리밍**, **저비용 장치에서의 고화질 영상 전송**, **다양한 장치 간 일관된 인코딩/디코딩이 필요한 환경**에 적용 가능하다. 특히, **1080p 영상의 실시간 인코딩**(125.2 fps)과 **높은 압축률**(21% 절감)을 통해, **OTT 플랫폼**, **보안 카메라**, **VR/AR 시스템** 등에 활용될 수 있다.