Neural Video Compression with Feature Modulation

The emerging conditional coding-based neural video codec (NVC) shows superiority over commonly-used resid-ual coding-based codec and the latest NVC already claims to outperform the best traditional codec. However, there still exist critical problems blocking the practicality of NVC. In this paper, we propose a powerful conditional coding- based NVC that solves two critical problems via feature modulation. The first is how to support a wide quality range in a single model. Previous NVC with this capability only supports about 3.8 dB PSNR range on average. To tackle this limitation, we modulate the latent feature of the cur-rent frame via the learnable quantization scaler. During the training, we specially design the uniform quantization pa-rameter sampling mechanism to improve the harmonization of encoding and quantization. This results in a better learning of the quantization scaler and helps our NVC support about 11.4 dB PSNR range. The second is how to make NVC still work under a long prediction chain. We expose that the previous SOTA NVC has an obvious quality degra-dation problem when using a large intra-period setting. To this end, we propose modulating the temporal feature with a periodically refreshing mechanism to boost the quality. Notably, under single intra-frame setting, our codec can achieve 29.7% bitrate saving over previous SOTA NVC with 16% MACs reduction. Our codec serves as a notable land-mark in the journey of NVC evolution. The codes are at https://github.com/microsoft/DCVC.

한 줄 요약

DCVC-FM은 학습 가능한 양자화 스케일러와 주기적 템포럴 피처 리프레시 기법을 통해 NVC의 실용성을 크게 향상시킨다.

핵심 기여도

**11.4 dB PSNR 범위**를 지원하는 단일 모델 구현 (기존 3.8 dB 대비 3배 확장).
**29.7% 비트레이트 절감**과 **16% MACs 감소**를 달성 (기존 SOTA DCVC-DC 대비).
**단일 인트라 프레임 설정**(intra-period –1)에서 VTM 대비 **25.5% 비트레이트 절감**.
**RGB 및 YUV 색공간**을 모두 지원하며, **16-bit 저정밀 추론**으로 메모리 절감.

핵심 아이디어

기존 NVC는 잔차 코딩 기반과 달리 조건부 코딩을 사용하여 더 낮은 엔트로피를 달성할 수 있지만, **광범위한 품질 범위 지원**과 **긴 예측 체인 처리**라는 두 가지 주요 문제를 해결하지 못했다. 본 연구는 **피처 모듈레이션**(feature modulation)을 통해 이 문제를 해결한다.

첫째, **학습 가능한 양자화 스케일러**(learnable quantization scaler)를 도입하여 현재 프레임의 잠재 피처를 조절함으로써, **단일 모델 내에서 11.4 dB PSNR 범위**의 품질 조절이 가능하도록 한다. 이는 **균일 양자화 파라미터 샘플링 메커니즘**(uniform quantization parameter sampling mechanism)을 통해 양자화와 인코딩 과정의 조화를 향상시킴으로써 달성된다.

둘째, **긴 예측 체인**(long prediction chain)에서의 품질 저하 문제를 해결하기 위해 **주기적 템포럴 피처 리프레시**(periodically refreshing mechanism)를 제안한다. 이는 **오래된 템포럴 피처의 오류 누적**을 줄이고, **인트라-프레임 주기를 1로 설정**(intra-period –1)한 상황에서도 품질을 유지한다.

기술적 접근법

**DCVC-FM**은 기존 DCVC-DC 기반으로 개선된 NVC 모델.
**학습 가능한 양자화 스케일러**를 사용하여 잠재 피처 조절.
**균일 양자화 파라미터 샘플링 메커니즘**으로 양자화와 인코딩 조화 향상.
**주기적 템포럴 피처 리프레시**를 통해 오류 누적 방지.
**RGB 및 YUV 색공간**을 모두 지원하는 구조.
**16-bit 저정밀 추론**을 통해 메모리 사용량 절감 (50% 감소).
**더 깊은 depthwise convolution** 사용으로 MACs 16% 감소.

주요 결과

**11.4 dB PSNR 범위** 지원 (기존 3.8 dB 대비 3배 확장).
**intra-period –1 설정**에서 VTM 대비 **25.5% 비트레이트 절감**.
**기존 SOTA NVC인 DCVC-DC 대비 29.7% 비트레이트 절감**, **16% MACs 감소**.
**16-bit 추론**으로 메모리 사용량 50% 감소.
**RGB 및 YUV 색공간**을 단일 모델에서 지원.

의의 및 한계

DCVC-FM은 NVC의 실용화를 위한 두 가지 주요 문제를 해결함으로써, **NVC 진화의 중요한 마일스톤**이 된다. 특히, **단일 인트라 프레임 설정**에서의 성능 향상은 NVC가 기존 인코더와 공정한 비교를 가능하게 하며, **저정밀 추론**을 통해 실시간 처리 가능성도 제시한다.

하지만, **16-bit 추론 기반의 속도는 여전히 실시간에 미치지 못**하며, **엔트로피 코딩의 플랫폼 간 호환성 문제**가 남아 있다. 또한, **색공간 지원**이나 **추론 정밀도**는 성능 향상과 함께 비트레이트 증가를 동반하기 때문에, **실용성과 효율성의 균형**이 필요하다.

실용적 활용

DCVC-FM은 **저비용 고성능 비디오 인코딩**이 필요한 스트리밍, 모바일, IoT 등 다양한 산업에 적용 가능하다. 특히, **단일 인트라 프레임 설정**에서의 성능 향상은 **실시간 인코딩**이나 **네트워크 자원이 제한된 환경**에서 유용하며, **저정밀 추론 기반의 메모리 절감**은 **엣지 기기**나 **하드웨어 가속기**와의 호환성 향상에 기여할 수 있다.