FlashVSR+: Efficient Video Super-Resolution via Hybrid Attention and Reward-Yield Distribution Matching

Recent video super-resolution (VSR) models achieve efficient one-step generation through diffusion distillation. However, high-resolution inference remains costly, and distilled models are difficult to align with human preferences. These challenges call for improvements in both model architecture and training strategy. We present FlashVSR+ to address both limitations. On the architecture side, we introduce hybrid attention based on the strong locality observed in pretrained VSR models, while retaining sparse global interaction for long-range consistency. It achieves up to 2times DiT speedup and 45\% lower peak memory, enabling spatially untiled 4K VSR on a single 24GB RTX 4090. On the training side, we propose Reward-Yield Distribution Matching Distillation (Ry-DMD) for preference-aligned one-step generation. Ry-DMD uses reward-weighted teacher rollouts to incorporate black-box rewards into distribution matching, without backpropagating through the reward model. We further show that Ry-DMD generalizes beyond VSR to T2I generation. Together, FlashVSR+ delivers stronger restoration quality and substantially improves high-resolution efficiency, with consistent gains in user preference. We release our code, models, and training data at https://www.flashvsr.tech{FlashBlue{www.flashvsr.tech}}.

한 줄 요약

FlashVSR+는 하이브리드 어텐션과 Ry-DMD를 결합한 효율적이고 사용자 선호에 맞춘 1단계 VSR 프레임워크이다.

핵심 기여도

하이브리드 어텐션을 도입하여 DiT 속도를 최대 2배 향상시키고, 최대 45%의 피크 메모리 절감을 달성.
Ry-DMD를 제안하여 블랙박스 보상 없이도 선호에 맞춘 1단계 생성 가능.
단일 24GB RTX 4090에서 4K 비디오를 타일 없이 처리 가능.
Ry-DMD는 VSR 외에도 T2I 생성에도 일반화 가능.

핵심 아이디어

기존 VSR 모델은 확산 디스틸레이션을 통해 1단계 생성을 가능하게 하지만, 고해상도 추론은 여전히 계산 비용이 높고, 디스틸된 모델은 인간의 선호와의 정렬이 어렵다. 이를 해결하기 위해, FlashVSR+는 사전 학습된 VSR 모델에서 관찰된 강한 로컬성에 기반한 하이브리드 어텐션을 도입한다. 이는 대부분의 어텐션 블록을 로컬 스페이시오-템포럴 어텐션으로 대체하면서, 일부는 글로벌 어텐션을 유지함으로써, 효율성과 장거리 일관성을 동시에 달성한다. 또한, Ry-DMD는 블랙박스 보상을 활용하여 선호에 맞춘 1단계 생성을 가능하게 하며, 보상 가중치를 사용한 티처 롤아웃을 통해 디스틸레이션 과정에서 보상을 반영한다.

기술적 접근법

**하이브리드 어텐션**: 대부분의 어텐션 블록을 로컬 스페이시오-템포럴 어텐션으로 대체.
**Ry-DMD (Reward-Yield Distribution Matching Distillation)**: 블랙박스 보상 없이도 선호에 맞춘 디스틸레이션. 티처 롤아웃을 보상 가중치로 재가중.
**하드웨어 효율성**: 단일 24GB RTX 4090에서 4K 비디오 처리 가능.
**하이퍼파라미터**: DiT 가속 2배, 피크 메모리 45% 감소.

주요 결과

**4K VSR**: 단일 24GB RTX 4090에서 타일 없이 처리 가능.
**DiT 속도**: 최대 2배 향상.
**피크 메모리**: 최대 45% 감소.
**Ry-DMD**: OCR-가이드 VSR에서 +12.3% 사용자 선호 향상 (기존 DMD 대비).

의의 및 한계

FlashVSR+는 고해상도 VSR의 효율성과 인간 선호 정렬이라는 두 가지 주요 과제를 동시에 해결한다. 하이브리드 어텐션은 계산 효율성을 높이며, Ry-DMD는 블랙박스 보상을 활용한 디스틸레이션을 가능하게 하여, 다양한 생성 작업에 적용 가능하다. 그러나, Ry-DMD는 티처 모델의 롤아웃 수에 따라 성능이 달라질 수 있으며, 더 긴 디스틸레이션 훈련은 일관된 성능 향상을 보장하지 못한다는 한계가 있다.

실용적 활용

FlashVSR+는 스마트폰 사진 향상, 소셜 미디어, 라이브 스트리밍, AI 생성 영상의 2K/4K 업스케일링 등 다양한 산업 분야에서 활용 가능하다. Ry-DMD는 텍스트-이미지 생성 등 다른 생성 작업에도 적용 가능하며, 블랙박스 보상 기반의 디스틸레이션을 필요로 하는 연구 분야에도 유용하다.