Super-Resolution in The Right Latent Space: A Frozen Vision-Foundation Substrate

In an image latent space, the embeddings of high-resolution, natural, and sharp images form a manifold. Degradation of high-resolution images pushes their embeddings off this manifold. Real-world super-resolution (SR) then becomes the task of mapping the degraded embedding back onto this manifold --- not anywhere on the manifold, but to the point that preserves what the input still carries, both its semantics and pixel details. Every published method implements this mapping in a reconstruction-oriented latent space or pixel space. We claim these spaces are the wrong substrates for SR. Low-resolution and degraded images are embedded far from the manifold, making the mapping difficult and expensive. The lack of semantic information in these substrates also makes it difficult to navigate to the faithful point on the manifold, causing severe hallucination when degradation is heavy. Thus, restoring in a suitable latent space is crucial to the SR task. We show that the latent space of 23 fused layers of a frozen DINOv3-L is one such space that makes the SR task easier. Degraded images are embedded near the manifold. Moreover, this substrate contains a hierarchy of information, from pixel record to degradation robust semantics, guiding the model to find the faithful point on the manifold. On this substrate, a 415M decoder is trained under reconstruction and adversarial objectives to map the degraded embeddings back and decode to pixel space in one pass. The resulting model, RAESR, attains the best fidelity--perception trade-off among state-of-the-art adversarial and diffusion-based restorers on RealSR, DRealSR, LSDIR and DIV2K-Val, at 37 ms per 512 by 512 image on a single H20 GPU. Swapping the substrate for a VAE latent under an identical recipe loses on every metric.

한 줄 요약

RAESR은 DINOv3-L의 23개 레이어를 결합한 잠재 공간에서 단일 디코더 패스로 최적의 초해상화를 달성한 모델로, 512×512 이미지 처리 시 37ms의 빠른 속도를 보인다.

핵심 기여도

DINOv3-L의 23개 레이어를 결합한 **Frozen Vision-Foundation Substrate**를 제안, 저해상도 이미지 임베딩이 맨ifold에 가까워져 복원이 용이함.
**RAESR** 디코더는 단일 패스로 복원 및 픽셀 공간으로 디코딩하며, 415M 파라미터로 빠른 추론 속도(37ms/이미지) 달성.
VAE 잠재 공간 대비 모든 메트릭에서 우수한 성능, 특히 **RealSR, DRealSR, LSDIR, DIV2K-Val** 데이터셋에서 최고의 fidelity–perception trade-off 기록.
**NIQE, MANIQA, DISTS, MUSIQ, LPIPS, TOPIQ** 등 6개 메트릭에서 12개 기존 방법 중 1~2위 성적.

핵심 아이디어

기존 초해상화(SR) 방법은 복원을 **재구성 중심 잠재 공간** 또는 **픽셀 공간**에서 수행하지만, 저해상도 이미지는 맨ifold에서 멀리 떨어져 있어 복원이 어려우며, 의미 정보 부족으로 환상(hallucination)이 발생한다. 본 연구는 SR을 **의미 정보와 픽셀 정보를 모두 포함하는 적절한 잠재 공간**에서 수행해야 한다고 주장한다. DINOv3-L의 23개 레이어를 결합한 잠재 공간은 저해상도 이미지를 맨ifold에 가깝게 임베딩하며, **픽셀 레코드부터 강건한 의미 정보까지 계층적 정보를 포함**하여 복원 경로를 정확히 안내한다. 이는 단일 디코더 패스로도 정확한 복원이 가능하게 만든다.

기술적 접근법

**Frozen DINOv3-L의 23개 레이어를 평균화한 잠재 공간** 사용.
**RAESR 디코더**는 415M 파라미터로 구성, **재구성 및 적대적 손실**을 기반으로 단일 패스로 학습.
**H20 GPU**에서 512×512 이미지 처리 시 **37ms** 소요.
**VAE 잠재 공간** 대신 DINOv3-L 잠재 공간 사용 시 모든 메트릭에서 우수한 성능.
**DINOv3-L**은 1.7억 개의 비정제 이미지로 **자체 증강(self-augmentation)** 기반의 **자체 학습(self-supervised)** 방식으로 학습됨.

주요 결과

**RealSR, DRealSR, LSDIR, DIV2K-Val** 데이터셋에서 **NIQE, MANIQA, DISTS, MUSIQ, LPIPS, TOPIQ** 메트릭에서 12개 기존 방법 중 1~2위 성적.
**NIQE**: 12개 방법 중 1위, **MANIQA**: 1위, **DISTS**: 1위, **MUSIQ**: 2위, **LPIPS**: 2위, **TOPIQ**: 2위.
**37ms/이미지**의 추론 속도로 **719M 파라미터** 기반의 최고 효율–인식 trade-off 달성.
**인간 평가자**가 RAESR 복원 결과를 4개 경쟁 모델보다 선호함.

의의 및 한계

RAESR은 SR 분야에서 **잠재 공간 선택의 중요성**을 강조하며, 기존 방법들의 한계(복잡한 구조, 느린 추론, 환상 생성)를 극복한 모델이다. DINOv3-L 잠재 공간은 **복원 경로를 단축하고 의미 정보로 정확한 복원 지점을 안내**하므로, SR의 효율성과 정확도를 동시에 향상시킨다. 그러나 DINOv3-L은 **미리 학습된 모델**이므로, 특정 도메인에 최적화된 데이터셋에서는 제한적일 수 있다. 또한, **단일 디코더 패스**로 인해 복잡한 복원 상황에서는 **세부 표현력**이 부족할 수 있다.

실용적 활용

RAESR은 **실시간 이미지 복원**이 필요한 산업(예: 스트리밍, 모바일 앱) 및 **의료 영상, 위성 영상, 보안 카메라** 등 저해상도 이미지 처리 분야에서 활용 가능하다. 또한, **컴퓨터 비전 연구**에서 복원 모델의 잠재 공간 설계에 대한 새로운 접근법을 제시하며, **시각 기초 모델**(vision foundation model)의 활용 범위를 확장할 수 있다.