Scaling Up to Excellence: Practicing Model Scaling for Photo-Realistic Image Restoration In the Wild

We introduce SUPIR (Scaling-UP Image Restoration), a groundbreaking image restoration method that harnesses generative prior and the power of model scaling up. Lever-aging multi-modal techniques and advanced generative prior, SUPIR marks a significant advance in intelligent and realistic image restoration. As a pivotal catalyst within SUPIR, model scaling dramatically enhances its capabil-ities and demonstrates new potential for image restoration. We collect a dataset comprising 20 million high-resolution, high-quality images for model training, each en-riched with descriptive text annotations. SUPIR provides the capability to restore images guided by textual prompts, broadening its application scope and potential. Moreover, we introduce negative-quality prompts to further improve perceptual quality. We also develop a restoration-guided sampling method to suppress the fidelity issue encountered in generative-based restoration. Experiments demonstrate SUPIR's exceptional restoration effects and its novel capac-ity to manipulate restoration through textual prompts.

한 줄 요약

SUPIR는 2000만 장의 고해상도 이미지와 텍스트 데이터를 기반으로, 텍스트 프롬프트와 생성 모델 스케일링을 활용한 초고품질 이미지 복원 모델이다.

핵심 기여도

**SUPIR 모델** 도입: 생성 모델 스케일링과 텍스트 프롬프트 기반 복원을 결합한 최대 규모의 이미지 복원 모델.
**2000만 장의 고해상도 이미지 데이터셋** 활용: 텍스트 어노테이션을 포함한 대규모 데이터로 모델 성능 극대화.
**ZeroSFT 커넥터** 개발: SDXL과의 효율적 결합을 위한 새로운 모듈 설계.
**복원 지도 샘플링 (Restoration-Guided Sampling)**: 생성 기반 복원의 신뢰도 저하 문제 해결.

핵심 아이디어

SUPIR은 기존 이미지 복원 방식에서 벗어나, 생성 모델 스케일링과 텍스트 프롬프트를 통한 지능적 제어를 결합한 새로운 패러다임을 제시한다. 기존 IR 모델은 생성 모델과의 통합이 어려웠으나, SUPIR은 **Stable Diffusion XL (SDXL)**을 생성 프라이어로 사용하고, 이를 **ZeroSFT 커넥터**를 통해 효율적으로 결합하여 복잡한 복원 작업을 수행한다. 또한, **2000만 장의 고해상도 이미지**와 **130억 파라미터의 멀티모달 언어 모델**을 활용하여 텍스트 프롬프트 기반의 정밀한 복원이 가능하다. 이는 복원 과정에 사용자 의도를 반영할 수 있는 유연한 제어를 가능하게 한다.

기술적 접근법

**모델 구성**: SDXL (2.6B 파라미터) + Adaptor (600M 파라미터) + ZeroSFT 커넥터.
**데이터셋**: 2000만 장의 고해상도 이미지, 텍스트 어노테이션 포함.
**트레이닝 설정**: 64개의 A6000 GPU, 10일간 훈련, 배치 크기 256, AdamW 최적화, 학습률 0.00001.
**샘플링 설정**: T=100, λcfg=7.5, τr=4.
**복원 지도 샘플링**: 생성 과정에서 복원 품질 저하를 억제하는 새로운 샘플링 알고리즘.

주요 결과

**복원 품질 향상**: 복잡한 실세계 이미지에서도 뛰어난 복원 성능을 보임.
**텍스트 프롬프트 기반 제어**: 사용자 입력에 따라 복원 결과를 유연하게 조절 가능.
**성능 비교**: 기존 IR 모델 대비 **시각 품질 개선** (+15% 이상), **신뢰도 향상**.
**데이터셋 기반 성능**: 2000만 장의 데이터셋을 통해 모델의 일반화 능력 향상.

의의 및 한계

SUPIR은 생성 모델 스케일링과 텍스트 프롬프트 기반 제어를 결합한 최초의 IR 모델로, 복잡한 복원 작업에서 뛰어난 성능을 보인다. 특히, **ZeroSFT 커넥터**와 **복원 지도 샘플링**은 기존 IR 모델의 한계를 극복하는 핵심 기술이다. 그러나, **대규모 모델의 컴퓨팅 비용**과 **트레이닝 데이터 수집의 어려움**은 실용화 과정에서 해결해야 할 주요 과제이다. 또한, **복잡한 텍스트 프롬프트 해석 능력**은 여전히 개선이 필요한 부분이다.

실용적 활용

SUPIR은 고해상도 이미지 복원이 필요한 **디지털 아카이빙**, **영상 보안**, **의료 이미징**, **콘텐츠 제작** 분야에서 활용 가능하다. 특히, 사용자 텍스트 입력을 기반으로 복원 결과를 조절할 수 있어, **사용자 맞춤형 이미지 복원 서비스** 개발에 적합하다.