InstructIR: High-Quality Image Restoration Following Human Instructions

Image restoration is a fundamental problem that involves recovering a high-quality clean image from its degraded observation. All-In-One image restoration models can effectively restore images from various types and levels of degradation using degradation-specific information as prompts to guide the restoration model. In this work, we present the first approach that uses human-written instructions to guide the image restoration model. Given natural language prompts, our model can recover high-quality images from their degraded counterparts, considering multiple degradation types. Our method, InstructIR, achieves state-of-the-art results on several restoration tasks including image denoising, deraining, deblurring, dehazing, and (low-light) image enhancement. InstructIR improves +1dB over previous all-in-one restoration methods. Moreover, our dataset and results represent a novel benchmark for new research on text-guided image restoration and enhancement. Our code, datasets and models are available at: https://github.com/mv-lab/InstructIR

한 줄 요약

InstructIR은 인간의 자연어 지시를 기반으로 다양한 이미지 복원 작업에서 최고 성능을 달성한 다중 작업 모델이다.

핵심 기여도

인간의 자연어 지시(NLP prompt)를 사용하여 이미지 복원 모델을 처음으로 유도함.
InstructIR은 이미지 디노이징, 데레인, 데블러링, 데헤이징, 저조도 향상 등 여러 복원 작업에서 +1dB 개선 성능을 달성함.
텍스트 유도형 이미지 복원 및 향상 분야의 새로운 벤치마크 데이터셋과 결과를 제시함.
기존 PromptIR, ProRes와 달리 사용자 텍스트 프롬프트를 직접 활용함.

핵심 아이디어

기존 이미지 복원 모델은 특정 노이즈, 블러, 안개 등의 정보를 벡터로 변환한 "프롬프트 임베딩"을 사용하여 모델을 유도하는 방식을 채택했으나, InstructIR은 사용자의 자연어 지시를 그대로 모델에 입력하여 복원 과정을 유도한다. 이는 사용자가 정확한 전문 용어 없이도 복원하고자 하는 내용을 설명할 수 있다는 점에서 혁신적이다. 예를 들어, "이미지가 너무 어둡다" 또는 "흐림을 제거해라"와 같은 텍스트를 입력으로 받아 복원 작업을 수행한다. 이는 기존 PromptIR과 ProRes가 사용하는 "learned guidance vectors"와는 구조적으로 다르며, 텍스트 기반의 유연한 제어를 가능하게 한다.

기술적 접근법

InstructIR은 NAFNet 기반의 이미지 복원 모델에 자연어 프롬프트를 결합한 다중 작업 모델이다.
텍스트 유도를 위해 별도의 언어 모델을 사용하지만, 성능 저하 없이 언어 모델을 교체할 수 있음 (본문 Model Design 참조).
6D 변형 모델은 슈퍼해상도 작업을 위해 입력 이미지를 Bicubic interpolation을 사용해 다운샘플링 후 다시 업샘플링한 후 복원함.
다양한 복원 작업(디노이징, 데블러링 등)을 하나의 모델로 처리하며, 텍스트 프롬프트를 기반으로 복원 방향을 결정함.

주요 결과

InstructIR은 기존 All-in-One 복원 모델 대비 +1dB의 성능 향상을 달성함.
다양한 복원 작업에서 최고 성능을 보이며, 텍스트 유도 복원 분야의 새로운 벤치마크를 제시함.
텍스트 프롬프트를 사용한 복원 방식은 기존 이미지 기반 분류 방식보다 유연하고 정확한 복원을 가능하게 함.

의의 및 한계

InstructIR은 사용자의 자연어 입력을 기반으로 이미지 복원을 수행함으로써, 사용자 맞춤형 이미지 처리를 가능하게 한다는 점에서 학술적·실용적 가치가 크다. 특히, 텍스트 유도 복원 분야에서의 첫 시도로, 향후 연구의 기초가 될 수 있다. 그러나, 텍스트 입력의 질에 따라 복원 결과가 달라질 수 있으며, 복잡한 복합적 텍스트 지시에 대한 처리 능력은 아직 한계가 있을 수 있다. 또한, 특정 복원 작업에 최적화된 전용 모델보다는 약간의 성능 저하가 발생할 수 있다.

실용적 활용

InstructIR은 디지털 이미지 편집, 모바일 카메라 이미지 향상, 보안 카메라 영상 복원 등 다양한 산업 분야에서 활용될 수 있다. 특히, 사용자가 복잡한 기술적 지식 없이도 간단한 텍스트로 이미지 품질을 개선할 수 있어, 일반 사용자 및 비전문가에게 매우 유용하다.