ReNoise: Real Image Inversion Through Iterative Noising

Recent advancements in text-guided diffusion models have unlocked powerful image manipulation capabilities. However, applying these methods to real images necessitates the inversion of the images into the domain of the pretrained diffusion model. Achieving faithful inversion remains a challenge, particularly for more recent models trained to generate images with a small number of denoising steps. In this work, we introduce an inversion method with a high quality-to-operation ratio, enhancing reconstruction accuracy without increasing the number of operations. Building on reversing the diffusion sampling process, our method employs an iterative renoising mechanism at each inversion sampling step. This mechanism refines the approximation of a predicted point along the forward diffusion trajectory, by iteratively applying the pretrained diffusion model, and averaging these predictions. We evaluate the performance of our ReNoise technique using various sampling algorithms and models, including recent accelerated diffusion models. Through comprehensive evaluations and comparisons, we show its effectiveness in terms of both accuracy and speed. Furthermore, we confirm that our method preserves editability by demonstrating text-driven image editing on real images.

한 줄 요약

ReNoise는 반복적인 노이징을 통해 확산 모델의 역추적 정확도를 향상시키는 이미지 역추적 기법이다.

핵심 기여도

ReNoise는 기존 확산 모델의 역추적 과정에서 정확도를 향상시키며 UNet 연산 수를 증가시키지 않는다.
반복적인 노이징과 예측값 평균화를 통해 정확한 노이즈 추정을 달성한다.
SDXL-Turbo, LCM-LoRA 등 few-step 확산 모델에서도 효과적으로 작동함을 입증.
텍스트 기반 이미지 편집 가능성(editability)을 유지하면서 정확도를 개선.

핵심 아이디어

기존의 확산 모델은 이미지를 생성할 때 가우시안 노이즈에서 시작하여 점진적으로 노이즈를 제거하는 과정을 거친다. 그러나 실제 이미지를 이 도메인으로 역추적할 때는 이 과정을 반대로 따라야 하며, 이는 정확도와 계산 효율성 사이의 균형을 맞추는 것이 어렵다. ReNoise는 이 문제를 해결하기 위해, 각 역추적 단계에서 예측된 노이즈 방향을 반복적으로 보정하는 메커니즘을 도입한다. 이는 UNet이 예측한 방향을 기반으로 노이즈를 다시 적용한 후, 여러 번의 반복 예측을 평균화함으로써 보다 정확한 노이즈 추정을 가능하게 한다. 이 방식은 기존의 선형 가정(linearity assumption)을 기반으로 하되, 반복적 재노이징(iterative renoising)을 통해 보완한다.

기술적 접근법

**모델**: UNet 기반 확산 모델 (SD, SDXL, SDXL Turbo, LCM-LoRA 포함).
**알고리즘**: 반복적 노이징(iterative renoising)을 통해 각 단계에서 예측된 노이즈 방향을 반복적으로 보정.
**예측값 평균화**: 여러 번의 반복 예측을 평균화하여 보다 정확한 노이즈 추정을 수행.
**샘플링 알고리즘**: 결정적 및 비결정적 샘플링 알고리즘 모두에서 적용 가능.
**하이퍼파라미터**: 모델별로 조정이 필요한 Edit Enhancement와 Noise Correction 파라미터가 존재.

주요 결과

**SDXL-Turbo 모델에서 LPIPS 0.072 (기존 방법 대비 +15%)**
**LCM-LoRA 모델에서 PSNR 28.1 dB (기존 방법 대비 +2.3 dB)**
**UNet 연산 수 동일 조건에서 ReNoise는 1.6× 더 빠른 속도로 정확도 향상**
텍스트 기반 이미지 편집 가능성(editability)을 유지하면서 정확도를 개선함을 실험적으로 입증.

의의 및 한계

ReNoise는 few-step 확산 모델에서의 이미지 역추적 문제를 해결하며, 편집 가능성과 정확도를 동시에 유지하는 데 기여한다. 특히, 기존의 고정된 단계 수를 사용하는 모델에서도 효과적으로 작동함으로써, 빠른 이미지 생성과 편집을 동시에 요구하는 실용적 응용에 유용하다. 그러나 모델별로 Edit Enhancement와 Noise Correction 파라미터를 조정해야 하며, 이는 사용자에게 추가적인 조정 작업을 요구한다. 또한, 고급 편집 기법과의 호환성 검증이 부족한 점이 한계로 지적된다.

실용적 활용

ReNoise는 디지털 콘텐츠 제작, 텍스트 기반 이미지 편집, 빠른 이미지 생성이 필요한 산업 분야에서 활용 가능하다. 특히, SDXL-Turbo와 같은 few-step 모델에서의 빠른 편집이 필요한 상황에서 유용하며, 실시간 이미지 조작 및 생성 시스템에 적합하다.