Improving Diffusion Inverse Problem Solving with Decoupled Noise Annealing

Diffusion models have recently achieved success in solving Bayesian inverse problems with learned data priors. Current methods build on top of the diffusion sampling process, where each denoising step makes small modifications to samples from the previous step. However, this process struggles to correct errors from earlier sampling steps, leading to worse performance in complicated nonlinear inverse problems, such as phase retrieval. To address this challenge, we propose a new method called Decoupled Annealing Posterior Sampling (DAPS) that relies on a novel noise annealing process. Specifically, we decouple consecutive steps in a diffusion sampling trajectory, allowing them to vary considerably from one another while ensuring their time-marginals anneal to the true posterior as we reduce noise levels. This approach enables the exploration of a larger solution space, improving the success rate for accurate reconstructions. We demonstrate that DAPS significantly improves sample quality and stability across multiple image restoration tasks, particularly in complicated nonlinear inverse problems.

한 줄 요약

DAPS는 역 문제 해결에서 확률적 확장과 안정성을 향상시키기 위해 확산 샘플링 과정에서 샘플 간 의존성을 분리하는 새로운 노이즈 에너징 프로세스를 제안한다.

핵심 기여도

DAPS는 샘플링 과정에서 이전 단계의 오류를 수정하기 위해 샘플 간 의존성을 분리함.
DAPS는 시간-마진 분포 $ p(\mathbf{x}_t | \mathbf{y}) $에서 반복적으로 샘플링함.
DAPS는 Gaussian approximation을 사용하여 6~7배 빠른 추론 속도를 달성함.
DAPS는 비선형 역 문제에서 DPS 대비 더 높은 정확도와 안정성을 보임.

핵심 아이디어

기존 확산 모델 기반 역 문제 해결 방법은 샘플링 과정에서 이전 단계 샘플 $ \mathbf{x}_{t+\Delta t} $를 기반으로 $ \mathbf{x}_t $를 생성하는 방식을 사용한다. 이는 샘플 간의 유사성을 유지시키지만, 전역적 오류를 수정하는 데 한계가 있다. DAPS는 샘플 $ \mathbf{x}_{t+\Delta t} $와 $ \mathbf{x}_t $ 간의 의존성을 분리하여, 샘플링 과정에서 더 큰 변화를 허용함으로써 전역적 오류를 수정할 수 있도록 설계되었다. 이는 시간-마진 분포 $ p(\mathbf{x}_t | \mathbf{y}) $에서 샘플링함으로써 달성되며, 이는 확산 역 과정, 랑지빙 역학, 전진 확산 과정의 조합으로 구현된다.

기술적 접근법

DAPS는 샘플링 과정에서 $ p(\mathbf{x}_t | \mathbf{y}) $를 반복적으로 샘플링함.
샘플링 단계는 3단계로 구성됨: (1) 확산 역 과정, (2) 랑지빙 역학, (3) 전진 확산 과정.
Gaussian approximation을 사용하면 추론 속도가 6~7배 빨라지지만, 약간의 성능 저하가 발생함.
DAPS는 raw pixel space와 learned latent space에서 모두 사용 가능하며, 각각 DAPS와 LatentDAPS로 구분됨.

주요 결과

Gaussian deblurring 작업에서 DAPS는 PSNR 29.40, LPIPS 0.170 성능을 달성함.
Diffusion-score 방법 대비 Gaussian approximation은 614.53% 빠르지만, PSNR은 -0.575%, LPIPS는 -6.25% 낮음.
MNIST 이진 데이터셋에서 DAPS는 inpainting과 XOR 작업 모두에서 기존 방법 대비 높은 분류 정확도를 보임.
비선형 역 문제에서 DAPS는 DPS 대비 샘플 품질과 안정성이 향상됨.

의의 및 한계

DAPS는 샘플링 과정에서 샘플 간 의존성을 분리함으로써 전역적 오류 수정 능력을 향상시켜, 기존 확산 모델 기반 방법의 한계를 극복한다. 특히, 비선형 역 문제에서 뛰어난 성능을 보이며, 다양한 영상 복원 작업에서 실용적 가치가 높다. 그러나 Gaussian approximation을 사용하면 약간의 성능 저하가 발생하며, 이는 추론 속도와 정확도 간의 트레이드오프를 의미한다. 또한, 이 연구는 이산 상태 공간에서의 DAPS 적용 가능성에 대한 추가 연구가 필요하다고 언급하고 있다.

실용적 활용

DAPS는 영상 복원, 의료 영상, 천체 사진 등 다양한 역 문제 해결에 적용 가능하다. 특히, 비선형 측정 과정이 필요한 상황에서 뛰어난 샘플 품질과 안정성을 제공하며, 빠른 추론 속도를 요구하는 산업 현장에서도 유용하게 사용될 수 있다.