Diffusion Models in Medical Image Inpainting: Challenges, Solution Taxonomy, and Future Directions

Image inpainting aims to reconstruct missing or corrupted regions of an image while preserving as much as possible, visual and semantic consistency. In medical imaging, this task is particularly important because artifacts, missing information, and pathological alterations can compromise diagnostic reliability and downstream clinical applications. Recently, diffusion models have emerged as state-of-the-art generative approaches for medical image inpainting due to their ability to generate anatomically consistent reconstructions. This survey presents a systematic review of diffusion-based methods for medical image inpainting, covering the main architectures, applications, datasets, and evaluation strategies reported across 60 studies. In addition, we propose a taxonomy for diffusion-based approaches. The analysis reveals a rapid growth of research interest in diffusion-based medical image inpainting, with denoising diffusion probabilistic models and latent diffusion models emerging as the dominant architectures. The reviewed studies mainly focus on artifact removal, data augmentation, pseudo-healthy tissue reconstruction, and anomaly detection, particularly in magnetic resonance imaging and computed tomography imaging. Overall, diffusion models demonstrate strong performance in producing anatomically plausible reconstructions and aiding downstream clinical tasks. However, the review also highlights important challenges, including the lack of standardized benchmarks, limited dataset diversity, and restricted validation procedures across diverse clinical applications and imaging scenarios.

한 줄 요약

의료 이미지 인페인팅에서 확산 모델의 활용, 주요 아키텍처, 데이터셋, 평가 방법을 60개 연구를 바탕으로 체계적으로 분석하고, 주요 과제와 미래 방향을 제시한다.

핵심 기여도

60개 연구를 PRISMA 프레임워크를 통해 체계적으로 검토하여, 의료 이미지 인페인팅에서 확산 모델의 주요 아키텍처(DDPM, LDM)와 주요 응용 분야(아티팩트 제거, 의사건강 조직 재구성 등)를 정리.
확산 기반 인페인팅 접근법에 대한 분류 체계(taxonomy)를 제안.
BraTS와 TCGA 데이터셋에서 NeuroLIT, PathoPainter, TPDM, DM-Inpainting 모델을 비교 평가, NeuroLIT이 PSNR과 SSIM에서 가장 높은 성능을 보임.
실험 결과를 바탕으로 LDM이 높은 재구성 품질과 계산 효율성을 동시에 달성할 수 있음을 제시.

핵심 아이디어

의료 이미지 인페인팅은 결측 또는 손상된 영역을 시각적·의학적 일관성을 유지하면서 재구성하는 것이 핵심이다. 이 연구는 최근 확산 모델(Diffusion Models, DM)이 의료 이미지 인페인팅에서 뛰어난 성능을 보이며 주목받고 있음을 강조한다. 특히, Denoising Diffusion Probabilistic Models (DDPM)과 Latent Diffusion Models (LDM)가 주요 아키텍처로 부상하고 있으며, 이들은 MRI, CT 등 다양한 영상 모드에서 활용되고 있다.

NeuroLIT과 PathoPainter는 LDM 기반 모델로, BraTS와 TCGA 데이터셋에서 높은 PSNR(예: NeuroLIT, BraTS에서 최고)과 SSIM 성능을 보였다. 이는 LDM이 래티언트 공간에서의 확산을 통해 계산 효율성을 유지하면서도 높은 재구성 품질을 달성할 수 있음을 시사한다. 또한, 인페인팅의 주요 응용 분야는 아티팩트 제거, 의사건강 조직 재구성, 데이터 증강 등이며, 이는 의료 이미지의 진단 신뢰도 향상에 기여한다.

기술적 접근법

**모델 아키텍처**: DDPM, LDM, Score-Based Diffusion Models가 주요 확산 모델로 사용됨.
**데이터셋**: BraTS, TCGA, 다른 의료 이미지 데이터셋에서 실험 수행.
**평가 지표**: PSNR, SSIM, 재구성 시간(예: NeuroLIT, 0.1초 미만)을 사용.
**실험 설정**: MCAR, MAR, MNAR와 같은 결측 메커니즘을 고려한 평가 수행.
**하이퍼파라미터**: 모델별 학습률, 배치 크기, 에폭 수는 연구별로 다르지만, 대부분의 연구는 GPU 기반 학습 환경에서 수행됨.

주요 결과

**BraTS 데이터셋**: NeuroLIT이 PSNR과 SSIM에서 가장 높은 성능을 보임.
**TCGA 데이터셋**: PathoPainter가 MCAR, MAR 메커니즘에서 최고 PSNR, NeuroLIT이 MNAR 메커니즘에서 PSNR과 SSIM 모두 최고 성능.
**속도**: NeuroLIT과 TPDM이 0.1초 미만의 추론 시간을 기록하며, 빠른 성능을 보임.
**모델 비교**: LDM 기반 모델(NeuroLIT, PathoPainter)이 DDPM 기반 모델(DM-Inpainting, TPDM)보다 재구성 품질에서 우수함.
**일관성**: NeuroLIT은 모든 결측 메커니즘(MCAR, MAR, MNAR)에서 안정적인 성능을 유지.

의의 및 한계

의료 이미지 인페인팅에서 확산 모델은 해부학적 일관성을 유지하면서 결측 영역을 효과적으로 재구성할 수 있어 임상적 활용성이 높다. 특히, NeuroLIT과 PathoPainter는 높은 PSNR과 SSIM, 빠른 추론 속도를 통해 의료 이미지 분석의 신뢰도를 높이는 데 기여할 수 있다. 또한, 데이터 증강 및 의사건강 조직 재구성과 같은 응용 분야에서 확산 모델의 잠재력이 입증되었다.

그러나, 연구는 표준화된 벤치마크 부족, 데이터셋 다양성의 한계, 다양한 임상 환경에서의 검증 부족을 지적한다. 대부분의 연구가 특정 임상 목적에 최적화되어 있어, 다목적·다영역 적용 가능성은 여전히 제한적이다. 또한, 대부분의 모델이 단일 영상 모드(예: MRI)에서 평가되었으며, 다른 영상 모드(예: CT, 초음파)로의 확장 가능성은 추가 연구가 필요하다.

실용적 활용

의료 이미지 인페인팅 기술은 MRI, CT 등 다양한 영상 모드에서 아티팩트 제거, 결측 데이터 보완, 데이터 증강에 활용될 수 있다. 특히, NeuroLIT과 PathoPainter는 빠른 추론 속도와 높은 재구성 품질로 임상 진단 지원 시스템, 의료 AI 모델 학습 데이터 생성 등에 실용적으로 활용될 수 있다. 또한, 의사건강 조직 재구성 기술은 뇌 질환 연구나 병리 분석에서 중요한 도구로 사용될 수 있다.