PRISM: Prior Rectification and Uncertainty-Aware Structure Modeling for Diffusion-Based Text Image Super-Resolution

Text image super-resolution (Text-SR) requires more than visually plausible detail synthesis: slight errors in stroke topology may alter character identity and break readability. Existing methods improve text fidelity with stronger recognition-based or generative priors, yet they still face two unresolved challenges under severe degradation: the text condition extracted from low-quality inputs can itself be unreliable, and a plausible global prior does not fully determine fine-grained stroke boundaries. We present PRISM, a single-step diffusion-based Text-SR framework that addresses these two challenges through Flow-Matching Prior Rectification (FMPR) and a Structure-guided Uncertainty-aware Residual Encoder (SURE). FMPR constructs a privileged training-time prior from paired low-quality/high-quality latents and learns a flow matching that transports degraded embeddings toward this restoration-oriented prior space, yielding more accurate and reliable global text guidance. SURE further predicts uncertainty-aware structural residuals to selectively absorb reliable local boundary evidence while suppressing ambiguous stroke cues. Together, these components enable explicit global prior rectification and local structure refinement within a single diffusion restoration pass. Experiments on both synthetic and real-world benchmarks show that PRISM achieves state-of-the-art performance with millisecond-level inference. Our dataset and code will be available at https://github.com/faithxuz/PRISM.

📋 한 줄 요약

**[Computer Vision/Text-SR]** 저품질 입력의 텍스트 조건과 글로벌 prior의 불확실성을 동시에 보정하는 단일 스텝 디퓨전 Text-SR 프레임워크 PRISM, 합성·실세계 벤치마크에서 SOTA를 밀리초 단위 추론 속도로 달성.

🎯 핵심 기여도

텍스트 이미지 SR에서 "신뢰할 수 없는 텍스트 조건"과 "stroke 경계의 불확정성"이라는 두 미해결 과제를 정식화
Flow-Matching Prior Rectification(FMPR): 저화질 latent → 복원 지향 prior 공간으로 흐름 매칭 학습
Structure-guided Uncertainty-aware Residual Encoder(SURE): 불확실성 기반으로 신뢰 가능한 로컬 경계 증거만 선택적 흡수
단일 디퓨전 패스에서 글로벌 prior 보정과 로컬 구조 정제를 동시에 수행
합성/실세계 Text-SR 벤치마크에서 SOTA + 밀리초 수준 추론 속도

💡 핵심 아이디어

글자 인식 가능성은 stroke 위상 한 획의 오류만으로도 무너진다. 기존 prior 기반 방법은 prior 자체가 저품질 입력에서 불안정해질 수 있다는 점을 간과한다. PRISM은 (1) prior 자체를 LQ↔HQ 페어로 학습된 flow matching으로 정렬하고, (2) 픽셀 단위 불확실성을 추정해 모호한 stroke 단서를 억제·신뢰 가능한 경계만 강화한다.

🔬 기술적 접근법

**모델/방법론**: 단일 스텝 디퓨전 기반 Text-SR, FMPR + SURE 두 모듈로 구성
**핵심 기법**: FMPR — LQ/HQ latent 쌍에서 privileged prior를 구성하고, 저화질 임베딩을 복원 지향 prior로 운반하는 flow matching 학습; SURE — 픽셀별 uncertainty map을 예측해 stroke 경계의 신뢰 영역만 잔차로 더하고 모호 영역은 억제
글로벌 prior 정렬과 로컬 구조 보강을 한 번의 패스 안에서 결합

📊 주요 결과

합성 텍스트 SR 벤치마크에서 SOTA 달성
실세계 텍스트 SR 벤치마크에서도 SOTA 유지(도메인 갭에 견고)
단일 스텝 디퓨전 + 밀리초 수준 추론 속도로 실시간 응용 가능

💭 의의 및 한계

**의의**: 텍스트 가독성에 직결되는 stroke 충실도 문제를 prior 신뢰성과 로컬 불확실성이라는 두 축에서 정공법으로 다루며, 디퓨전 Text-SR의 속도-품질 트레이드오프를 크게 개선한다. **한계**: 학습 시 LQ/HQ 페어 latent를 활용하는 privileged 구성에 의존하므로 실세계 unpaired·극단 도메인에서는 추가 적응이 필요할 수 있다.

🚀 실용적 활용

문서 스캔·영수증 OCR 전처리 파이프라인의 실시간 텍스트 복원
옛 자료·CCTV 캡처본의 저해상도 문자 가독성 향상
모바일 OCR/번역 앱의 카메라 입력 전처리(밀리초 추론으로 온디바이스 후보)