CogSENet: Blind Image Deblurring with Blur-Conditioned Semantic Routing and Explicit Frequency Fusion

Blind image deblurring demands the recovery of high-fidelity details and coherent structures from complex, unknown degradations. Current blind image deblurring methods struggle with real-world, spatially varying degradations, and lack the semantic awareness necessary to reliably differentiate valid textures from artifacts. To bridge this gap, we propose CogSENet, a dynamic, semantic-aligned reconstruction framework inspired by the eagle's visual system. By mimicking the eagle's active saccadic scanning, we devise a Semantic-Driven State Space Module (SDSSM) with semantic-aware token regrouping via differentiable routing, enabling prompt-conditioned long-range dependency modeling. To ensure physically interpretable recovery of textures and structures, a BiFreqFusionBlock (BFFB) mirrors functional differentiation of the eagle's retina by decomposing features into high and low frequencies using wavelet transforms. Finally, we estimate a continuous Blur Field (CBF) from blur image and fuse it with CLIP semantic priors to modulate the deepest latent features, emulating focal adaptation and enabling adaptive restoration under spatially non-uniform blur. Extensive experiments demonstrate that CogSENetoutperforms state-of-the-art deblurring methods in both visual quality and structural fidelity with fewer parameters, while also performing favorably on dehazing, deraining, and denoising tasks.

한 줄 요약

CogSENet은 SDSSM과 BFFB를 결합한 생물학적 모방 접근법으로, 비디블러링 성능을 향상시키며 파라미터 수를 줄인다.

핵심 기여도

SDSSM을 통해 비유사한 토큰을 세멘틱 기반으로 재그룹화하여, 프롬프트 조건에 따른 선택적 스캔을 수행 (33.95 dB 성능 저하 없이 파라미터 수 감소).
BFFB를 도입하여 고주파 텍스처와 저주파 구조를 명시적으로 분리, 34.15 dB 이상의 PSNR 향상.
CBF와 CLIP 세멘틱 프라이어를 결합한 조인트 모듈로, 비균일 블러에 대한 복원을 강화 (GoPro 데이터셋 기준).
기존 SSM 기반 방법 대비 더 적은 파라미터로 동일 수준 이상의 복원 성능 달성.

핵심 아이디어

기존의 이미지 비디블러링 방법은 대부분 정적 픽셀 매핑 회귀를 기반으로 하며, 세멘틱 정보와 물리적 블러 간의 연관성을 고려하지 못한다. CogSENet은 독수리의 시각 시스템을 모방하여, 세멘틱-기반 상태 공간 모델링과 명시적 주파수 분할을 결합한 새로운 프레임워크를 제안한다. SDSSM은 세멘틱 프롬프트를 기반으로 토큰을 재그룹화하여, 비균일 블러 패턴에 따라 선택적 스캔을 수행한다. BFFB는 웨이블릿 변환을 통해 고주파 텍스처와 저주파 구조를 분리하여, 물리적으로 해석 가능한 복원을 가능하게 한다. 마지막으로, CBF와 CLIP 세멘틱 프라이어를 결합하여, 블러 필드를 공간적으로 연속적으로 추정하고, 복원 과정을 세멘틱 기반으로 조절한다.

기술적 접근법

**SDSSM**: 세멘틱-기반 토큰 재그룹화를 통해 선택적 스캔 수행. 프롬프트 조건에 따라 비인과적(non-causal) 스캔을 적용.
**BFFB**: 고주파 텍스처와 저주파 구조를 웨이블릿 변환으로 분리. 고주파는 트랜스포머, 저주파는 다층 컨볼루션으로 병렬 처리.
**CBF + CLIP**: 입력 이미지에서 연속 블러 필드 추정 후, CLIP의 고정 세멘틱 프라이어와 결합하여 가장 깊은 레이어의 레이턴트 특성을 조절.
**하이퍼파라미터**: GoPro 데이터셋 기반, 128×128 패치, AdamW 최적화 (lr=1×10⁻³, β1=0.9, β2=0.99), True Cosine Annealing 스케줄링.

주요 결과

GoPro 데이터셋에서 SDSSM 제거 시 33.95 dB 성능 저하, BFFB 제거 시 34.15 dB 성능 저하.
SDSSM과 BFFB를 모두 사용할 경우, 기존 SSM 기반 방법 대비 더 적은 파라미터로 동일 수준 이상의 복원 성능 달성.
CLIP 세멘틱 프라이어와 CBF의 조인트 모듈은 복잡한 비균일 블러에서 34.15 dB 이상의 PSNR 향상.
비디블러링 외에도, 데헤이징, 데레인, 디노이징 작업에서도 유리한 성능 보임.

의의 및 한계

CogSENet은 세멘틱-기반 상태 공간 모델링과 명시적 주파수 분할을 결합하여, 기존의 정적 픽셀 회귀 접근법의 한계를 극복한다. SDSSM은 비균일 블러 패턴에 따라 토큰을 재구성하여, 물리적 블러와 세멘틱 구조를 동시에 고려하는 복원이 가능하다. BFFB는 고주파와 저주파 성분을 명확히 분리하여, 물리적으로 해석 가능한 복원을 보장한다. 그러나 CLIP 기반 세멘틱 프라이어는 고정된 모델을 사용하므로, 극단적인 블러나 세멘틱 정보가 부족한 경우 성능이 저하될 수 있다. 또한, 현재는 정적 이미지에만 적용되며, 동영상 복원으로 확장하는 것이 필요하다.

실용적 활용

CogSENet은 드론, 자율주행, 보안카메라 등에서 발생하는 비균일 블러를 효과적으로 제거할 수 있어, 실시간 이미지 처리 시스템에 적용 가능하다. 또한, 디지털 아카이빙, 의료 영상, 보안 영상 분석 등에서 블러 제거 및 텍스처 복원이 필요한 다양한 분야에서 활용될 수 있다.