From Spatial to Spectral: An Efficient, Frequency-Guided Feature Representation Learner for Small Object Detection

Efficient small object detection is bottlenecked by the inherent feature scarcity of tiny targets, which is further aggravated by operations of spatial-domain detectors that indiscriminately discard critical high-frequency details. Recovering these fragile cues within the spatial domain is notoriously difficult, as it often requires computationally expensive architectural upscaling that inadvertently amplifies background noise. To bridge this gap, we propose a paradigm \textbf{shift from spatial to spectral} feature processing, introducing a holistic solution with the following novelty: (1) A versatile \textbf{Frequency-Guided Feature Representation framework} that generalizes across diverse detector architectures (both CNN and Transformer-based), offering a robust alternative to spatial-only feature extraction; (2) The unified \textbf{Decompose--Enhance--Reconstruct (DER)} operator, instantiated via three \textbf{lightweight, plug-and-play} modules -- Wavelet-Difference Gate (WDG), Log-Gabor Enhancer (LGE), and Frequency-Driven Head (FDHead) -- to systematically inject frequency-aware modulation into the backbone, neck, and head. This mechanism decouples feature modeling from resolution reduction, capturing discriminative high-frequency components to enable accurate localization with significantly reduced parameter redundancy; (3) Extensive validation on multi-domain benchmarks (VisDrone2019, UAVDT, TinyPerson, DOTAv1) demonstrating consistent gains. Notably, our proposed \textbf{DERNet} series outperforms YOLOv11 models under the same scale while requiring \textbf{only 1/6 of the parameters}, backed by rigorous spectral diagnostics and error decomposition analysis.

한 줄 요약

소형 객체 탐지에서 주파수 정보를 활용한 새로운 특징 표현 학습 방식인 DERNet이 기존 모델 대비 1/6의 파라미터로 성능을 개선한다.

핵심 기여도

**Frequency-Guided Feature Representation** 프레임워크를 제안하여 CNN 및 Transformer 기반 탐지기에서 일반화 가능.
**Decompose–Enhance–Reconstruct (DER)** 연산자로 백본, 넥, 헤드에 주파수 인식 모듈(WDG, LGE, FDHead)을 시스템적으로 삽입.
VisDrone2019, UAVDT, TinyPerson, DOTAv1 데이터셋에서 YOLOv11 대비 1/6의 파라미터로 mAP 50 기준 0.458/0.370 성능 달성.
FDHead 모듈이 가장 큰 성능 향상 기여 (mAP 50 기준 +0.03 이상).

핵심 아이디어

소형 객체는 고주파 정보가 풍부하지만, 기존 공간 영역 기반 탐지기에서 다운샘플링, 퓨전, 회귀 과정에서 이 정보가 손실된다. 특히, 백본에서는 스트라이드 다운샘플링이 반사현상(aliasing)을 유발하고, 넥에서는 다중 스케일 퓨전이 고주파 정보를 희석하며, 헤드에서는 경계 정보가 부족해 정확한 위치 추정이 어려운 문제가 있다. 이를 해결하기 위해, **주파수 영역으로의 패러다임 전환**을 제안하며, **WDG, LGE, FDHead** 모듈을 통해 백본, 넥, 헤드 각 단계에서 고주파 정보를 복원하고 강화하는 방식을 도입한다. 이는 기존 공간 영역 복원 방식(예: 다일레이션, 더 밀집된 피라미드)에 비해 계산 비용이 낮고, 배경 노이즈 증가 없이도 정확도를 향상시킨다.

기술적 접근법

**Frequency-Guided Feature Representation**: CNN 및 Transformer 기반 탐지기에서 일반적으로 적용 가능한 주파수 인식 특징 추출 프레임워크.
**DER 연산자**: 세 가지 모듈로 구성됨.
**WDG (Wavelet-Difference Gate)**: 백본에서 고주파 서브밴드를 기반으로 적응적 게이트를 생성하여 저주파 오염을 줄임.
**LGE (Log-Gabor Enhancer)**: 넥에서 방향성 고주파 잔차를 재활성화하여 퓨전 과정에서 세부 정보 희석을 방지.
**FDHead (Frequency-Driven Head)**: 헤드에서 고주파 에너지 기반 경계 민감도를 밀집 회귀에 주입하여 정확한 위치 추정 가능.
**DERNet-S**: C3_Faster와 채널 축소를 통해 파라미터 수를 1.3M으로 줄이며 기존 YOLOv11-S 대비 1/6 수준으로 유지.

주요 결과

**VisDrone2019, UAVDT, TinyPerson, DOTAv1** 데이터셋에서 YOLOv11-S 대비 1/6의 파라미터로 mAP 50 기준 0.458/0.370 성능 달성.
**FDHead 모듈**이 가장 큰 성능 향상 기여 (mAP 50 기준 +0.03 이상).
**DERNet-S**는 파라미터 수를 1.3M으로 줄이면서도 기존 기준 대비 0.047 이상의 mAP 50 성능 향상.

의의 및 한계

**의의**: 기존 공간 영역 기반 복원 방식 대신 주파수 영역에서의 특징 추출을 통해, 소형 객체 탐지의 정확도-효율성 균형을 개선. 다양한 탐지기 아키텍처에 플러그 앤 플레이 방식으로 적용 가능.
**한계**: 극도로 가려진, 밀집된, 또는 매우 작은 객체는 여전히 어려움. 주파수 기반 접근법의 이론적 근거 확립 및 더 넓은 비전 작업(예: 인스턴스 세그멘테이션, 추적)으로의 확장 필요.

실용적 활용

**드론 감시, 자율 주행, 의료 영상 분석** 등에서 소형 객체 탐지가 필요한 산업에 적용 가능.
**저전력 장치**에서 파라미터 수가 적은 DERNet 활용으로 실시간 처리 성능 향상 기대.
**Transformer 기반 모델**에도 플러그 앤 플레이 방식으로 통합 가능하여, 다양한 아키텍처에서 활용 가능.