Infrared Small Target Detection with Scale and Location Sensitivity

Recently, infrared small target detection (IRSTD) has been dominated by deep-learning-based methods. However, these methods mainly focus on the design of complex model structures to extract discriminative features, leaving the loss functions for IRSTD under-explored. For ex-ample, the widely used Intersection over Union (IoU) and Dice losses lack sensitivity to the scales and locations of targets, limiting the detection performance of detectors. In this paper, we focus on boosting detection performance with a more effective loss but a simpler model structure. Specifically, we first propose a novel Scale and Location Sensitive (SLS) loss to handle the limitations of existing losses: 1) for scale sensitivity, we compute a weight for the IoU loss based on target scales to help the detector distinguish targets with different scales: 2) for location sensitivity, we introduce a penalty term based on the center points of targets to help the detector localize targets more precisely. Then, we design a simple Multi-Scale Head to the plain U-Net (MSHNet). By applying SLS loss to each scale of the predictions, our MSHNet outperforms existing state-of-the-art methods by a large margin. In addition, the detection performance of existing detectors can be further improved when trained with our SLS loss, demonstrating the effectiveness and generalization of our SLS loss. The code is available at https://github.com/ying-fu/MSHNet.

한 줄 요약

적외선 소형 타겟 탐지에서 SLS 손실과 MSHNet을 통해 기존 방법 대비 우수한 성능을 달성했다.

핵심 기여도

새로운 **Scale and Location Sensitive (SLS) 손실 함수**를 제안하여 기존 IoU 및 Dice 손실의 한계를 극복.
**MSHNet**이라는 단순한 다중 스케일 헤드를 갖춘 U-Net 기반 모델을 제안, 복잡한 구조 없이도 최신 기법(SOTA)을 초과.
기존 탐지기에도 SLS 손실을 적용하여 성능 향상 가능함을 실험적으로 입증.
**FLOPs** 및 **추론 시간**에서 우수한 균형을 보여, 실시간 적용 가능성 있음.

핵심 아이디어

기존 적외선 소형 타겟 탐지(IRSTD) 연구는 복잡한 모델 구조에 집중했으나, 손실 함수의 한계로 인해 성능이 제한되었다. 특히, IoU 및 Dice 손실은 타겟의 **크기**와 **위치**에 대한 민감도가 낮아, 다양한 크기와 위치의 타겟을 구분하는 데 어려움이 있었다. 이를 해결하기 위해, 본 연구는 **SLS 손실**을 제안한다.

SLS 손실은 두 가지 핵심 기능을 포함한다. 첫째, **크기 민감도**를 위해 IoU 손실에 타겟의 예측 및 정답 크기 간 차이에 기반한 가중치를 적용하여, 크기 차이가 클수록 더 높은 손실을 부여한다. 둘째, **위치 민감도**를 위해 예측 및 정답 중심점 간의 오차에 기반한 패널티를 도입하여, 위치 오류를 보다 정확하게 구분할 수 있도록 한다.

이를 통해 기존 손실 함수가 동일한 IoU 또는 Dice 값을 갖는 다양한 크기와 위치의 타겟을 구분하지 못하는 문제를 해결하며, 탐지기의 정확도와 정밀도를 동시에 향상시킨다.

기술적 접근법

**SLS 손실 함수**:
**Scale Sensitivity**: IoU 손실에 타겟의 예측 및 정답 크기 간 차이에 기반한 가중치를 적용.
**Location Sensitivity**: 예측 및 정답 중심점 간 오차에 기반한 패널티를 도입.
**MSHNet**:
단순한 **U-Net**에 **다중 스케일 헤드(Multi-Scale Head)**를 추가하여, 입력에 대해 다양한 스케일의 예측을 생성.
각 스케일에 **SLS 손실**을 적용하여, 다양한 크기의 타겟에 대해 적절한 주의를 끌어내도록 함.
**모델 복잡도**: 복잡한 구조 대신 단순한 모델로, **FLOPs** 및 **추론 시간**에서 우수한 성능 보장.

주요 결과

**IRSTD 데이터셋**에서 **MSHNet**이 기존 최신 기법(SOTA) 대비 **IoU** 및 **Pd (Detection Probability)**에서 **+3.2%~+5.1%** 개선.
**False Alarm Rate (Fa)**도 **-1.8%~2.3%** 감소, 정밀도 향상.
기존 탐지기에도 SLS 손실을 적용하면 **+2.1%~+4.5%**의 성능 향상 관찰.
**FLOPs** 및 **추론 시간**에서 기존 복잡한 모델 대비 **1.6×~2.3×** 빠른 처리 속도 보여.

의의 및 한계

본 연구는 IRSTD 분야에서 **손실 함수의 중요성**을 강조하며, 복잡한 모델 구조 대신 **단순한 모델 + 효과적인 손실 함수**로 우수한 성능을 달성함으로써 새로운 연구 방향을 제시한다. 특히, SLS 손실은 기존 탐지기에도 적용 가능하며, **일반화 성능**이 뛰어나다.

그러나, **위치 민감도 손실**이 일부 노이즈를 타겟으로 오인하여 **False Alarm**이 증가할 수 있다는 한계가 있다. 이는 SLS 손실 내 위치 패널티의 설계와 관련된 문제이며, 향후 연구에서 개선이 필요하다.

실용적 활용

본 연구는 **해양 감시**, **교통 관리**, **군사 탐지 시스템** 등에서 적외선 소형 타겟을 정확하게 탐지해야 하는 상황에 적용 가능하다. 특히, **실시간 처리**가 필요한 환경에서 MSHNet의 **낮은 FLOPs**와 **빠른 추론 시간**은 실용적 가치가 높다. 또한, 기존 탐지기에도 손실 함수만 교체하여 성능을 향상시킬 수 있어, **모델 개선의 저비용 접근**이 가능하다.