DEIM: DETR with Improved Matching for Fast Convergence

We introduce DEIM, an innovative and efficient training framework designed to accelerate convergence in real-time object detection with Transformer-based architectures (DETR). To mitigate the sparse supervision inherent in one-to-one (O2O) matching in DETR models, DEIM employs a Dense O2O matching strategy. This approach increases the number of positive samples per image by incorporating additional targets, using standard data augmentation techniques. While Dense O2O matching speeds up convergence, it also introduces numerous low-quality matches that could affect performance. To address this, we propose the Matchability-Aware Loss (MAL), a novel loss function that optimizes matches across various quality levels, enhancing the effectiveness of Dense O2O. Extensive experiments on the COCO dataset validate the efficacy of DEIM. When integrated with RT-DETR and D-FINE, it consistently boosts performance while reducing training time by 50%. Notably, paired with RT-DETRv2, DEIM achieves 53.2% AP in a single day of training on an NVIDIA 4090 GPU. Additionally, DEIM-trained real-time models outperform leading real-time object detectors, with DEIM-D-FINE-L and DEIM-D-FINE-X achieving 54.7% and 56.5% AP at 124 and 78 FPS on an NVIDIA T4 GPU, respectively, without the need for additional data. We believe DEIM sets a new baseline for advancements in real-time object detection. Our code and pre-trained models are available at https://www.shihuahuang.cn/DEIM/.

한 줄 요약

DEIM은 DETR 기반 실시간 객체 탐지 모델의 수렴 속도를 빠르게 하기 위해 Dense O2O 매칭과 Matchability-Aware Loss(MAL)를 결합한 훈련 프레임워크이다.

핵심 기여도

**Dense O2O 매칭**을 도입하여 이미지당 긍정 샘플 수를 증가시켜 훈련 수렴 속도를 50% 개선.
**Matchability-Aware Loss(MAL)**를 제안하여 다양한 품질의 매칭을 최적화, 특히 저품질 매칭을 강화.
**RT-DETRv2와 결합 시 1일 훈련으로 53.2% AP 달성**, 기존 모델 대비 훈련 시간 절반으로 성능 향상.
**DEIM-D-FINE-L과 -X는 T4 GPU에서 각각 124 FPS, 78 FPS로 54.7%와 56.5% AP 달성**.

핵심 아이디어

DETR 모델은 O2O 매칭을 사용하여 NMS 없이 학습하지만, 이는 희소한 감독을 유발해 수렴이 느리다. DEIM은 이 문제를 해결하기 위해 **Dense O2O 매칭**을 도입한다. 이는 **mosaic** 및 **mixup**과 같은 데이터 증강 기법을 통해 이미지당 타겟 수를 늘려 긍정 샘플 수를 증가시킨다. 이로 인해 O2M 방식과 유사한 밀도의 감독을 제공하면서도 복잡도는 낮춘다.

하지만, Dense O2O는 저품질 매칭을 유발할 수 있어, 기존 손실 함수가 이를 효과적으로 처리하지 못한다. 이를 해결하기 위해 **Matchability-Aware Loss(MAL)**를 제안한다. MAL은 매칭된 쿼리와 타겟 간의 IoU와 분류 신뢰도를 기반으로 손실을 조절하여, 특히 저품질 매칭에 더 많은 가중치를 부여한다. 이는 VFL과 비교해 더 간단한 수학적 표현을 가지며, 제한된 긍정 샘플을 더 효과적으로 활용할 수 있다.

기술적 접근법

**Dense O2O 매칭**: mosaic과 mixup을 사용하여 이미지당 타겟 수를 증가시킴.
**Matchability-Aware Loss(MAL)**: IoU와 분류 신뢰도를 기반으로 매칭 품질에 따라 손실을 조절.
**훈련 데이터셋**: COCO 데이터셋 사용.
**모델**: RT-DETR, D-FINE, RT-DETRv2와 결합.
**하드웨어**: NVIDIA 4090 및 T4 GPU에서 실험.
**훈련 시간**: 기존 대비 50% 감소, 24 에포크 내 53.2% AP 달성.

주요 결과

**RT-DETRv2 + DEIM**: 1일 훈련(4090 GPU)으로 53.2% AP 달성.
**DEIM-D-FINE-L**: T4 GPU에서 124 FPS, 54.7% AP.
**DEIM-D-FINE-X**: T4 GPU에서 78 FPS, 56.5% AP.
**기존 모델 대비 훈련 시간 50% 감소**, 성능은 0.2~0.6 AP 향상.

의의 및 한계

DEIM은 DETR 기반 실시간 객체 탐지 모델의 수렴 속도와 정확도를 동시에 향상시켜, 기존 YOLO와 RT-DETR, D-FINE 모델 대비 우수한 성능을 보인다. 특히, MAL은 저품질 매칭을 효과적으로 처리하여, 훈련 효율성을 높이는 데 기여한다.

하지만, DEIM은 **기존 DETR 아키텍처에 의존**하며, 다른 탐지 프레임워크(예: YOLO)에 직접 적용 가능성은 명시되지 않음. 또한, **추가 데이터 없이 성능을 향상**시키는 점은 장점이지만, 특정 도메인(예: 비시각적 센서 데이터)에서의 일반화 가능성은 추가 연구가 필요하다.

실용적 활용

DEIM은 실시간 객체 탐지가 필요한 산업 분야(예: 자율주행, 드론, 보안 감시)에서 즉각적으로 활용 가능하다. 특히, **GPU 리소스가 제한된 환경**에서 빠른 훈련과 높은 정확도를 요구하는 경우, DEIM은 실용적인 솔루션으로 작용할 수 있다. 또한, **D-FINE과 같은 고성능 모델과 결합**하여 실시간 성능과 정확도를 모두 확보할 수 있다.