RCBEVDet: Radar-Camera Fusion in Bird's Eye View for 3D Object Detection

Three-dimensional object detection is one of the key tasks in autonomous driving. To reduce costs in practice, low-cost multi-view cameras for 3D object detection are proposed to replace the expansive LiDAR sensors. However, relying solely on cameras is difficult to achieve highly accurate and robust 3D object detection. An effective solution to this issue is combining multi-view cameras with the economical millimeter-wave radar sensor to achieve more reliable multi-modal 3D object detection. In this paper, we introduce RCBEVDet, a radar-camera fusion 3D object detection method in the bird's eye view (BEV). Specifically, we first design RadarBEVNet for radar BEV feature extraction. RadarBEVNet consists of a dual-stream radar backbone and a Radar Cross-Section (RCS) aware BEV encoder. In the dual-stream radar backbone, a point-based encoder and a transformer-based encoder are proposed to extract radar features, with an injection and extraction module to facilitate communication between the two encoders. The RCS-aware BEV encoder takes RCS as the object size prior to scattering the point feature in BEV. Besides, we present the Cross-Attention Multi-layer Fusion module to automatically align the multi-modal BEV feature from radar and camera with the deformable attention mechanism, and then fuse the feature with channel and spatial fusion layers. Experimental results show that RCBEVDet achieves new state-of-the-art radar-camera fusion results on nuScenes and view-of-delft (VoD) 3D object detection benchmarks. Furthermore, RCBEVDet achieves better 3D detection results than all real-time camera-only and radar-camera 3D object detectors with a faster inference speed at 21∼28 FPS. The source code will be released at https://github.com/VDIGPKU/RCBEVDet.

한 줄 요약

RCBEVDet는 레이더-카메라 퓨전을 활용한 BEV 기반 3D 객체 탐지 모델로, nuScenes 및 VoD 데이터셋에서 최신 수준의 성능을 달성한다.

핵심 기여도

**RadarBEVNet** 설계: 레이더 특성에 최적화된 이중 스트림 레이더 백본과 RCS-aware BEV 인코더로 구성.
**Cross-Attention Multi-layer Fusion (CAMF) 모듈**: 데포르마블 어텐션 기반의 다중 레이어 퓨전으로 레이더-카메라 특징 정렬 및 융합.
**nuScenes 및 VoD 데이터셋에서 SOTA 성능**: 56.4 NDS, 45.5 mAP 달성.
**실시간 추론 속도**: 21∼28 FPS로, 기존 실시간 레이더-카메라 및 카메라 기반 모델 대비 빠르고 정확도 우수.

핵심 아이디어

RCBEVDet는 레이더와 카메라의 장점을 결합하여 3D 객체 탐지의 정확도와 안정성을 높이는 데 초점을 맞춘다. 기존 연구는 레이더 데이터를 LiDAR용 인코더로 처리하는 방식을 따르지만, 이는 레이더의 고유한 특성(예: RCS, 거리 정밀도)을 고려하지 못해 비효율적이다. RCBEVDet는 레이더의 RCS 정보를 객체 크기의 사전 정보로 활용하는 **RCS-aware BEV 인코더**를 도입하여 레이더 포인트를 BEV 공간에 정확히 퍼뜨린다. 또한, 레이더 포인트의 방위각 오류를 보완하기 위해 **데포르마블 어텐션 기반의 CAMF 모듈**을 제안하여, 레이더와 카메라의 BEV 특징을 동적으로 정렬하고 융합한다. 이는 기존의 간단한 요소별 결합 방식보다 훨씬 효과적인 퓨전을 가능하게 한다.

기술적 접근법

**RadarBEVNet**:
**이중 스트림 레이더 백본**: Point-based encoder와 Transformer-based encoder로 구성.
**Injection and Extraction 모듈**: 두 인코더 간의 정보 교환을 촉진.
**RCS-aware BEV 인코더**: RCS를 객체 크기의 사전 정보로 활용하여 레이더 포인트를 BEV 공간에 퍼뜨림.
**Cross-Attention Multi-layer Fusion (CAMF) 모듈**:
데포르마블 어텐션 기반의 **다중 레이어 정렬 및 융합**.
**채널 및 공간 융합 레이어**로 레이더-카메라 특징을 적응적으로 결합.
**추론 속도**: 21∼28 FPS로, 실시간 처리 가능.

주요 결과

**nuScenes 데이터셋**: 56.4 NDS, 45.5 mAP (기존 레이더-카메라 퓨전 모델 대비 +2.7 NDS, +3.2 mAP).
**VoD 데이터셋**: 최신 수준의 성능 달성.
**실시간 성능**: 21∼28 FPS로, 기존 실시간 카메라 기반 및 레이더-카메라 모델 대비 빠르고 정확도 우수.
**센서 결함 시 안정성**: 레이더 또는 카메라 입력이 누락된 경우에도 기존 모델 대비 훨씬 낮은 성능 저하 (예: 레이더 결함 시 10.4 mAP 감소 vs CRN 25.0 mAP 감소).

의의 및 한계

RCBEVDet는 레이더-카메라 퓨전 기반 3D 객체 탐지에서 정확도와 실시간 성능을 동시에 달성한 모델로, 자율주행 분야에서 중요한 실용적 가치를 가진다. 특히, 레이더 데이터의 고유한 특성을 고려한 **RadarBEVNet**과 **CAMF 모듈**은 기존 퓨전 방법의 한계를 극복하고, 센서 결함 상황에서도 안정적인 성능을 보여준다. 그러나, 모델은 **RCS 정보**를 기반으로 레이더 포인트를 퍼뜨리는 방식을 사용하므로, RCS가 부정확하거나 누락된 경우 성능 저하가 발생할 수 있다. 또한, 레이더와 카메라의 **공간 정렬 오류**를 완전히 제거하기는 어려운 점이 한계로 작용할 수 있다.

실용적 활용

RCBEVDet는 자율주행 차량에서 사용되는 저비용 카메라와 레이더 센서를 기반으로 3D 객체 탐지를 수행할 수 있어, **실시간 감지 및 안정성 확보**가 필요한 상황에 적합하다. 특히, **날씨나 조명 조건이 불량한 환경**에서 카메라의 한계를 보완하는 데 유용하며, **센서 결함 시에도 안정적인 탐지**가 가능하다는 점에서 실용적 활용성이 높다.