TUMTraf V2X Cooperative Perception Dataset

Cooperative perception offers several benefits for en-hancing the capabilities of autonomous vehicles and im-proving road safety. Using roadside sensors in addition to onboard sensors increases reliability and extends the sensor range. External sensors offer higher situational awareness for automated vehicles and prevent occlusions. We propose CoopDet3D, a cooperative multi-modal fusion model, and TUMTraf- V2X, a perception dataset, for the cooperative 3D object detection and tracking task. Our dataset contains 2,000 labeled point clouds and 5,000 labeled images from five roadside and four onboard sensors. It includes 30k 3D boxes with track IDs and precise GPS and IMU data. We labeled nine categories and covered occlusion scenarios with challenging driving maneuvers, like traffic violations, near-miss events, overtaking, and U-turns. Through multiple experiments, we show that our CoopDet3D camera-LiDARfusion model achieves an increase of +14.36 3D mAP compared to a vehicle camera-LiDARfusion model. Finally, we make our dataset, model, labeling tool, and devkit publicly available on our website.

한 줄 요약

TUMTraf-V2X 데이터셋과 CoopDet3D 모델을 제안하여 협력적 3D 객체 탐지 성능을 +14.3 3D mAP 향상시킴.

핵심 기여도

TUMTraf-V2X: 2,000개 라벨링 포인트 클라우드, 5,000개 라벨링 이미지, 30k 3D 바운딩 박스와 트랙 ID 포함.
CoopDet3D: 협력적 카메라-LiDAR 퓨전 모델로, 차량 단독 모델 대비 +14.3 3D mAP 성능 향상.
3D BAT v24.3.2: 오픈소스 3D 바운딩 박스 라벨링 도구 제공.
OpenLABEL 형식의 DevKit 제공으로 데이터셋 활용 용이성 확보.

핵심 아이디어

협력적 인식은 차량 내부 센서와 인프라 센서를 결합하여 객체 탐지의 신뢰도와 범위를 확장하는 것이 핵심이다. CoopDet3D는 카메라와 LiDAR 데이터를 **딥 퓨전**(deep fusion) 방식으로 결합하여, 차량 단독 퓨전 모델보다 더 정확한 3D 객체 탐지를 가능하게 한다. 이는 특히 **차량 시야 차단**(occlusion) 상황에서 인프라 센서의 높은 시야각이 유리하게 작용한다. TUMTraf-V2X 데이터셋은 교차로에서 발생하는 **위험 운전**(near-miss, U-turn, 과속 등) 시나리오를 포함하여 실제 운전 환경을 반영한 높은 품질의 라벨링 데이터를 제공한다.

기술적 접근법

**CoopDet3D 모델**: 카메라와 LiDAR 데이터를 **딥 퓨전**(deep fusion) 방식으로 결합.
**데이터셋 구성**: 5개 인프라 센서, 4개 차량 센서에서 수집된 2,000개 포인트 클라우드, 5,000개 이미지.
**라벨링**: 30k 3D 바운딩 박스, 트랙 ID, GPS 및 IMU 데이터 포함.
**실험 설정**: 다양한 백본 모델 비교 (SwinT, YOLOv8, VoxelNet, PointPillars 등).
**성능 평가**: 3D mAP, BEV mAP, FPS, VRAM 사용량을 기준으로 평가.
**최적 구성**: PointPillars 512_2x + YOLOv8, 11.2 FPS, 실시간 처리 가능.

주요 결과

CoopDet3D는 차량 단독 카메라-LiDAR 퓨전 모델 대비 **+14.3 3D mAP** 향상.
인프라 센서와 차량 센서의 협력적 퓨전이 단일 시점 모델보다 **정확도 향상**.
**PointPillars 512_2x + YOLOv8** 구성이 11.2 FPS로 실시간 처리 가능.
**VoxelNet + Torchsparse** 사용 시 높은 성능과 효율성 확보.
**InfraDet3D**(late fusion) 대비 CoopDet3D(early fusion)가 모든 메트릭에서 우수한 성능.

의의 및 한계

TUMTraf-V2X는 교차로 위험 상황을 포함한 실제 운전 환경을 반영한 **고품질 V2X 데이터셋**으로, 협력적 인식 연구에 중요한 기초 자료가 될 수 있다. CoopDet3D는 **딥 퓨전 기반의 협력적 객체 탐지 모델**로, 기존 단일 시점 또는 레이트 퓨전 모델 대비 높은 정확도를 보여주며, 실시간 처리가 가능하다는 점에서 실용적 가치가 있다. 그러나 **이미지 데이터셋은 아직 공개되지 않음**이며, **실제 V2X 통신 환경**(예: 대역폭, 지연)을 고려한 실험은 아직 수행되지 않았다는 한계가 있다.

실용적 활용

TUMTraf-V2X는 자율주행 차량의 **협력적 인식 시스템 개발**, ITS(지능형 교통 시스템)의 **실시간 객체 추적 및 경로 예측**, 교차로 **안전 관리 시스템 구축** 등에 활용 가능하다. CoopDet3D는 **V2X 기반의 객체 탐지 및 추적 알고리즘 개선**, **실시간 처리 가능한 모델 설계**, **다중 센서 퓨전 기술 연구**에 기반 자료로 활용될 수 있다.