A Data Efficiency Study of Synthetic Fog for Object Detection Using the Clear2Fog Pipeline

Object detection in adverse weather is critical for the safety of autonomous vehicles; however, the scarcity of labelled, real-world foggy data remains a significant bottleneck. In this paper, we propose Clear2Fog (C2F), an end-to-end, physics-based pipeline that simulates fog on clear-weather datasets while ensuring sensor-level consistency across camera and LiDAR. By using monocular depth estimation and a novel atmospheric light estimation method, C2F overcomes structural artifacts and chromatic biases common in existing techniques. A human perceptual study confirms C2F's physical realism, with the generated images being preferred 92.95% of the time over an established method. Utilising a training set of 270,000 images from the Waymo Open Dataset, we conduct an extensive data efficiency study to investigate how environmental diversity influences model robustness. Our findings reveal that models trained on mixed-density fog datasets at 75% scale outperform those trained on fixed-density datasets at 100% scale. Furthermore, we investigate the sim-to-real transfer by fine-tuning pre-trained models on real-world foggy data. We demonstrate that a tenfold increase over the default fine-tuning learning rate successfully overcomes negative transfer from synthetic biases, resulting in a 1.67 mAP improvement over real-only baselines. The C2F pipeline provides a scalable framework for enhancing the reliability of autonomous systems in adverse weather and demonstrates the potential of diverse synthetic datasets for efficient model training.

📋 한 줄 요약

**[자율주행 / 합성 데이터]** 카메라·LiDAR 센서 일관성을 보장하는 물리 기반 안개 시뮬레이션 파이프라인 Clear2Fog(C2F)와 27만 장 데이터로 안개 객체 검출의 데이터 효율을 체계 분석한 연구.

🎯 핵심 기여도

단안 깊이 추정 + 새로운 atmospheric light 추정으로 구조적 아티팩트·색 편향을 줄인 종단간 물리 기반 안개 시뮬레이션 C2F 제안.
인간 지각 연구에서 C2F 생성 이미지가 기존 방법 대비 92.95% 선호로 물리적 사실성 확인.
Waymo Open Dataset 기반 270,000 이미지 학습 셋으로 환경 다양성이 모델 강건성에 미치는 영향을 대규모 분석.
mixed-density fog 75% 스케일 학습이 fixed-density 100% 학습을 능가하는 새로운 데이터 효율 결과 보고.

💡 핵심 아이디어

합성 데이터의 양만 늘리는 것이 아니라 안개 밀도의 다양성을 골고루 분포시키는 것이 실제 안개 도로 환경의 모델 강건성에 더 효과적이다. 또한 sim-to-real 전이에서 negative transfer는 학습률 조정으로 극복 가능하다.

🔬 기술적 접근법

**모델/방법론**: 단안 깊이 추정 기반 안개 광학 시뮬레이션 + 새로운 atmospheric light 추정으로 색 편향 보정, 카메라·LiDAR 센서 모두에 일관된 출력 생성.
**핵심 기법**: Waymo Open Dataset 클리어 이미지에 C2F로 안개 합성, mixed-density vs fixed-density 학습 비교, 실세계 안개 데이터에 fine-tuning할 때 기본 학습률 대비 10배 적용으로 negative transfer 극복.

📊 주요 결과

인간 지각 실험: C2F 이미지 92.95% 선호.
mixed-density 75% 스케일 학습이 fixed-density 100% 학습을 능가.
10배 학습률 fine-tuning으로 real-only baseline 대비 +1.67 mAP 개선.
카메라·LiDAR 센서 일관성 확보로 멀티센서 학습에도 활용 가능.

💭 의의 및 한계

**의의**: 자율주행 악천후 강건성의 핵심 병목인 라벨링된 안개 데이터 부족을 물리 기반 합성으로 효과적으로 우회할 수 있음을 실증. **한계**: 안개 외 다른 악천후(폭우·눈·먼지)로의 일반화는 추가 연구, 매우 짙은 안개·복합 악천후에서의 한계는 미검증.

🚀 실용적 활용

자율주행 인식 모델의 악천후 강건성 향상 데이터 증강.
LiDAR·카메라 멀티센서 안개 시뮬레이션 합성 데이터 공급.
ADAS 검증·시험을 위한 controlled fog scenario 생성.