In the Driver's Seat: A Multi-Company Study on the Reality of Autonomous Driving System Testing

Autonomous driving systems (ADS) are rapidly advancing and increasingly deployed in real-world applications. This creates growing demands for effective testing to ensure system functionality and safety. However, ADS testing remains complex and lacks well-established standards for scenario selection, performance evaluation, and acceptance criteria. To better understand current ADS testing practices and challenges, we conducted an interview study with experts working on ADS development and testing in nine companies from six different countries. Through thematic analysis, we synthesized industrial testing practices, challenges, potential solutions, future trends, and proposed an evidence-centered closed-loop testing framework for ADS testing. Our findings show that current practices primarily focus on scenario-based and X-in-the-loop testing approaches, supported by diverse tools, metrics, benchmarks, and testing strategies. The participants highlighted major challenges related to scenario realism, scenario coverage, simulation fidelity, and acceptance criteria, while also discussing potential solutions such as the use of AI, world models, and end-to-end approaches. Furthermore, participants envisioned future ADS testing to become more automated, data-driven, and transparent across the industry. Overall, this study provides a comprehensive industry-grounded overview of ADS testing, proposes an evidence-centered closed-loop testing framework to provide actionable guidance for ADS testing, and outlines important directions for future research and practice.

한 줄 요약

9개 회사 전문가 인터뷰를 통해 자율주행 시스템 테스트의 현황과 문제점을 분석하고, 폐루프 테스트 프레임워크를 제안한 연구.

핵심 기여도

9개 회사, 6개 국가 전문가 인터뷰를 통해 산업 현장 중심의 자율주행 시스템 테스트 현황을 분석.
시나리오 기반 테스트와 X-in-the-loop 테스트가 주요 접근법으로 활용되고 있음.
시나리오 현실성, 커버리지, 시뮬레이션 정확도, 수용 기준 등 주요 도전 과제를 식별.
AI, 월드 모델, 엔드-투-엔드 접근법을 포함한 해결 방안 제시.
산업 실무에 기반한 증거 중심 폐루프 테스트 프레임워크 제안.

핵심 아이디어

자율주행 시스템 테스트는 다양한 환경, 도구, 평가 기준을 포함하며, 아직 명확한 표준이 부재한 상태이다. 본 연구는 산업 현장에서 실제로 테스트를 수행하는 전문가들의 경험을 바탕으로, 테스트 전략, 도구, 수용 기준, 미래 트렌드 등을 종합적으로 분석했다. 특히, 시나리오 기반 테스트와 X-in-the-loop 테스트가 주로 사용되며, 이들 접근법은 다양한 메트릭과 벤치마크를 통해 평가된다. 그러나 시나리오의 현실성과 커버리지, 시뮬레이션의 정확도, 수용 기준 설정 등은 여전히 주요 과제로 남아 있다. 연구자들은 AI 기반 월드 모델과 엔드-투-엔드 테스트 접근법을 통해 이러한 문제를 해결할 수 있다고 제안했다.

기술적 접근법

**인터뷰 연구**: 9개 회사, 6개 국가에서 자율주행 시스템 개발 및 테스트에 참여한 전문가 9명을 대상으로 인터뷰 진행.
**테마 분석**: 인터뷰 데이터를 테마 분석(thematic analysis)을 통해 종합적으로 정리.
**테스트 접근법**: 시나리오 기반 테스트와 X-in-the-loop 테스트가 주요 전략.
**도구 및 메트릭**: 다양한 테스트 도구, 메트릭, 벤치마크 활용.
**폐루프 테스트 프레임워크**: 산업 현장에서의 경험을 바탕으로 증거 중심 폐루프 테스트 프레임워크 제안.

주요 결과

**테스트 전략**: 시나리오 기반 테스트와 X-in-the-loop 테스트가 주로 사용됨.
**도전 과제**: 시나리오 현실성, 커버리지, 시뮬레이션 정확도, 수용 기준 설정 등.
**해결 방안**: AI, 월드 모델, 엔드-투-엔드 접근법 활용.
**미래 전망**: 테스트가 자동화, 데이터 기반, 투명화 방향으로 발전할 것으로 예상됨.
**프레임워크 제안**: 증거 중심 폐루프 테스트 프레임워크를 통해 테스트 전략을 구조화.

의의 및 한계

본 연구는 자율주행 시스템 테스트의 현황을 산업 전문가의 경험을 바탕으로 종합적으로 분석한 점에서 학술적·실용적 가치가 있다. 특히, 기존 연구에서 다루지 않았던 실무 중심의 해결 방안과 미래 전망을 제시함으로써, 향후 연구 및 산업 실무에 중요한 기초 자료가 될 수 있다. 그러나 인터뷰 대상이 9명에 불과하며, 특정 회사나 지역에 치우쳐 있을 수 있는 한계가 있다. 또한, 구체적인 테스트 메트릭이나 성능 수치는 명시되지 않았으며, 테스트 도구의 종류나 활용 방식에 대한 세부 정보도 제한적이다.

실용적 활용

본 연구는 자율주행 시스템 개발 및 테스트에 종사하는 엔지니어, 연구자, 정책 입안자에게 유용한 참고 자료가 될 수 있다. 특히, 테스트 전략 수립, 시나리오 설계, 수용 기준 설정 등에 있어 산업 현장의 경험을 반영한 구조화된 접근법을 제시함으로써, 테스트 효율성과 안전성을 동시에 확보하는 데 기여할 수 있다.