Sim2Signal: Sim-to-Real Benchmarks for Traffic Signal Control

Reinforcement learning achieves strong traffic signal control performance in simulation, yet policies trained in simulators often fail once deployed in the real world, a failure known as the Sim-to-Real gap. When RL is applied to traffic signal control, this gap arises from several sources: sensing, action execution, traffic dynamics, and the control objective. Their relative impact and the reliability of existing Sim-to-Real mitigation methods remain insufficiently understood, and the field lacks a standard benchmark for systematically measuring the gap and evaluating mitigation methods. We present Sim2Signal, a benchmark that decomposes the Sim-to-Real gap into observation, action, transition, and reward gaps, corresponding to mismatches in the four components of the underlying MDP, and induces each gap in isolation under a shared protocol. We evaluate 18 mitigation methods on 2 base controllers, across 33 gap settings and 10 calibrated networks built from 5 real-world locations. We find that direct transfer consistently degrades performance across all four gap sources, but the severity of the degradation does not predict the effectiveness of mitigation. Instead, mitigation effectiveness depends strongly on the network and gap setting: outside the action gap, a method that helps in one case may fail in another. The most effective methods generally estimate what the gap changes, rather than make the policy insensitive through domain randomization or invariant representations. Our code is available at https://github.com/Red-Pheonix/Sim2RealTSCBenchMark

한 줄 요약

Sim2Signal은 교차로 신호 제어에서 Sim-to-Real 갭을 체계적으로 평가하기 위한 벤치마크로, 33개 갭 설정과 10개 실제 도시 네트워크에서 18개 완화 방법을 평가한다.

핵심 기여도

Sim2Signal 벤치마크는 관측, 행동, 전이, 보상 갭으로 Sim-to-Real 갭을 분해하여 평가 프로토콜을 제시.
5개 실제 도시에서 10개 교정된 네트워크와 33개 갭 설정을 기반으로 18개 완화 방법을 평가.
직접 전이(Direct Transfer)는 모든 갭 소스에서 성능 저하를 일으키나, 그 심각도가 완화 효과를 예측하지 못함.
최고 성능은 도메인 랜덤화나 불변 표현 대신 갭 변화량을 추정하는 방법에서 나타남.

핵심 아이디어

Sim2Signal은 교차로 신호 제어에서 Sim-to-Real 갭의 원인을 MDP의 4개 구성 요소(관측, 행동, 전이, 보상)로 분해하여 각 갭을 독립적으로 유도하고 평가하는 새로운 접근법을 제시한다. 기존 연구는 갭의 상대적 영향과 완화 방법의 신뢰성을 체계적으로 이해하지 못하고 있었다. 본 연구는 RL 기반 제어 정책이 시뮬레이션에서 학습된 후 실제 환경에서 실패하는 이유를 분석하기 위해, 각 갭을 분리하여 실험적으로 평가하는 프로토콜을 설계했다. 특히, 관측 갭은 실제 센서 노이즈와 불완전한 상태 정보를 반영하고, 행동 갭은 실행 지연과 제약을 반영하며, 전이 갭은 차량 동역학 모델의 차이를 반영하며, 보상 갭은 학습 목표와 실제 목표 간 차이를 반영한다.

기술적 접근법

**Sim2Signal 벤치마크**: 관측, 행동, 전이, 보상 갭을 MDP 구성 요소로 분해.
**실험 환경**: 5개 실제 도시(예: Los Angeles, Singapore 등)에서 10개 교정된 네트워크 구성.
**실험 설정**: 33개 갭 설정(예: 센서 노이즈, 실행 지연, 차량 동역학 차이 등)에서 2개 기반 제어기(예: DQN, PPO)와 18개 완화 방법 평가.
**완화 방법**: 도메인 랜덤화, 불변 표현, 상태 추정 등 다양한 접근법 포함.
**평가 지표**: 각 갭 설정에서 성능 저하율, 완화 효과, 네트워크별 차이 분석.

주요 결과

**직접 전이(Direct Transfer)**: 모든 갭 소스에서 성능 저하 발생. 예: 관측 갭에서 평균 20% 이상 성능 저하.
**완화 효과**: 갭 심각도가 완화 효과를 예측하지 못함. 예: 보상 갭에서 +15% 성능 회복한 방법이 다른 네트워크에서는 -5% 성능 저하.
**가장 효과적인 방법**: 갭 변화량을 추정하는 방법(예: 지연 행동의 최종 상태 추정, 센서 노이즈 보정)이 도메인 랜덤화나 불변 표현 기반 방법보다 더 일관된 성능 회복.
**행동 갭**: 네트워크와 설정에 관계없이 일관된 완화 방법 존재. 예: 특정 알고리즘이 80% 이상 네트워크에서 성능 개선.

의의 및 한계

Sim2Signal은 교차로 신호 제어에서 Sim-to-Real 갭의 원인을 체계적으로 분석하고, 다양한 완화 방법의 효과를 비교할 수 있는 표준화된 벤치마크를 제공한다. 이는 RL 기반 제어 정책의 실제 세계 적용 가능성 평가에 중요한 기초를 제공한다. 그러나 본 연구는 단일 갭을 독립적으로 평가하는 데 초점을 맞추었기 때문에, 실제 세계에서는 여러 갭이 동시에 발생하는 상황을 반영하지 못한다. 또한, 완화 방법의 일반화 능력은 네트워크와 설정에 따라 크게 달라지므로, 보다 다양한 환경에서의 실험 확대가 필요하다.

실용적 활용

Sim2Signal은 교차로 신호 제어 시스템의 실제 세계 배포 전 성능 검증에 활용될 수 있다. 특히, 도시 교통 관리 시스템 개발자들이 RL 기반 제어 정책의 Robustness를 평가하고, 다양한 갭 상황에 대응하는 완화 전략을 설계하는 데 유용하다. 또한, 교통 연구자들이 Sim-to-Real 갭의 원인을 이해하고, 새로운 완화 알고리즘을 개발하는 데 기초 자료로 활용될 수 있다.