5.12 판단 모듈의 성능 평가 지표
1. 개요
판단 모듈의 성능 평가는 인지 모듈의 평가와 비교하여 보다 복합적이다. 판단 모듈의 출력은 궤적이며, 궤적의 품질은 안전성, 효율성, 쾌적성, 법규 준수 등 다수의 차원에서 평가되어야 한다.
2. 개방 루프 평가 (Open-Loop Evaluation)
개방 루프 평가는 사전 수집된 주행 데이터에서 모델이 예측한 궤적과 인간 운전자의 실제 궤적을 비교하는 방식이다.
2.1 L2 거리 (L2 Distance)
예측 궤적과 정답 궤적 사이의 유클리드 거리를 측정한다.
\text{ADE} = \frac{1}{T} \sum_{t=1}^{T} \| \hat{\mathbf{p}}_t - \mathbf{p}_t^* \|_2
\text{FDE} = \| \hat{\mathbf{p}}_T - \mathbf{p}_T^* \|_2
여기서 ADE(Average Displacement Error)는 전체 시간 구간의 평균 변위 오차, FDE(Final Displacement Error)는 최종 시점의 변위 오차이다.
2.2 충돌률 (Collision Rate)
예측 궤적이 다른 교통 참여자와 충돌하는 비율이다. 가장 직접적인 안전 지표이다.
2.3 도로 이탈률 (Off-Road Rate)
예측 궤적이 주행 가능 영역(도로)을 이탈하는 비율이다.
2.4 개방 루프 평가의 한계
개방 루프 평가는 모델의 행동이 환경에 미치는 영향을 고려하지 않는다. 실제 주행에서는 자차의 행동이 다른 교통 참여자의 반응을 유발하며, 이러한 상호작용 효과가 개방 루프 평가에서는 반영되지 않는다. 따라서 개방 루프 지표의 개선이 반드시 실제 주행 성능의 향상으로 이어지지 않을 수 있다.
3. 폐쇄 루프 평가 (Closed-Loop Evaluation)
폐쇄 루프 평가는 시뮬레이션 환경에서 모델이 실제로 차량을 제어하며 주행하는 방식으로, 모델의 행동이 환경에 미치는 영향과 환경의 반응을 포함한다.
3.1 주요 폐쇄 루프 지표
| 지표 | 정의 |
|---|---|
| 충돌 없는 주행 거리 | 충돌 발생까지의 평균 주행 거리 |
| 경로 완주율 | 목적지까지 안전하게 도달한 비율 |
| 교통 위반 빈도 | 교통 법규 위반 발생 빈도 |
| 진행도 (Progress) | 목적지 방향으로의 진행 거리 |
| 쾌적성 지표 | 종/횡 가속도, 가가속도의 통계 |
| 개입률 (Intervention Rate) | 안전 운전자의 개입이 필요한 빈도 |
3.2 주요 시뮬레이션 벤치마크
- nuPlan (Caesar et al., 2022): nuScenes 데이터셋의 확장으로, 대규모 실제 주행 데이터 기반의 폐쇄 루프 판단 평가 벤치마크이다.
- CARLA (Dosovitskiy et al., 2017): 오픈소스 자율주행 시뮬레이터로, 다양한 교통 시나리오에서의 폐쇄 루프 평가를 지원한다.
- Waymax (Gulino et al., 2023): Waymo에서 개발한 데이터 기반 시뮬레이터로, 실제 주행 데이터에서 재구성된 시나리오에서 폐쇄 루프 평가를 수행한다.
4. 실차 평가
실차 평가는 실제 도로 환경에서의 주행을 통해 판단 모듈의 성능을 평가하는 방법이다. 안전 운전자의 개입률(Disengagement Rate), 누적 무인 주행 거리, 승객 만족도 등이 지표로 사용된다. Waymo, Cruise 등은 자율주행 차량의 실차 주행 데이터에 기반한 안전 보고서를 주기적으로 발행하고 있다(Waymo, 2024).
5. 참고 문헌
- Caesar, H., Kabzan, J., Tan, K. S., Fong, W. K., Wolber, E., Lang, A., … & Beijbom, O. (2022). nuPlan: A closed-loop ML-based planning benchmark for autonomous vehicles. arXiv preprint arXiv:2106.11810.
- Dosovitskiy, A., Ros, G., Codevilla, F., Lopez, A., & Koltun, V. (2017). CARLA: An open urban driving simulator. Proceedings of the 1st Conference on Robot Learning (CoRL), 1–16.
- Gulino, C., Fu, J., Luo, W., Tucker, G., Bronstein, E., Lu, Y., … & Sapp, B. (2023). Waymax: An accelerated, data-driven simulator for large-scale autonomous driving research. Advances in Neural Information Processing Systems, 36.
- Waymo. (2024). Waymo safety report.
v1.0