4.12 인지 모듈의 성능 평가 지표
1. 개요
인지 모듈의 성능을 정량적으로 평가하기 위해 각 인지 과업에 적합한 표준 평가 지표(Evaluation Metric)가 사용된다. 본 절에서는 자율주행 인지에서 사용되는 주요 평가 지표를 과업별로 체계적으로 정리한다.
2. 객체 탐지 평가 지표
2.1 IoU (Intersection over Union)
IoU는 예측 경계 상자와 정답 경계 상자 사이의 겹침 정도를 측정하는 기본 지표이다.
\text{IoU} = \frac{\text{Area of Intersection}}{\text{Area of Union}}
2.2 AP (Average Precision)
AP는 정밀도-재현율 곡선(Precision-Recall Curve) 아래의 면적으로 정의된다. 특정 IoU 임계값(예: 0.5, 0.7)에서의 AP를 산출하며, 다수 IoU 임계값에 대한 평균인 mAP(mean Average Precision)가 종합 지표로 사용된다.
2.3 NDS (nuScenes Detection Score)
nuScenes 데이터셋에서 사용되는 종합 지표로, mAP와 함께 위치 오차, 크기 오차, 방향 오차, 속도 오차, 속성 오차의 가중 평균을 반영한다(Caesar et al., 2020).
\text{NDS} = \frac{1}{10} \left[ 5 \cdot \text{mAP} + \sum_{i=1}^{5} (1 - \min(\text{TP}_i, 1)) \right]
3. 분할 평가 지표
3.1 mIoU (mean Intersection over Union)
의미론적 분할의 표준 평가 지표로, 각 범주별 IoU의 평균이다.
3.2 PQ (Panoptic Quality)
파노픽 분할의 평가 지표로, 인식 품질(Recognition Quality, RQ)과 분할 품질(Segmentation Quality, SQ)의 곱으로 정의된다(Kirillov et al., 2019).
\text{PQ} = \text{SQ} \times \text{RQ} = \frac{\sum_{(p,g) \in TP} \text{IoU}(p,g)}{\vert TP \vert} \times \frac{\vert TP \vert}{\vert TP \vert + \frac{1}{2}\vert FP \vert + \frac{1}{2}\vert FN \vert}
4. 추적 평가 지표
4.1 MOTA (Multi-Object Tracking Accuracy)
MOTA는 미검출, 오검출, 식별자 전환의 비율로 추적 정확도를 측정한다(Bernardin & Stiefelhagen, 2008).
\text{MOTA} = 1 - \frac{\sum_t (FN_t + FP_t + IDSW_t)}{\sum_t GT_t}
여기서 FN_t는 미검출 수, FP_t는 오검출 수, IDSW_t는 식별자 전환 수, GT_t는 정답 객체 수이다.
4.2 AMOTA (Average MOTA)
다수의 재현율 수준에서 MOTA를 산출하여 평균한 지표로, nuScenes 추적 벤치마크에서 사용된다.
5. 깊이 추정 평가 지표
| 지표 | 정의 |
|---|---|
| Abs Rel | \frac{1}{N}\sum \frac{\vert d^* - d \vert}{d^*} |
| Sq Rel | \frac{1}{N}\sum \frac{(d^* - d)^2}{d^*} |
| RMSE | \sqrt{\frac{1}{N}\sum(d^* - d)^2} |
| \delta < 1.25 | \max\left(\frac{d}{d^*}, \frac{d^*}{d}\right) < 1.25인 비율 |
여기서 d^*는 정답 깊이, d는 예측 깊이이다.
6. 차선 탐지 평가 지표
차선 탐지에서는 F1 점수(F1 Score)가 주로 사용된다. 예측 차선과 정답 차선의 점별 거리가 임계값 이내인 경우를 매칭으로 판정하여 정밀도와 재현율을 산출한다. TuSimple, CULane, OpenLane 등의 벤치마크에서 사용된다.
7. 주요 벤치마크 데이터셋
| 데이터셋 | 주요 과업 | 규모 |
|---|---|---|
| nuScenes | 3D 검출, 추적, 분할, 예측 | 1,000 주행 장면, 140만 3D 박스 |
| KITTI | 2D/3D 검출, 추적, 깊이 | 7,481 학습 영상 |
| Waymo Open Dataset | 3D 검출, 추적, 분할 | 1,950 주행 장면 |
| Cityscapes | 의미론적/인스턴스 분할 | 5,000 정밀 레이블 영상 |
| Argoverse 2 | 3D 검출, 추적, 예측, 지도 | 1,000 주행 장면 |
8. 참고 문헌
- Bernardin, K., & Stiefelhagen, R. (2008). Evaluating multiple object tracking performance: The CLEAR MOT metrics. EURASIP Journal on Image and Video Processing, 2008, 1–10.
- Caesar, H., Bankiti, V., Lang, A. H., Vora, S., Liong, V. E., Xu, Q., … & Beijbom, O. (2020). nuScenes: A multimodal dataset for autonomous driving. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 11621–11631.
- Kirillov, A., He, K., Girshick, R., Rother, C., & Dollár, P. (2019). Panoptic segmentation. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 9404–9413.
v1.0