4.5 객체 추적(Object Tracking)
1. 정의
객체 추적(Object Tracking)은 연속된 시간 프레임에 걸쳐 동일 객체에 고유 식별자(Identity)를 부여하고, 시간에 따른 해당 객체의 궤적(Trajectory)을 생성하는 과업이다. 객체 추적은 인지 모듈과 예측 모듈을 연결하는 핵심 기능으로, 예측 모듈이 미래 궤적을 추정하기 위해서는 과거 궤적 정보가 필수적이다.
2. 추적의 기본 과제
객체 추적이 해결하여야 하는 핵심 과제는 **데이터 연관(Data Association)**이다. 시점 t에서 검출된 객체 집합과 시점 t-1에서 추적 중인 객체 집합 사이의 대응 관계를 결정하는 것이 데이터 연관 문제이다. 이 과정에서 다음의 상황을 처리하여야 한다.
- 객체 진입: 새로운 객체가 센서 시야에 진입하는 경우 새 추적을 생성한다.
- 객체 퇴장: 추적 중인 객체가 시야에서 사라지는 경우 추적을 종료한다.
- 일시적 미검출(Occlusion): 다른 객체에 의해 일시적으로 가려져 검출되지 않는 경우 추적을 유지한다.
- 식별자 전환(ID Switch): 근접한 두 객체의 식별자가 잘못 교환되는 오류를 방지하여야 한다.
3. 추적 방법론
3.1 Tracking-by-Detection 패러다임
현재 자율주행 인지에서 가장 널리 사용되는 추적 패러다임은 검출 기반 추적(Tracking-by-Detection)이다. 매 프레임에서 독립적으로 객체를 검출한 후, 연속 프레임 간의 검출 결과를 연관시켜 궤적을 생성한다.
- SORT(Simple Online and Realtime Tracking)(Bewley et al., 2016): 칼만 필터로 객체의 상태를 예측하고, 헝가리안 알고리즘(Hungarian Algorithm)으로 검출과 예측 간의 최적 매칭을 수행한다.
- DeepSORT(Wojke et al., 2017): SORT에 외관 특징(Appearance Feature) 기반의 매칭을 추가하여 재식별(Re-Identification) 능력을 향상시킨다.
- AB3DMOT(Weng et al., 2020): 3D 객체 추적을 위한 기본 프레임워크로, 3D 칼만 필터와 IoU 기반 연관을 사용한다.
3.2 종단간 추적
최근에는 객체 검출과 추적을 단일 신경망에서 동시에 수행하는 종단간(End-to-End) 접근법이 연구되고 있다. 트랜스포머의 쿼리(Query) 메커니즘을 활용하여 프레임 간 객체의 연속성을 학습하는 방식이다.
4. 추적 상태 추정
추적 모듈은 각 추적 객체에 대해 다음의 상태를 추정하고 유지한다.
| 상태 변수 | 내용 |
|---|---|
| 위치 (x, y, z) | 3D 공간에서의 객체 중심 위치 |
| 속도 (v_x, v_y) | 객체의 이동 속도 |
| 방향 \theta | 객체의 진행 방향(Heading) |
| 크기 (l, w, h) | 객체의 길이, 폭, 높이 |
| 클래스 | 객체의 범주 |
| 식별자 (ID) | 고유 추적 번호 |
| 추적 신뢰도 | 추적의 확실성 수준 |
칼만 필터(Kalman Filter) 또는 확장 칼만 필터(Extended Kalman Filter)가 상태 추정에 널리 사용된다.
5. 참고 문헌
- Bewley, A., Ge, Z., Ott, L., Ramos, F., & Upcroft, B. (2016). Simple online and realtime tracking. Proceedings of the IEEE International Conference on Image Processing (ICIP), 3464–3468.
- Weng, X., Wang, J., Held, D., & Kitani, K. (2020). 3D multi-object tracking: A baseline and new evaluation metrics. Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 10359–10366.
- Wojke, N., Bewley, A., & Paulus, D. (2017). Simple online and realtime tracking with a deep association metric. Proceedings of the IEEE International Conference on Image Processing (ICIP), 3645–3649.
v1.0