8.7 외부 보정(Extrinsic Calibration)

8.7 외부 보정(Extrinsic Calibration)

1. 외부 보정의 정의

외부 보정(extrinsic calibration)은 센서와 기준 좌표계(또는 다른 센서) 간의 상대적 위치와 자세, 즉 6 자유도(6-DoF) 강체 변환(rigid body transformation)의 파라미터를 정밀하게 결정하는 과정이다. 이 변환은 회전 행렬 \mathbf{R} \in SO(3)과 병진 벡터 \mathbf{t} \in \mathbb{R}^3로 구성되며, 동차 변환 행렬 \mathbf{T} \in SE(3)로 표현된다.

\mathbf{T} = \begin{pmatrix} \mathbf{R} & \mathbf{t} \\ \mathbf{0}^T & 1 \end{pmatrix}

자율주행 시스템에서 외부 보정은 카메라-LiDAR, 카메라-레이더, LiDAR-IMU, LiDAR-LiDAR 등 센서 쌍 간의 상대적 변환을 결정하는 데 적용된다. 외부 보정의 정확도는 센서 융합의 성능에 직접적인 영향을 미치며, 특히 저수준 융합에서의 정합 품질을 결정한다.

8.7.2 카메라-LiDAR 외부 보정

8.7.2.1 타깃 기반 보정

카메라-LiDAR 외부 보정의 고전적 방법은 양 센서가 동시에 관측할 수 있는 보정 타깃을 이용하는 것이다.

체스보드 기반 보정: 평면 체스보드 패턴은 카메라에서 코너점(corner point)으로, LiDAR에서 평면의 법선 벡터와 거리로 관측된다. 체스보드 평면의 방정식이 두 센서 좌표계 각각에서 결정되면, 복수의 평면 관측으로부터 센서 간 변환을 추정할 수 있다. Zhang과 Pless(2004)는 이 원리에 기반한 보정 기법을 제안하였다.

전용 3차원 보정 타깃: 체스보드 평면과 반사 타깃(reflective target)을 결합한 전용 보정 프레임을 사용하여, 카메라에서는 영상 특징점으로, LiDAR에서는 반사 강도가 높은 3차원 점으로 대응점을 획득한다. Geiger 등(2012)은 체스보드와 구(sphere) 타깃을 결합한 보정 시스템을 제시하였다.

보정 타깃 기반 방법은 대응점을 정확하게 획득할 수 있어 높은 보정 정확도를 달성하나, 통제된 환경과 전용 장비가 필요하며, 타깃 배치에 대한 세심한 주의가 요구된다.

8.7.2.2 타깃 비의존 보정

타깃 비의존(targetless) 보정은 자연 장면의 기하학적 특징을 이용하여 외부 파라미터를 추정한다.

에지 정합 기반 보정: LiDAR 점군에서 추출한 3차원 에지(edge)와 카메라 영상에서 추출한 2차원 에지를 정합하여 외부 파라미터를 추정한다. LiDAR 점군의 3차원 에지를 카메라 영상 평면에 투영한 결과가 영상의 2차원 에지와 일치하도록 변환을 최적화한다. Levinson과 Thrun(2013)이 이 접근법에 기반한 자동 보정 시스템을 제안하였다.

상호 정보량(Mutual Information) 기반 보정: LiDAR 점군의 반사 강도(intensity)와 카메라 영상의 밝기(brightness) 간의 통계적 의존성을 상호 정보량(mutual information)으로 측정하고, 이를 최대화하는 변환을 탐색한다(Pandey et al., 2015).

심층 학습 기반 보정: 신경망을 이용하여 LiDAR 깊이 맵과 카메라 영상 간의 정합 오류를 직접 예측하고 보정하는 방법이다. RegNet(Schneider et al., 2017)은 깊이 맵과 영상의 쌍으로부터 보정 오류(오프셋)를 회귀(regression)하는 네트워크를 학습하였다. CalibNet(Iyer et al., 2018)은 기하학적 일관성과 광도 일관성(photometric consistency) 손실을 이용하여 자기지도 학습으로 보정 파라미터를 추정한다.

8.7.3 카메라-레이더 외부 보정

카메라-레이더 외부 보정은 레이더의 제한된 각도 분해능과 높이 방향 정보의 부재로 인해 카메라-LiDAR 보정보다 어렵다.

코너 반사기(corner reflector) 기반 보정: 레이더에서 강한 반사를 제공하는 금속 코너 반사기를 보정 타깃으로 사용하고, 카메라에서는 코너 반사기의 위치를 영상에서 식별한다. 복수의 코너 반사기를 다양한 위치에 배치하여 대응점 쌍을 획득하고, PnP(Perspective-n-Point) 알고리즘 또는 최소자승 최적화로 외부 파라미터를 추정한다(El Natour et al., 2015).

주행 중 타깃 비의존 보정: 주행 중 동적 객체(특히 차량)의 카메라 검출 위치와 레이더 검출 위치를 연관시켜 외부 파라미터를 추정한다. 레이더의 거리와 방위각 측정을 카메라 영상 평면에 투영한 결과가 카메라의 객체 검출 위치와 일치하도록 변환을 최적화한다.

8.7.4 LiDAR-IMU 외부 보정

LiDAR-IMU 외부 보정은 차량의 자세 추정과 점군 모션 보정에 필수적이다. LiDAR와 IMU는 직접적인 관측 공간을 공유하지 않으므로, 동적 보정(motion-based calibration) 방법이 사용된다.

차량을 다양한 운동(직선, 회전, 가감속)으로 이동시키면서, LiDAR의 스캔 매칭(scan matching)으로 추정한 운동과 IMU에서 추정한 운동이 일치하도록 외부 파라미터를 최적화한다. 이 방법은 핸드-아이 보정(hand-eye calibration) 문제 \mathbf{AX} = \mathbf{XB}의 형태로 정식화할 수 있다. 여기서 \mathbf{A}는 LiDAR 운동, \mathbf{B}는 IMU 운동, \mathbf{X}는 LiDAR-IMU 간 변환이다(Tsai & Lenz, 1989).

8.7.5 다중 센서 외부 보정

자율주행 차량에 다수의 센서가 장착된 경우, 모든 센서 쌍에 대해 개별적으로 외부 보정을 수행하면 일관성(consistency) 문제가 발생할 수 있다. 즉, 센서 A→B와 B→C의 보정 결과를 연쇄(chain)한 A→C 변환이, A→C 직접 보정 결과와 상이할 수 있다.

이 문제를 해결하기 위해 모든 센서의 외부 파라미터를 동시에 최적화하는 전역 보정(global calibration)을 수행한다. 그래프 최적화(graph optimization) 프레임워크에서 각 센서를 노드(node)로, 센서 쌍 간의 상대 관측을 에지(edge)로 모델링하고, 전체 그래프에 대한 비용 함수를 최소화하여 일관된 외부 파라미터를 산출한다(Kummerle et al., 2011).

8.7.6 온라인 외부 보정

8.7.6.1 온라인 보정의 필요성

차량의 운행 중 진동, 온도 변화, 기계적 충격 등에 의해 센서 장착 위치가 미세하게 변동한다. 이러한 변동은 초기 오프라인 보정의 정확도를 점진적으로 저하시키므로, 주행 중 실시간으로 외부 파라미터를 갱신하는 온라인 보정이 필요하다.

8.7.6.2 온라인 보정 방법

보정 오차 모니터링: 센서 융합 과정에서 관측되는 정합 품질 지표(예: LiDAR 점군의 카메라 투영 일관성, 에지 정합 잔차)를 지속적으로 모니터링하여, 일정 임계치를 초과하는 경우 보정 파라미터의 갱신을 트리거한다.

칼만 필터 기반 추정: 외부 파라미터를 상태 벡터에 포함하여, 주행 중의 관측으로부터 칼만 필터를 통해 점진적으로 갱신한다. 외부 파라미터의 변동이 느리다는 사전 지식을 반영하여 프로세스 잡음을 작게 설정한다.

SLAM과의 결합: SLAM(Simultaneous Localization and Mapping) 시스템에서 외부 파라미터를 추가적인 최적화 변수로 포함하여, 맵 구축과 동시에 보정 파라미터를 정제하는 방법이 연구되고 있다.

8.7.7 외부 보정의 정확도 평가

외부 보정 결과의 정확도를 정량적으로 평가하기 위한 지표는 다음과 같다.

  • 재투영 오차(reprojection error): LiDAR 점군을 보정된 외부 파라미터로 카메라 영상에 투영한 결과와 영상의 대응 특징 간의 화소 단위 거리.
  • 점군-영상 에지 일치도: LiDAR 점군의 깊이 불연속(depth discontinuity) 에지와 카메라 영상의 에지 간의 정합 품질.
  • 시각적 검증: LiDAR 점군을 카메라 영상에 오버레이하여 정합 상태를 시각적으로 검사한다. 정확한 보정 시 점군의 윤곽이 영상의 객체 경계와 정밀하게 일치한다.
  • 교차 검증: 독립적인 검증 데이터셋에서의 보정 정확도 평가. 보정에 사용되지 않은 관측을 이용하여 재투영 오차를 산출한다.

참고문헌

  • El Natour, G., Ait-Aider, O., Rouveure, R., Berry, F., & Music, D. (2015). Radar and vision sensors calibration for outdoor 3D reconstruction. IEEE International Conference on Robotics and Automation (ICRA), 2084–2089.
  • Geiger, A., Moosmann, F., Car, Ö., & Schuster, B. (2012). Automatic camera and range sensor calibration using a single shot. IEEE International Conference on Robotics and Automation (ICRA), 3936–3943.
  • Iyer, G., Ram, R. K., Murthy, J. K., & Krishna, K. M. (2018). CalibNet: Geometrically supervised extrinsic calibration using 3D spatial transformer networks. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 1110–1117.
  • Kummerle, R., Grisetti, G., Strasdat, H., Konolige, K., & Burgard, W. (2011). g2o: A general framework for graph optimization. IEEE International Conference on Robotics and Automation (ICRA), 3607–3613.
  • Levinson, J., & Thrun, S. (2013). Automatic online calibration of cameras and lasers. Robotics: Science and Systems (RSS).
  • Pandey, G., McBride, J. R., Savarese, S., & Eustice, R. M. (2015). Automatic extrinsic calibration of vision and lidar by maximizing mutual information. Journal of Field Robotics, 32(5), 696–722.
  • Schneider, N., Piewak, F., Stiller, C., & Franke, U. (2017). RegNet: Multimodal sensor registration using deep neural networks. IEEE Intelligent Vehicles Symposium (IV), 1803–1810.
  • Tsai, R. Y., & Lenz, R. K. (1989). A new technique for fully autonomous and efficient 3D robotics hand/eye calibration. IEEE Transactions on Robotics and Automation, 5(3), 345–358.
  • Zhang, Q., & Pless, R. (2004). Extrinsic calibration of a camera and laser range finder. IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 3, 2301–2306.

버전: v1.0, 2026-04-11