8.1 센서 융합의 정의와 필요성

1. 센서 융합의 정의

센서 융합(sensor fusion)은 복수의 센서 또는 복수의 데이터 소스로부터 획득한 정보를 체계적으로 결합하여, 개별 센서만으로는 달성할 수 없는 보다 정확하고 완전하며 신뢰성 있는 추정을 산출하는 과정이다.

미국 국방부 JDL(Joint Directors of Laboratories)의 데이터 융합 그룹은 데이터 융합을 “복수 소스로부터의 데이터 및 정보를 연관(association), 상관(correlation), 결합(combination)하여 정제된 위치 및 식별 추정, 상황 평가, 위협 평가를 달성하는 다수준, 다측면 프로세스“로 정의하였다(Steinberg et al., 1999). 이 정의는 군사 응용에서 기원하였으나, 자율주행을 포함한 민간 응용 분야에 동일하게 적용된다.

Hall과 Llinas(1997)는 보다 일반적인 정의로서, 데이터 융합을 “복수 센서 및 관련 정보를 결합하여 특정 개체(entity), 사건(event), 상황(situation)에 대한 개선된 추정 및 결정을 달성하는 기법“으로 제시하였다.

자율주행의 맥락에서 센서 융합은 카메라, LiDAR, 레이더, 초음파, IMU, GNSS 등 이종(heterogeneous) 센서의 출력을 결합하여 주행 환경에 존재하는 객체의 위치, 크기, 속도, 분류, 의도(intent)를 통합적으로 추정하고, 차량 자체의 위치와 자세를 정밀하게 결정하며, 주행 가능 영역을 식별하는 일련의 과정을 포괄한다.

2. 센서 융합의 필요성

2.1 단일 센서의 본질적 한계

모든 센서는 고유한 물리적 원리에 기반하여 동작하며, 이에 따라 본질적인 한계를 갖는다. 단일 센서만으로 자율주행의 인지 요구사항을 충족할 수 없는 근본적 이유는 다음과 같다.

측정 차원의 제한: 카메라는 2차원 영상을 제공하나 직접적인 거리 정보를 산출하지 못한다. 레이더는 거리와 속도를 정밀하게 측정하나 공간 분해능이 낮다. LiDAR는 정밀한 3차원 기하 정보를 제공하나 색상과 질감 정보가 부재한다. 각 센서가 측정할 수 있는 물리량의 차원이 제한적이므로, 자율주행에 필요한 완전한 환경 표현을 단일 센서로 구성할 수 없다.

환경 조건에 대한 취약성: 카메라는 야간, 역광, 안개 조건에서 성능이 저하된다. LiDAR는 비, 눈, 안개에 의한 레이저 산란으로 점군에 노이즈가 발생한다. 레이더는 다중 경로 반사와 클러터에 의한 허위 표적 문제를 갖는다. 특정 환경 조건에서 동시에 모든 센서가 성능 저하를 겪는 것은 아니므로, 이종 센서의 결합을 통해 환경 강건성을 확보할 수 있다.

탐지 범위와 분해능의 상충: 장거리 탐지에 최적화된 센서 구성(예: 망원 카메라, 장거리 레이더)은 근거리 광역 감시에 부적합하고, 그 역도 마찬가지이다. 다양한 탐지 범위와 분해능 요구사항을 동시에 충족하기 위해서는 복수 센서의 배치가 불가피하다.

2.2 상호 보완성(Complementarity)을 통한 인지 완전성 확보

센서 융합의 핵심 동기는 이종 센서 간의 상호 보완성을 활용하는 것이다. Dasarathy(1997)는 센서 융합의 이점을 다음 세 가지 범주로 분류하였다.

보완적 융합(complementary fusion): 각 센서가 동일 장면의 서로 다른 측면을 관측하여, 결합 시 보다 완전한 환경 표현을 구성한다. 예를 들어, 카메라의 의미적 인식 결과와 LiDAR의 3차원 기하 정보를 결합하면, 각 객체의 3차원 위치와 분류를 동시에 포함하는 통합 표현이 생성된다.

이중화 융합(redundant fusion): 복수의 센서가 동일한 물리량 또는 동일한 영역을 관측하여, 단일 센서 고장 또는 성능 저하 시에도 인지 기능의 연속성을 보장한다. 이중화는 시스템의 가용성(availability)과 신뢰도(reliability)를 향상시킨다.

협력적 융합(cooperative fusion): 한 센서의 출력이 다른 센서의 성능을 향상시키는 관계이다. 예를 들어, 레이더의 검출 결과가 카메라의 관심 영역(Region of Interest, RoI)을 지정하여 카메라 기반 인식의 효율과 정확도를 향상시킬 수 있다.

2.3 추정 정확도의 향상

확률 이론에 근거하여, 복수의 독립적 관측을 결합하면 추정 정확도가 향상된다. 동일 물리량에 대한 n개의 독립 관측이 각각 분산 \sigma_1^2, \sigma_2^2, \ldots, \sigma_n^2을 갖는 가우시안 분포를 따를 때, 최적 가중 결합(optimal weighted combination)의 분산 \sigma_f^2는 다음과 같다.

\frac{1}{\sigma_f^2} = \sum_{i=1}^{n} \frac{1}{\sigma_i^2}

이 결과는 결합 추정의 분산이 항상 개별 관측의 최소 분산보다 작거나 같음을 보장한다. 즉, 센서를 추가하면 추정 불확실성이 반드시 감소한다(Bar-Shalom et al., 2001).

8.1.2.4 기능 안전(Functional Safety) 요구사항의 충족

ISO 26262(도로 차량 기능 안전) 표준은 안전 관련 시스템에 대해 하드웨어 고장과 체계적 고장에 대한 내성을 요구한다. 자율주행 인지 시스템에서 단일 센서에 의존하는 구조는 해당 센서의 고장 시 인지 기능이 완전히 상실되어 안전 무결성 수준(Automotive Safety Integrity Level, ASIL)의 충족이 어렵다. 이종 센서에 의한 이중화 구성은 단일 점 고장(single point of failure)을 제거하여 시스템 수준의 안전 무결성을 확보하는 데 필수적이다(ISO, 2018).

또한 ISO/PAS 21448(SOTIF, Safety of the Intended Functionality)은 센서의 성능 한계(performance limitation)로 인한 의도 기능의 불충분(insufficiency)을 식별하고 완화할 것을 요구한다. 센서 융합은 개별 센서의 성능 한계가 시스템 수준의 인지 실패로 전파되는 것을 방지하는 핵심 수단이다(ISO, 2022).

8.1.2.5 주행 시나리오의 다양성 대응

자율주행 차량은 고속도로, 도심 교차로, 주차장, 터널, 교량 등 매우 다양한 주행 환경에서 동작하여야 한다. 각 시나리오는 탐지 거리, 시야각, 분해능, 갱신 속도, 기상 강건성 등에 대한 서로 다른 요구사항을 부과한다.

단일 센서로는 이 모든 시나리오의 요구사항을 동시에 충족할 수 없으므로, 복수 센서의 조합과 융합이 필수적이다.

8.1.3 센서 융합의 이론적 기반

센서 융합의 수학적 기반은 확률론(probability theory)과 베이즈 추론(Bayesian inference)이다. 베이즈 정리(Bayes’ theorem)는 사전 지식(prior knowledge)과 새로운 관측(observation)을 결합하여 사후 확률(posterior probability)을 갱신하는 체계적 프레임워크를 제공하며, 이는 센서 융합의 핵심 수학적 원리이다.

p(\mathbf{x} | \mathbf{z}) = \frac{p(\mathbf{z} | \mathbf{x}) \, p(\mathbf{x})}{p(\mathbf{z})}

여기서 \mathbf{x}는 추정 대상 상태, \mathbf{z}는 센서 관측, p(\mathbf{x})는 사전 분포, p(\mathbf{z} | \mathbf{x})는 우도(likelihood), p(\mathbf{x} | \mathbf{z})는 사후 분포이다.

복수 센서의 관측 \mathbf{z}^{(1)}, \mathbf{z}^{(2)}, \ldots, \mathbf{z}^{(m)}이 상태 \mathbf{x}에 대해 조건부 독립(conditionally independent)일 때, 결합 우도는 개별 우도의 곱으로 분해된다.

p(\mathbf{z}^{(1)}, \ldots, \mathbf{z}^{(m)} | \mathbf{x}) = \prod_{i=1}^{m} p(\mathbf{z}^{(i)} | \mathbf{x})

이 분해는 각 센서의 관측 모델을 독립적으로 설계하고, 베이즈 갱신을 통해 체계적으로 결합할 수 있음을 보장한다. 이 원리는 칼만 필터(Kalman filter), 입자 필터(particle filter), 그래프 최적화(graph optimization) 등 다양한 실용적 알고리즘의 이론적 토대가 된다(Thrun et al., 2005).

8.1.4 센서 융합의 도전 과제

센서 융합은 이론적 이점에도 불구하고 실제 구현에서 다음과 같은 도전 과제에 직면한다.

시공간 정합(spatial-temporal alignment): 이종 센서는 서로 다른 좌표계에서 서로 다른 시각에 데이터를 생성한다. 정확한 융합을 위해서는 모든 센서 데이터를 공통 좌표계와 공통 시간 기준으로 변환하여야 하며, 이를 위한 정밀한 캘리브레이션과 시간 동기화가 필수적이다.

데이터 연관(data association): 복수 센서의 검출 결과에서 동일 객체에 대한 관측을 올바르게 대응시키는 문제는, 특히 밀집된 교통 환경에서 계산적으로 복잡하고 오류에 취약하다.

이질적 데이터 표현(heterogeneous data representation): 카메라의 2차원 영상, LiDAR의 3차원 점군, 레이더의 거리-도플러 맵 등은 데이터의 구조와 의미가 근본적으로 상이하다. 이질적 표현을 효과적으로 결합하기 위한 통합 표현(unified representation)의 설계가 중요한 연구 과제이다.

불확실성 모델링: 각 센서의 측정 불확실성을 정확하게 모델링하고, 이를 융합 과정에서 적절히 반영하여야 한다. 불확실성 모델이 부정확하면 융합 결과의 신뢰도가 저하되거나, 과도하게 낙관적 또는 비관적인 추정을 산출할 수 있다.

참고문헌

• Bar-Shalom, Y., Li, X. R., & Kirubarajan, T. (2001). Estimation with Applications to Tracking and Navigation. John Wiley & Sons.
• Dasarathy, B. V. (1997). Sensor fusion potential exploitation — innovative architectures and illustrative applications. Proceedings of the IEEE, 85(1), 24–38.
• Hall, D. L., & Llinas, J. (1997). An introduction to multisensor data fusion. Proceedings of the IEEE, 85(1), 6–23.
• ISO. (2018). ISO 26262: Road vehicles — Functional safety. International Organization for Standardization.
• ISO. (2022). ISO 21448: Road vehicles — Safety of the intended functionality. International Organization for Standardization.
• Steinberg, A. N., Bowman, C. L., & White, F. E. (1999). Revisions to the JDL data fusion model. Sensor Fusion: Architectures, Algorithms, and Applications III, SPIE, 3719, 430–441.
• Thrun, S., Burgard, W., & Fox, D. (2005). Probabilistic Robotics. MIT Press.

버전: v1.0, 2026-04-11