8.2 센서 융합의 분류 체계
1. 분류 기준의 개요
센서 융합은 다양한 기준에 따라 체계적으로 분류할 수 있다. 학술 문헌에서 사용되는 주요 분류 기준은 다음과 같다.
- 융합 수준(level of fusion): 인지 파이프라인 내에서 융합이 수행되는 단계
- 입출력 관계(input-output relationship): 융합 과정의 입력과 출력 데이터의 유형
- 센서 구성(sensor configuration): 융합에 참여하는 센서의 동질성 및 이질성
- 융합 목적(fusion objective): 융합을 통해 달성하고자 하는 목표
이 중 융합 수준에 따른 분류가 자율주행 분야에서 가장 널리 사용되며, 시스템 설계와 구현에 직접적인 지침을 제공한다.
2. 융합 수준에 따른 분류
융합 수준에 따른 분류는 센서의 원시 데이터가 최종 인지 결과로 변환되는 파이프라인 내에서 융합이 수행되는 위치를 기준으로 한다. 이 분류 체계는 크게 저수준 융합(low-level fusion), 중수준 융합(mid-level fusion), 고수준 융합(high-level fusion)의 세 단계로 구분된다(Hall & Llinas, 1997; Feng et al., 2021).
2.1 저수준 융합(Low-Level Fusion)
저수준 융합은 조기 융합(early fusion) 또는 데이터 수준 융합(data-level fusion)이라고도 하며, 각 센서의 원시 데이터(raw data) 또는 최소한의 전처리만 수행된 데이터를 직접 결합하는 방식이다. 결합된 원시 데이터에 대해 단일 인지 알고리즘을 적용하여 최종 결과를 산출한다.
예를 들어, LiDAR 점군의 각 점에 카메라 영상의 RGB 값을 투영하여 색상 정보가 부가된 점군을 생성하거나, 복수 센서의 측정값을 단일 통합 표현(예: BEV 격자)에 매핑하는 방식이 이에 해당한다.
특징: 원시 데이터에 포함된 모든 정보를 보존한 상태에서 융합이 이루어지므로 정보 손실이 최소화된다. 그러나 이종 센서 데이터 간의 정밀한 시공간적 정합(spatial-temporal alignment)이 필수적이며, 데이터 양이 크고 이질적 표현의 결합이 복잡하다.
2.2 중수준 융합(Mid-Level Fusion)
중수준 융합은 특징 수준 융합(feature-level fusion)이라고도 하며, 각 센서 데이터에서 독립적으로 추출한 중간 수준의 특징(feature)을 결합하는 방식이다. 심층 학습 기반 인지에서는 각 센서 가지(branch)의 인코더(encoder)가 산출한 특징 맵(feature map)을 특정 표현 공간(예: BEV 공간, 보셀 공간)에서 결합한 후 공동 디코더(shared decoder)로 처리한다.
특징: 원시 데이터의 정보를 상당 부분 보존하면서도, 추상화된 특징 공간에서의 결합을 통해 이종 데이터 표현 간의 정합 부담을 완화한다. 학습 기반 접근법에서는 종단간(end-to-end) 학습을 통해 특징 추출과 융합을 동시에 최적화할 수 있다.
2.3 고수준 융합(High-Level Fusion)
고수준 융합은 후기 융합(late fusion), 결정 수준 융합(decision-level fusion), 또는 객체 수준 융합(object-level fusion)이라고도 하며, 각 센서에 대해 독립적으로 인지 처리(검출, 분류, 추적 등)를 수행한 후 개별 센서의 출력 결과(검출 목록, 추적 트랙 등)를 결합하는 방식이다.
특징: 각 센서의 인지 모듈이 독립적으로 동작하므로 모듈 간 결합도가 낮고, 센서의 추가 또는 제거가 용이하다. 그러나 개별 센서의 인지 단계에서 이미 정보 손실과 오류가 발생한 후 융합이 이루어지므로, 저수준 또는 중수준 융합 대비 최적 성능을 달성하기 어려울 수 있다.
2.4 융합 수준별 비교
| 구분 | 저수준 융합 | 중수준 융합 | 고수준 융합 |
|---|---|---|---|
| 융합 입력 | 원시 데이터 | 특징 맵/벡터 | 검출/추적 결과 |
| 정보 보존 | 최대 | 높음 | 중간 |
| 시공간 정합 요구 | 매우 높음 | 높음 | 낮음 |
| 모듈 독립성 | 낮음 | 중간 | 높음 |
| 연산 복잡도 | 높음 | 중간~높음 | 낮음 |
| 센서 확장성 | 낮음 | 중간 | 높음 |
| 대표 기법 | PointPainting, 원시 데이터 연결(concatenation) | BEVFusion, TransFusion | 헝가리안 매칭, 칼만 필터 기반 트랙 융합 |
3. Dasarathy의 입출력 관계 기반 분류
Dasarathy(1997)는 융합 프로세스의 입력과 출력 데이터 유형을 기준으로 센서 융합을 다섯 가지 범주로 분류하였다. 이 분류 체계는 융합 수준 분류와 상호 보완적으로 사용되며, 융합 프로세스의 기능적 역할을 보다 명확히 기술한다.
| 범주 | 입력 | 출력 | 설명 |
|---|---|---|---|
| DAI-DAO (Data In – Data Out) | 원시 데이터 | 원시 데이터 | 데이터 수준에서의 결합, 전처리 |
| DAI-FEO (Data In – Feature Out) | 원시 데이터 | 특징 | 복수 센서 원시 데이터로부터 특징 추출 |
| FEI-FEO (Feature In – Feature Out) | 특징 | 특징 | 특징 수준에서의 결합 및 변환 |
| FEI-DEO (Feature In – Decision Out) | 특징 | 결정 | 결합된 특징으로부터 분류/결정 |
| DEI-DEO (Decision In – Decision Out) | 결정 | 결정 | 개별 결정의 결합(투표, 가중 결합 등) |
DAI-DAO와 DAI-FEO는 저수준 융합에, FEI-FEO와 FEI-DEO는 중수준 융합에, DEI-DEO는 고수준 융합에 대응한다.
4. 센서 구성에 따른 분류
센서 융합은 참여 센서의 동질성(homogeneity) 여부에 따라 다음과 같이 분류할 수 있다.
4.1 동종 센서 융합(Homogeneous Sensor Fusion)
동일 유형의 복수 센서로부터의 데이터를 결합하는 것이다. 예를 들어, 복수의 카메라 영상을 결합하여 어라운드뷰(around-view)를 구성하거나, 복수의 LiDAR 점군을 단일 좌표계에서 합성하는 경우가 이에 해당한다. 동종 센서 융합은 커버리지 확장, 분해능 향상, 이중화 확보에 주로 활용된다.
4.2 이종 센서 융합(Heterogeneous Sensor Fusion)
서로 다른 유형의 센서로부터의 데이터를 결합하는 것이다. 카메라-LiDAR 융합, 카메라-레이더 융합, LiDAR-레이더 융합, 카메라-LiDAR-레이더 융합 등이 이에 해당한다. 이종 센서 융합은 각 센서의 상호 보완적 특성을 활용하여 단일 센서 유형으로는 달성할 수 없는 인지 성능을 구현하는 데 핵심적이다.
4.3 경쟁적 구성과 보완적 구성
Durrant-Whyte(1988)는 센서 구성을 경쟁적(competitive), 보완적(complementary), 협력적(cooperative) 구성으로 분류하였다.
- 경쟁적 구성: 복수 센서가 동일 물리량을 독립적으로 측정한다. 이중화를 제공하며, 결합 추정의 정확도를 향상시킨다.
- 보완적 구성: 각 센서가 서로 다른 공간적 또는 물리적 영역을 관측하여 전체 인지 범위를 확장한다.
- 협력적 구성: 한 센서의 출력이 다른 센서의 입력이나 운용 파라미터에 영향을 미쳐 전체 성능을 향상시킨다.
5. JDL 데이터 융합 모델
JDL(Joint Directors of Laboratories) 데이터 융합 모델은 데이터 융합을 추상화 수준에 따라 다음과 같은 레벨로 분류한다(Steinberg et al., 1999).
| 레벨 | 명칭 | 설명 | 자율주행 대응 |
|---|---|---|---|
| Level 0 | 소스 전처리 | 원시 센서 데이터의 전처리, 보정 | 센서 캘리브레이션, 노이즈 제거 |
| Level 1 | 객체 정제 | 개별 객체의 위치, 속도, 분류 추정 | 객체 검출, 추적, 분류 |
| Level 2 | 상황 정제 | 객체 간 관계, 전체 상황의 이해 | 상황 인식, 행동 예측 |
| Level 3 | 위협 정제 | 미래 상황 예측, 위험 평가 | 위험 평가, 충돌 예측 |
| Level 4 | 프로세스 정제 | 융합 프로세스 자체의 감시 및 최적화 | 센서 관리, 자원 할당 |
자율주행에서의 센서 융합은 주로 Level 0(센서 캘리브레이션)과 Level 1(객체 수준 인지)에 집중되어 있으며, Level 2 이상은 상위 인지 및 판단 모듈의 영역에 해당한다.
6. 분류 체계의 상호 관계
위에서 기술한 분류 체계들은 상호 배타적이지 않으며, 동일한 융합 시스템을 서로 다른 관점에서 기술하는 데 사용된다. 예를 들어, BEVFusion은 융합 수준으로는 중수준 융합, Dasarathy 분류로는 FEI-FEO, 센서 구성으로는 이종 센서(카메라+LiDAR) 융합, JDL 모델로는 Level 1에 해당한다. 실제 시스템 설계에서는 이러한 다양한 분류 관점을 종합적으로 고려하여 요구사항에 적합한 융합 아키텍처를 선정한다.
참고문헌
- Dasarathy, B. V. (1997). Sensor fusion potential exploitation — innovative architectures and illustrative applications. Proceedings of the IEEE, 85(1), 24–38.
- Durrant-Whyte, H. F. (1988). Sensor models and multisensor integration. International Journal of Robotics Research, 7(6), 97–113.
- Feng, D., Haase-Schütz, C., Rosenbaum, L., Hertlein, H., Glaeser, C., Timm, F., Dietmayer, K., & Schlichtharle, F. (2021). Deep multi-modal object detection and semantic segmentation for autonomous driving: Datasets, methods, and challenges. IEEE Transactions on Intelligent Transportation Systems, 22(3), 1341–1360.
- Hall, D. L., & Llinas, J. (1997). An introduction to multisensor data fusion. Proceedings of the IEEE, 85(1), 6–23.
- Steinberg, A. N., Bowman, C. L., & White, F. E. (1999). Revisions to the JDL data fusion model. Sensor Fusion: Architectures, Algorithms, and Applications III, SPIE, 3719, 430–441.
버전: v1.0, 2026-04-11