1.5 모듈형 자율주행과 종단간 자율주행의 구분

자율주행 시스템의 소프트웨어 아키텍처는 크게 모듈형 접근법(Modular Approach)과 종단간 접근법(End-to-End Approach)으로 구분된다. 이 두 접근법은 시스템 설계 철학, 정보 흐름 구조, 학습 방식, 그리고 검증 가능성에서 근본적인 차이를 보인다. 본 절에서는 두 접근법의 구조적 특성, 장단점, 그리고 최근의 융합적 경향을 체계적으로 분석한다.

1. 모듈형 접근법 (Modular Approach)

모듈형 접근법은 자율주행 시스템을 인지(Perception), 예측(Prediction), 판단(Planning), 제어(Control) 등의 독립적인 기능 모듈로 분리하여 설계하는 방식이다. 각 모듈은 명확히 정의된 입력과 출력을 가지며, 파이프라인 구조로 순차적으로 연결된다.

모듈형 접근법의 정보 흐름은 다음과 같이 표현된다.

\mathbf{s} \xrightarrow{\text{Perception}} \mathbf{o} \xrightarrow{\text{Prediction}} \hat{\mathbf{o}}_{t+1:t+T} \xrightarrow{\text{Planning}} \boldsymbol{\tau}^* \xrightarrow{\text{Control}} \mathbf{u}

여기서 \mathbf{s}는 원시 센서 데이터, \mathbf{o}는 인지 결과(객체 목록, 시맨틱 맵 등), \hat{\mathbf{o}}_{t+1:t+T}는 예측된 미래 상태, \boldsymbol{\tau}^*는 계획된 궤적, \mathbf{u}는 제어 명령이다.

1.1 모듈형 접근법의 장점

• 해석 가능성(Interpretability): 각 모듈의 출력이 명시적 의미를 가지므로 시스템의 의사결정 과정을 해석하고 디버깅할 수 있다. 인지 모듈의 객체 검출 결과, 판단 모듈의 궤적 후보 등을 시각화하여 오류의 원인을 추적하는 것이 가능하다.
• 모듈별 독립 개발: 각 모듈을 독립적으로 개발, 평가, 개선할 수 있다. 특정 모듈의 알고리즘을 교체하거나 업그레이드할 때 다른 모듈에 미치는 영향을 최소화할 수 있다.
• 안전 검증 용이성: 각 모듈의 입출력을 독립적으로 검증할 수 있어 안전성 평가와 인증 과정이 상대적으로 체계적이다. ISO 26262 등 기능 안전 표준의 적용이 용이하다.
• 도메인 지식 활용: 차량 동역학, 교통 법규, 도로 기하 구조 등의 도메인 지식을 각 모듈에 명시적으로 반영할 수 있다.

1.2 모듈형 접근법의 한계

• 정보 병목(Information Bottleneck): 모듈 간 인터페이스에서 중간 표현(Intermediate Representation)의 형태가 고정되므로, 원시 센서 데이터에 포함된 풍부한 정보 중 일부가 손실될 수 있다. 예를 들어, 인지 모듈이 객체를 경계 상자로만 표현할 경우 객체의 세밀한 형태 정보가 후속 모듈에 전달되지 않는다(Chen et al., 2024).
• 오류 전파(Error Propagation): 상위 모듈의 오류가 후속 모듈로 전파되며, 하위 모듈은 이를 보정할 수 없다. 인지 모듈에서 발생한 미검출(False Negative)은 판단 모듈에서 충돌 위험으로 이어질 수 있다.
• 전역 최적화의 어려움: 각 모듈이 독립적으로 최적화되므로 전체 시스템 수준의 최적화가 보장되지 않는다. 개별 모듈의 최적 성능이 전체 시스템의 최적 성능을 보장하지 않는 하위 최적성(Sub-Optimality) 문제가 발생할 수 있다.

2. 종단간 접근법 (End-to-End Approach)

종단간 접근법은 센서 입력에서 제어 출력 또는 궤적 출력까지의 전체 매핑을 단일 또는 소수의 신경망으로 학습하는 방식이다. 이 접근법은 명시적인 중간 표현 없이 원시 데이터로부터 직접 주행 행동을 학습한다.

종단간 접근법의 매핑은 다음과 같이 표현된다.

\mathbf{u} = f_\theta(\mathbf{s})

여기서 f_\theta는 학습 가능한 매개변수 \theta를 가진 신경망이며, 센서 입력 \mathbf{s}로부터 직접 제어 명령 \mathbf{u} 또는 궤적 \boldsymbol{\tau}를 출력한다.

종단간 접근법의 역사는 Pomerleau(1989)의 ALVINN으로 거슬러 올라간다. ALVINN은 단순한 3층 신경망으로 카메라 영상에서 조향 명령을 직접 학습하였다. 이후 Bojarski et al.(2016)의 연구에서 합성곱 신경망을 이용한 종단간 학습이 현대적 심층 학습 프레임워크에서 재조명되었다.

2.1 종단간 접근법의 장점

• 정보 보존: 모듈 간 인터페이스에 의한 정보 손실이 없으며, 신경망이 주행에 필요한 최적의 내부 표현을 자동으로 학습한다.
• 전역 최적화: 전체 시스템이 단일 목적 함수에 대해 최적화되므로 모듈 간 하위 최적성 문제가 발생하지 않는다.
• 설계 비용 절감: 모듈 간 인터페이스를 수동으로 설계할 필요가 없으며, 데이터로부터 자동으로 학습된다.

2.2 종단간 접근법의 한계

• 해석 가능성 부족: 신경망 내부의 의사결정 과정이 불투명하여 오류 원인의 추적과 디버깅이 어렵다. 자율주행의 안전성 검증 및 규제 인증에 있어 중대한 장벽이 된다.
• 대규모 데이터 의존성: 다양한 주행 시나리오를 포괄하는 대규모 학습 데이터가 필요하며, 학습 데이터에 포함되지 않은 희귀 상황(Corner Case)에 대한 일반화 능력이 제한적일 수 있다.
• 분포 이탈(Distribution Shift) 문제: 모방 학습 기반 종단간 시스템은 학습 데이터의 분포를 벗어나는 상황에서 성능이 급격히 저하될 수 있다. 이는 인과적 혼동(Causal Confusion)과 공변량 이동(Covariate Shift)의 형태로 나타난다(de Haan et al., 2019).

3. 두 접근법의 체계적 비교

4. 최근의 융합적 경향

최근의 연구 동향은 두 접근법의 장점을 결합하는 방향으로 발전하고 있다. 이러한 융합적 접근법은 크게 두 가지 방향으로 구분된다.

**첫째, 모듈형 종단간 학습(Modular End-to-End Learning)**이다. 시스템의 전체 구조는 모듈형으로 유지하되, 전체 파이프라인을 미분 가능(Differentiable)하게 설계하여 종단간으로 학습하는 방식이다. UniAD(Hu et al., 2023)가 대표적인 사례로, 인지, 예측, 판단 모듈을 트랜스포머 기반으로 통합하면서도 각 모듈의 해석 가능한 중간 출력을 유지한다.

둘째, 보조 과업(Auxiliary Task)을 활용한 종단간 학습이다. 종단간 학습의 프레임워크 내에서 객체 검출, 의미론적 분할 등의 보조 인지 과업을 동시에 학습하여 해석 가능한 중간 표현을 생성하는 방식이다. 이를 통해 종단간 최적화의 이점을 유지하면서도 일정 수준의 해석 가능성을 확보한다.

이러한 융합적 접근법은 모듈형 접근법의 해석 가능성 및 검증 용이성과 종단간 접근법의 전역 최적화 능력을 동시에 추구하는 것으로, 현재 자율주행 아키텍처 연구의 주요 방향 중 하나이다.

5. 참고 문헌

• Bojarski, M., Del Testa, D., Dworakowski, D., Firner, B., Flepp, B., Goyal, P., … & Zieba, K. (2016). End to end learning for self-driving cars. arXiv preprint arXiv:1604.07316.
• Chen, L., Wu, P., Chitta, K., Jaeger, B., Geiger, A., & Li, H. (2024). End-to-end autonomous driving: Challenges and frontiers. IEEE Transactions on Pattern Analysis and Machine Intelligence, 46(12), 10164–10183.
• de Haan, P., Jayaraman, D., & Levine, S. (2019). Causal confusion in imitation learning. Advances in Neural Information Processing Systems, 32.
• Hu, Y., Yang, J., Chen, L., Li, K., Sima, C., Zhu, X., … & Li, H. (2023). Planning-oriented autonomous driving. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 17853–17862.
• Pomerleau, D. A. (1989). ALVINN: An autonomous land vehicle in a neural network. Advances in Neural Information Processing Systems, 1, 305–313.
• Tampuu, A., Matiisen, T., Semikin, M., Fishman, D., & Muhammad, N. (2022). A survey of end-to-end driving: Architectures and training methods. IEEE Transactions on Neural Networks and Learning Systems, 33(4), 1364–1384.

v1.0