Volume 1. 기초 이론

자율주행(Autonomous Driving) 시스템은 인지(Perception), 판단(Planning), 제어(Control)로 구성되는 복합적인 소프트웨어-하드웨어 통합 체계이다. 이 시스템의 각 구성 요소는 심층 학습(Deep Learning), 컴퓨터 비전(Computer Vision), 강화 학습(Reinforcement Learning) 등 다양한 기계 학습 분야의 이론적 기반 위에 설계되며, 최근에는 트랜스포머(Transformer) 아키텍처와 대규모 언어 모델(Large Language Model, LLM), 생성 모델(Generative Model)의 발전이 자율주행 기술의 패러다임을 근본적으로 변화시키고 있다.

본 Volume에서는 Alpamayo 자율주행 시스템의 핵심 아키텍처와 학습 파이프라인을 이해하기 위해 필수적으로 선행되어야 하는 기초 이론을 체계적으로 다룬다. 학습 순서는 기본 개념에서 고급 개념으로 점진적으로 전개되며, 각 Part는 후속 Part의 이론적 토대가 되도록 구성하였다.

1. 구성 개요

Part 1. 자율주행 개론에서는 자율주행의 정의, SAE(Society of Automotive Engineers) 자율주행 수준 분류 체계, 자율주행 시스템의 전체 구조 및 각 모듈의 역할을 개관한다. 이를 통해 이후 다루게 될 개별 기술들이 전체 시스템 내에서 어떤 위치와 기능을 담당하는지에 대한 거시적 관점을 확보한다.

Part 2. 심층 학습 기초에서는 인공 신경망(Artificial Neural Network)의 기본 구조, 역전파(Backpropagation) 알고리즘, 최적화(Optimization) 기법, 정규화(Regularization) 전략 등 심층 학습의 핵심 원리를 다룬다. 합성곱 신경망(Convolutional Neural Network, CNN)과 순환 신경망(Recurrent Neural Network, RNN)의 기본 아키텍처를 포함하여 후속 Part에서 요구되는 수학적, 알고리즘적 기반을 확립한다.

Part 3. 트랜스포머와 어텐션 메커니즘에서는 자기 어텐션(Self-Attention) 메커니즘의 수학적 정의와 트랜스포머 아키텍처의 구조를 상세히 분석한다. 위치 인코딩(Positional Encoding), 다중 헤드 어텐션(Multi-Head Attention), 인코더-디코더(Encoder-Decoder) 구조 등 트랜스포머의 핵심 구성 요소를 다루며, 이는 이후 비전 트랜스포머(Vision Transformer, ViT) 및 대규모 언어 모델 학습의 이론적 기초가 된다.

Part 4. 컴퓨터 비전 기초에서는 영상 분류(Image Classification), 객체 검출(Object Detection), 의미론적 분할(Semantic Segmentation), 깊이 추정(Depth Estimation) 등 자율주행 인지 모듈의 핵심 과제를 다룬다. 2차원 및 3차원 공간에서의 시각 정보 처리 기법과 카메라, 라이다(LiDAR) 등 센서 데이터 기반의 장면 이해(Scene Understanding) 방법론을 포함한다.

Part 5. 생성 모델 기초에서는 변분 오토인코더(Variational Autoencoder, VAE), 생성적 적대 신경망(Generative Adversarial Network, GAN), 확산 모델(Diffusion Model) 등 주요 생성 모델의 이론적 원리와 구조를 다룬다. 자율주행 분야에서 생성 모델은 합성 데이터 생성, 시뮬레이션 환경 구축, 미래 장면 예측 등에 활용되며, 이에 대한 기초 이론을 확립한다.

Part 6. 대규모 언어 모델 기초에서는 사전 학습(Pre-training)과 미세 조정(Fine-tuning) 패러다임, 문맥 내 학습(In-Context Learning), 프롬프트 엔지니어링(Prompt Engineering) 등 대규모 언어 모델의 핵심 개념을 다룬다. 비전-언어 모델(Vision-Language Model, VLM)의 기초를 포함하여 자율주행 시스템에서의 자연어 기반 추론 및 의사결정 통합에 필요한 이론적 배경을 제공한다.

Part 7. 강화 학습 기초에서는 마르코프 결정 과정(Markov Decision Process, MDP), 가치 함수(Value Function), 정책 경사(Policy Gradient) 등 강화 학습의 기본 프레임워크를 다룬다. 모방 학습(Imitation Learning)과 역강화 학습(Inverse Reinforcement Learning) 등 자율주행 제어 및 계획 수립에 직접적으로 적용되는 학습 방법론의 이론적 기반을 확립한다.

2. 학습 목표

본 Volume의 학습을 완료하면 다음의 역량을 갖추게 된다.

자율주행 시스템의 전체 구조와 각 구성 모듈의 역할을 체계적으로 이해한다.
심층 학습, 트랜스포머, 컴퓨터 비전, 생성 모델, 대규모 언어 모델, 강화 학습의 핵심 이론을 숙지한다.
각 기초 이론이 자율주행 시스템의 어떤 구성 요소에 대응되는지를 파악하여, 후속 Volume에서 다루는 Alpamayo 아키텍처 및 학습 파이프라인의 설계 원리를 이해할 수 있는 이론적 기반을 확보한다.