Part 2. 심층 학습 기초

심층 학습(deep learning)은 인공 신경망의 층(layer)을 깊이 쌓아 데이터로부터 다층의 표현(representation)을 학습하는 기계 학습의 하위 분야이다. 자율주행 시스템의 인지, 예측, 의사 결정 모듈은 심층 학습에 기반하여 구현되는 사례가 많아졌으며, 그 학술적 기초의 이해는 자율주행 시스템의 설계와 검증에 필수적이다. 이 부에서는 심층 학습의 학술적 기초를 학습 순서에 따라 다룬다.

1. 학습 목표

• 인공 신경망의 수학적 기초와 학습 원리를 이해한다.
• 손실 함수, 최적화 알고리즘, 정칙화의 학술적 정의와 적용을 학습한다.
• 합성곱 신경망과 순환 신경망의 구조와 그 학술적 동기를 학습한다.
• 일반화 이론, 이중 강하(double descent), 표현 학습의 학술적 원리를 이해한다.
• 자율주행 영역에서의 심층 학습 적용에 필요한 기초적 어휘를 갖춘다.

2. 학습 순서

이 부는 일반적인 인공 신경망의 정의와 학습 원리에서 출발하여, 손실 함수와 최적화, 정칙화, 일반화 이론, 표현 학습, 그리고 자율주행과 관련된 응용으로 점진적으로 전개된다. 학습자는 이 부의 내용을 통하여 후속 부에서 다루는 트랜스포머, 컴퓨터 비전, 생성 모델, 대규모 언어 모델, 강화 학습의 학술적 기초를 갖추게 된다.

3. 출처 및 버전 정보

• Goodfellow, I., Bengio, Y., Courville, A., Deep Learning, MIT Press, 2016
• Bishop, C. M., Pattern Recognition and Machine Learning, Springer, 2006
• Murphy, K. P., Probabilistic Machine Learning: An Introduction, MIT Press, 2022
• LeCun, Y., Bengio, Y., Hinton, G., Deep learning, Nature, 2015
• Schmidhuber, J., Deep learning in neural networks: An overview, Neural Networks, 2015