Chapter 12. 활성화 함수와 손실 함수

활성화 함수(activation function)와 손실 함수(loss function)는 인공 신경망의 학술적 정의에서 핵심적 역할을 수행하는 두 함수이다. 활성화 함수는 신경망의 비선형성과 표현력을 결정하며, 손실 함수는 학습의 목적과 최적화의 대상으로 정의된다. 이 장에서는 두 함수의 학술적 정의, 종류, 적용 방법, 출력층의 활성화와 손실 함수의 결합을 학습 순서에 따라 다룬다.

1. 학습 목표

• 활성화 함수의 학술적 역할과 주요 종류를 이해한다.
• 시그모이드, 쌍곡 탄젠트, ReLU와 그 변형의 수학적 정의와 그 학술적 특성을 이해한다.
• 소프트맥스 함수와 다중 분류와의 결합을 학습한다.
• 회귀와 분류에 사용되는 손실 함수의 학술적 정의를 학습한다.
• 활성화 함수와 손실 함수의 결합과 그 수치적 안정성을 학습한다.

2. 학습 순서

이 장은 활성화 함수의 학술적 역할과 그 종류에서 출발하여, 출력층의 소프트맥스 함수, 회귀와 분류 손실 함수, 손실 함수의 결합으로 점진적으로 전개된다. 학습자는 이 장을 통하여 신경망의 정의에서 활성화와 손실 함수의 학술적 의의를 종합적으로 이해하게 된다.

3. 출처 및 버전 정보

• Goodfellow, I., Bengio, Y., Courville, A., Deep Learning, MIT Press, 2016
• Bishop, C. M., Pattern Recognition and Machine Learning, Springer, 2006
• Glorot, X., Bordes, A., Bengio, Y., Deep Sparse Rectifier Neural Networks, International Conference on Artificial Intelligence and Statistics, 2011
• Murphy, K. P., Probabilistic Machine Learning: An Introduction, MIT Press, 2022