Chapter 13. 역전파 알고리즘과 경사 하강법

• Chapter 13. 역전파 알고리즘과 경사 하강법

• 13.1경사 하강법(Gradient Descent)의 기본 원리

• 13.2손실 함수의 기울기와 최적화 방향

• 13.3연쇄 법칙(Chain Rule)과 계산 그래프

• 13.4역전파(Backpropagation) 알고리즘의 유도

• 13.5확률적 경사 하강법(Stochastic Gradient Descent)

• 13.6미니배치 경사 하강법(Mini-Batch Gradient Descent)

• 13.7모멘텀(Momentum) 기법

• 13.8AdaGrad 최적화기

• 13.9RMSProp 최적화기

• 13.10Adam 최적화기

• 13.11학습률 스케줄링(Learning Rate Scheduling)

• 13.12기울기 소실(Vanishing Gradient)과 기울기 폭발(Exploding Gradient)

• 13.13기울기 클리핑(Gradient Clipping)