Chapter 70. 고급 활성화 함수 1: Leaky ReLU와 ELU의 음수 영역 활성화

• Chapter 70. 고급 활성화 함수 1: Leaky ReLU와 ELU의 음수 영역 활성화

• 70.1죽은 뉴런(Dying ReLU) 문제의 구조적 원인 재검토와 음수 영역 활성화의 설계 동기

• 70.2Leaky ReLU의 수학적 정의 및 음수 기울기 계수(α)의 역할과 기울기 보존 원리

• 70.3Leaky ReLU의 도함수 구조와 역전파 과정에서의 전 구간 기울기 전파 보장 증명

• 70.4매개변수적 ReLU(Parametric ReLU, PReLU)의 학습 가능한 음수 기울기 계수 최적화 메커니즘

• 70.5무작위 Leaky ReLU(Randomized Leaky ReLU, RReLU)의 확률적 음수 기울기 표본 추출과 정규화 효과

• 70.6지수 선형 유닛(Exponential Linear Unit, ELU)의 수학적 정의 및 지수 함수 기반 포화 곡선 설계

• 70.7ELU의 음수 포화 특성이 뉴런 출력 평균을 영점으로 유도하는 수학적 과정과 학습 수렴 가속

• 70.8Leaky ReLU 계열과 ELU의 연산 복잡도 비교 분석 및 심층 신경망 아키텍처에서의 적용 기준