Chapter 69. ReLU 활성화 함수의 등장과 죽은 뉴런(Dying ReLU) 역학

• Chapter 69. ReLU 활성화 함수의 등장과 죽은 뉴런(Dying ReLU) 역학

• 69.1정류 선형 유닛(Rectified Linear Unit, ReLU)의 수학적 정의와 구간별 선형(Piecewise Linear) 구조 분석

• 69.2ReLU의 비포화(Non-saturating) 특성과 기울기 소실 문제 해결에 대한 수학적 증명

• 69.3ReLU 활성화 함수의 희소 표현(Sparse Representation) 유도 효과와 연산 효율성 분석

• 69.4ReLU 도함수의 불연속점에서의 부분 미분 가능성(Subgradient) 처리 및 역전파 호환성

• 69.5죽은 뉴런(Dying ReLU) 현상의 발생 조건과 음수 입력 영역에서의 영구적 비활성화 메커니즘

• 69.6학습률(Learning Rate) 과대 설정과 가중치 갱신 궤적이 죽은 뉴런 발생 확률에 미치는 영향 분석

• 69.7죽은 뉴런 비율이 신경망 전체 표현 용량(Capacity)과 일반화 성능에 미치는 정량적 영향 평가

• 69.8ReLU의 역사적 기여와 후속 활성화 함수(Leaky ReLU, ELU, GELU) 발전으로의 이론적 연결