Chapter 74. 가중치 초기화 기법: Xavier(Glorot) 및 He 초기화의 분산 보존 알고리즘

• Chapter 74. 가중치 초기화 기법: Xavier(Glorot) 및 He 초기화의 분산 보존 알고리즘

• 74.1가중치 초기화 기법의 역사적 발전 과정과 연구 동기

• 74.2분산 보존(Variance Preservation)의 수학적 정의와 목적 함수

• 74.3순전파 시 활성화 분산의 층별 전파 조건 유도

• 74.4역전파 시 그래디언트 분산의 층별 전파 조건 유도

• 74.5팬-인(Fan-in)과 팬-아웃(Fan-out)의 구조적 정의

• 74.6Xavier 초기화의 원논문 가정: 선형 활성화 함수 전제

• 74.7Xavier 균등 분포 초기화의 수학적 유도 과정

• 74.8Xavier 정규 분포 초기화의 분산 조건 도출

• 74.9Xavier 초기화의 순전파 분산 보존 증명

• 74.10Xavier 초기화의 역전파 그래디언트 분산 보존 증명

• 74.11순전파와 역전파의 분산 조건 절충: 조화 평균 기반 통합 분산

• 74.12Glorot 초기화와 Xavier 초기화의 명칭 유래와 동일성 확인

• 74.13Xavier 초기화의 시그모이드 및 Tanh 활성화에 대한 적합성 분석

• 74.14Xavier 초기화의 ReLU 활성화 함수 적용 시 한계와 분산 붕괴 현상

• 74.15He 초기화의 연구 배경: ReLU의 비대칭 출력 분포 문제

• 74.16ReLU 활성화 함수의 출력 기댓값과 분산에 대한 통계적 분석

• 74.17He 초기화의 순전파 분산 보존 조건 수학적 유도

• 74.18He 초기화의 역전파 그래디언트 분산 보존 조건 수학적 유도

• 74.19He 정규 분포 초기화의 분산 파라미터 결정

• 74.20He 균등 분포 초기화의 범위 파라미터 결정

• 74.21He 초기화와 Xavier 초기화의 분산 계수 비교(계수 2의 기원)

• 74.22Leaky ReLU에 대한 He 초기화 일반화: 기울기 파라미터 반영

• 74.23PReLU(Parametric ReLU)에 대한 적응형 초기화 분산 유도

• 74.24MSRA 초기화와 He 초기화의 명칭 관계 및 동일성 검증

• 74.25깊은 잔차 네트워크(ResNet)에서의 He 초기화 효과 분석

• 74.26스킵 연결(Skip Connection)이 초기화 분산 조건에 미치는 영향

• 74.27합성곱 신경망(CNN)에서의 팬-인 계산과 초기화 적용

• 74.28다차원 텐서 가중치에 대한 분산 보존 조건의 일반화

• 74.29Xavier 및 He 초기화의 배치 정규화 결합 시 효과 분석

• 74.30층 깊이(Depth)에 따른 Xavier 및 He 초기화의 신호 전파 실험적 비교

• 74.31초기화 기법 선택 기준: 활성화 함수, 네트워크 깊이, 정규화 방식의 연관 관계

• 74.32최신 초기화 연구 동향: Fixup, ZerO, 데이터 적응형 초기화 개요