Chapter 73. 신경망 초기화 문제와 대칭성 깨기(Symmetry Breaking) 현상 Chapter 73. 신경망 초기화 문제와 대칭성 깨기(Symmetry Breaking) 현상 73.1가중치 초기화의 중요성과 학습 성능에 미치는 영향 개요 73.2영 초기화(Zero Initialization)의 문제점과 경사 소실 현상 73.3대칭성(Symmetry)의 수학적 정의와 신경망에서의 의미 73.4은닉층 뉴런 간 대칭성의 형성 조건과 구조적 원인 73.5대칭 가중치 행렬의 경사 동일성 증명: 야코비안 분석 73.6대칭성 하에서의 학습 정체(Learning Stagnation) 현상과 수렴 실패 73.7대칭성 깨기(Symmetry Breaking)의 필요충분조건 73.8무작위 초기화(Random Initialization)에 의한 대칭성 파괴 메커니즘 73.9균등 분포 초기화와 정규 분포 초기화의 확률론적 비교 73.10초기 가중치 분산과 활성화 값 분포의 층별 전파 분석 73.11순전파 시 활성화 분산의 층별 축소 및 폭발 현상 73.12역전파 시 그래디언트 분산의 층별 감쇠 및 발산 현상 73.13분산 보존(Variance Preservation) 조건의 수학적 도출 73.14팬-인(Fan-in)과 팬-아웃(Fan-out)의 정의와 분산 전파에서의 역할 73.15깊은 신경망에서의 신호 전파(Signal Propagation) 이론 73.16평균장 이론(Mean Field Theory)을 활용한 초기화 분석 프레임워크 73.17임계 초기화(Critical Initialization)와 질서-혼돈 경계(Edge of Chaos) 73.18활성화 함수별 초기화 요구사항의 차이: 시그모이드, Tanh, ReLU 73.19초기화 실패에 의한 기울기 소실(Vanishing Gradient) 메커니즘 73.20초기화 실패에 의한 기울기 폭발(Exploding Gradient) 메커니즘 73.21포화 뉴런(Saturated Neuron) 문제와 초기 활성화 분포의 관계 73.22죽은 뉴런(Dead Neuron) 발생과 초기 가중치 규모의 상관관계 73.23상수 초기화의 한계와 대칭성 보존에 관한 정리 73.24희소 초기화(Sparse Initialization)의 원리와 적용 조건 73.25직교 초기화(Orthogonal Initialization)의 특이값 보존 특성 73.26직교 행렬의 등거리 사상(Isometry) 성질과 신호 보존 증명 73.27순환 신경망(RNN)에서의 초기화 문제와 시간적 대칭성 분석 73.28잔차 네트워크(ResNet)의 초기화 전략과 스킵 연결의 영향 73.29배치 정규화와 초기화 민감도 완화의 이론적 관계 73.30LSUV(Layer-sequential Unit-variance) 초기화 알고리즘의 원리 73.31데이터 의존적 초기화(Data-dependent Initialization) 기법 개요 73.32초기화 전략의 수렴 속도에 대한 이론적 분석과 실험적 검증