Chapter 86. 잔차 연결의 그래디언트 흐름 증명과 암묵적 앙상블 효과 Chapter 86. 잔차 연결의 그래디언트 흐름 증명과 암묵적 앙상블 효과 86.1잔차 연결(Residual Connection)의 수학적 재정의 86.2잔차 블록의 순전파 출력 함수: y = F(x) + x 86.3다층 잔차 네트워크의 재귀적 전개와 누적 표현 86.4L번째 계층 출력의 0번째 계층 입력에 대한 일반 전개식 86.5역전파에서의 연쇄 법칙(Chain Rule) 적용과 그래디언트 분해 86.6잔차 연결이 없는 일반 심층 신경망의 그래디언트 곱 구조 86.7그래디언트 곱 구조에서 발생하는 기울기 소실의 수학적 원인 86.8그래디언트 곱 구조에서 발생하는 기울기 폭발의 수학적 원인 86.9잔차 연결에 의한 그래디언트의 덧셈 구조(Additive Structure) 형성 86.10덧셈 구조의 그래디언트가 소실을 방지하는 메커니즘 증명 86.11항등 경로(Identity Path)를 통한 직접 그래디언트 전달과 최소 크기 보장 86.12야코비안 행렬(Jacobian Matrix) 관점에서의 잔차 연결 분석 86.13손실 함수의 헤시안(Hessian) 행렬과 잔차 연결의 곡률 완화 효과 86.14잔차 네트워크의 손실 지형(Loss Landscape) 시각화와 평활화 증거 86.15평활한 손실 지형이 최적화 수렴에 미치는 영향 86.16경로 관점(Path Perspective)에서의 잔차 네트워크 해석 86.17n개 잔차 블록이 생성하는 2^n개 경로의 조합론적 증명 86.18데이터 흐름 경로의 길이 분포와 이항 분포(Binomial Distribution) 86.19유효 경로(Effective Path)의 개념과 기여도 분석 86.20짧은 경로와 긴 경로의 그래디언트 기여도 비교 86.21암묵적 앙상블(Implicit Ensemble) 가설의 정의 86.22앙상블 학습(Ensemble Learning)의 일반 이론과 편향-분산 분해 86.23잔차 네트워크와 명시적 앙상블의 구조적 유사성 분석 86.24경로 제거 실험(Path Dropping Experiments)에 의한 앙상블 효과 검증 86.25단일 경로 제거 시 성능 변화의 점진적 열화(Graceful Degradation) 현상 86.26확률적 깊이(Stochastic Depth)와 암묵적 앙상블의 연관성 86.27드롭아웃(Dropout)과 잔차 경로 드롭의 이론적 등가성 분석 86.28사전 활성화(Pre-activation) 구조에서의 그래디언트 흐름 최적화 86.29배치 정규화(Batch Normalization) 배치 위치에 따른 그래디언트 흐름 변화 86.30잔차 연결 그래디언트 이론의 트랜스포머 아키텍처로의 확장과 일반화