Chapter 75. 내부 공변량 변화(Internal Covariate Shift) 문제 분석 Chapter 75. 내부 공변량 변화(Internal Covariate Shift) 문제 분석 75.1내부 공변량 변화(Internal Covariate Shift)의 정의와 개념적 기원 75.2공변량 변화(Covariate Shift)의 통계학적 정의와 분포 이동 이론 75.3외부 공변량 변화와 내부 공변량 변화의 구분 및 비교 75.4심층 신경망에서의 층별 입력 분포 변동 메커니즘 75.5순전파 과정에서의 파라미터 갱신과 후속 층 입력 분포 변화의 연쇄 효과 75.6역전파 과정에서의 내부 공변량 변화가 그래디언트에 미치는 영향 75.7내부 공변량 변화에 의한 학습률 제약과 수렴 속도 저하 분석 75.8내부 공변량 변화와 활성화 함수 포화(Saturation) 영역 진입의 관계 75.9시그모이드 및 Tanh 활성화에서의 포화 유도 메커니즘 75.10깊은 신경망에서의 층 깊이와 분포 이동 누적 효과 75.11미니 배치(Mini-batch) 훈련에서의 배치 간 통계량 변동 분석 75.12내부 공변량 변화의 수학적 형식화: 조건부 분포의 비정상성 75.13KL 발산(Kullback-Leibler Divergence)을 이용한 분포 이동 정량화 75.14와서스타인 거리(Wasserstein Distance)에 의한 분포 이동 측정 75.15내부 공변량 변화 가설에 대한 Ioffe-Szegedy(2015) 원논문 분석 75.16배치 정규화(Batch Normalization) 제안의 동기와 ICS 가설의 역할 75.17배치 정규화에 의한 내부 공변량 변화 완화의 실험적 증거 75.18Santurkar et al.(2018)의 반론: 배치 정규화의 실제 작동 원리 재분석 75.19손실 지형(Loss Landscape) 평활화 가설과 내부 공변량 변화 가설의 대립 75.20립시츠 연속성(Lipschitz Continuity)과 손실 함수 안정성의 관계 75.21배치 정규화 없이도 깊은 네트워크를 훈련할 수 있는 대안적 설명 75.22내부 공변량 변화 완화를 위한 화이트닝(Whitening) 변환의 이론적 기초 75.23자연 경사법(Natural Gradient)과 피셔 정보 행렬(Fisher Information Matrix)의 연관 75.24내부 공변량 변화와 학습률 스케줄링 전략의 상관관계 75.25가중치 정규화(Weight Normalization)에 의한 내부 공변량 변화 경감 75.26스펙트럴 정규화(Spectral Normalization)와 분포 안정화 75.27잔차 연결(Residual Connection)이 내부 공변량 변화에 미치는 구조적 영향 75.28사전 정규화(Pre-Normalization) 아키텍처와 분포 안정성 개선 75.29트랜스포머 아키텍처에서의 내부 공변량 변화 문제와 정규화 전략 75.30내부 공변량 변화 이론의 현재 학술적 합의와 미해결 쟁점 정리