Chapter 76. 신경망 정규화 1: 배치 정규화(Batch Normalization)의 동작 원리 Chapter 76. 신경망 정규화 1: 배치 정규화(Batch Normalization)의 동작 원리 76.1배치 정규화(Batch Normalization)의 연구 동기와 역사적 배경 76.2훈련 시 미니 배치 통계량의 역할과 배치 의존적 정규화 개념 76.3배치 정규화의 수학적 정의: 평균과 분산에 의한 정규화 연산 76.4미니 배치 평균(Batch Mean)의 계산과 기대 특성 76.5미니 배치 분산(Batch Variance)의 계산과 편향 보정 76.6정규화된 활성화 값의 표준 정규 분포 사상 과정 76.7수치 안정성을 위한 엡실론(ε) 파라미터의 역할 76.8학습 가능한 스케일 파라미터(γ)의 도입과 역할 76.9학습 가능한 시프트 파라미터(β)의 도입과 항등 변환 복원 능력 76.10아핀 변환(Affine Transformation)에 의한 표현력 보존 증명 76.11배치 정규화의 순전파(Forward Pass) 연산 순서와 계산 그래프 76.12배치 정규화의 역전파(Backward Pass) 그래디언트 유도 76.13γ와 β에 대한 편미분 계산 과정 76.14정규화된 입력에 대한 편미분 체인 규칙 적용 76.15배치 분산에 대한 편미분의 수학적 유도 76.16배치 평균에 대한 편미분의 수학적 유도 76.17입력 활성화에 대한 최종 그래디언트 합성 과정 76.18배치 정규화의 적용 위치: 선형 변환 후 활성화 함수 전 배치 76.19사전 활성화(Pre-activation) 정규화와 사후 활성화(Post-activation) 정규화 비교 76.20합성곱 신경망(CNN)에서의 배치 정규화 적용: 채널별 정규화 76.21완전 연결 층(Fully Connected Layer)에서의 배치 정규화 적용 76.22훈련 단계와 추론 단계에서의 동작 차이 76.23이동 평균(Running Mean)과 이동 분산(Running Variance)의 추적 메커니즘 76.24지수 이동 평균(Exponential Moving Average)에 의한 모집단 통계 추정 76.25추론 시 고정 통계량을 이용한 결정론적 정규화 연산 76.26배치 정규화의 정규화(Regularization) 효과와 드롭아웃 대체 가능성 76.27배치 정규화가 학습률 크기에 대한 견고성을 부여하는 메커니즘 76.28배치 정규화와 손실 지형(Loss Landscape) 평활화의 관계 76.29소규모 배치(Small Batch)에서의 배치 정규화 불안정성 분석 76.30배치 크기 변동에 따른 정규화 통계량의 편향과 분산 트레이드오프 76.31배치 정규화의 분산 훈련(Distributed Training) 시 동기화 문제 76.32동기화 배치 정규화(Synchronized Batch Normalization)의 구현 원리 76.33순환 신경망(RNN)에서의 배치 정규화 적용의 구조적 제약 76.34생성적 적대 신경망(GAN)에서의 배치 정규화 역할과 한계 76.35배치 정규화의 한계 종합과 대안적 정규화 기법으로의 발전 방향