Chapter 42. 확률 분포 간의 거리: 쿨백-라이블러 발산(KL Divergence) 증명 Chapter 42. 확률 분포 간의 거리: 쿨백-라이블러 발산(KL Divergence) 증명 42.1확률 분포 간 거리(Distance) 측정의 필요성과 동기 42.2거리 함수(Metric)의 공리적 정의와 확률 분포에의 적용 한계 42.3발산(Divergence)의 정의와 거리 측도(Metric)와의 차이 42.4쿨백-라이블러 발산(KL Divergence)의 형식적 정의 42.5이산 확률 분포에 대한 KL 발산의 계산 절차 42.6연속 확률 분포에 대한 KL 발산의 적분 형태 42.7KL 발산의 비음수성 증명: 깁스 부등식(Gibbs’ Inequality) 42.8옌센 부등식(Jensen’s Inequality)을 이용한 KL 발산의 비음수성 대안 증명 42.9KL 발산의 비대칭성(Asymmetry): D_KL(P‖Q) ≠ D_KL(Q‖P) 42.10순방향 KL 발산(Forward KL)의 정의와 최적화 시의 행동 특성 42.11역방향 KL 발산(Reverse KL)의 정의와 최적화 시의 행동 특성 42.12순방향 KL과 역방향 KL의 모드 탐색(Mode-Seeking) 대 평균 탐색(Mean-Seeking) 42.13KL 발산과 교차 엔트로피(Cross-Entropy)의 수학적 관계 42.14KL 발산의 최소화와 최대 우도 추정(MLE)의 동치성 증명 42.15KL 발산과 상호 정보량(Mutual Information)의 관계 42.16조건부 KL 발산(Conditional KL Divergence)의 정의와 성질 42.17KL 발산의 연쇄 법칙(Chain Rule) 증명 42.18KL 발산의 결합 볼록성(Joint Convexity) 증명 42.19지수족(Exponential Family) 분포 간의 KL 발산 폐쇄형 유도 42.20두 가우시안 분포 간 KL 발산의 폐쇄형 계산 42.21두 다항 분포 간 KL 발산의 계산 42.22제곱 헬링거 거리(Squared Hellinger Distance)의 정의와 성질 42.23헬링거 거리와 KL 발산의 부등식 관계 42.24총 변동 거리(Total Variation Distance)의 정의와 핀스커 부등식 42.25르니 발산(Rényi Divergence)의 정의와 KL 발산과의 관계 42.26f-발산(f-Divergence)의 일반적 정의와 통합적 프레임워크 42.27f-발산의 특수 경우: KL 발산, 역 KL, 카이제곱, 헬링거 42.28젠슨-섀넌 발산(Jensen-Shannon Divergence)의 정의와 대칭성 42.29젠슨-섀넌 발산의 제곱근과 거리 측도의 성립 증명 42.30와서스타인 거리(Wasserstein Distance)의 정의와 최적 운송 문제 42.31와서스타인 거리와 KL 발산의 위상적 차이 분석 42.32최대 평균 불일치(MMD)의 정의와 커널 기반 분포 비교 42.33변분 추론(Variational Inference)에서의 KL 발산 최소화 42.34증거 하한(ELBO)의 유도와 KL 발산의 역할 42.35변분 오토인코더(VAE)의 손실 함수에서의 KL 발산 정규화 42.36생성적 적대 신경망(GAN)에서의 발산 기반 목적 함수 분석 42.37정책 최적화(Policy Optimization)에서의 KL 발산 제약: TRPO와 PPO 42.38확률 분포 간 거리 측도의 선택이 모델 학습에 미치는 영향 비교