Chapter 41. 정보량(Surprisal)과 섀넌 엔트로피(Shannon Entropy) 계산 Chapter 41. 정보량(Surprisal)과 섀넌 엔트로피(Shannon Entropy) 계산 41.1정보 이론(Information Theory)의 기원과 통신 시스템에서의 동기 41.2사건의 불확실성(Uncertainty)과 정보의 직관적 정의 41.3정보량(Information Content)의 공리적 요구 조건 41.4자기 정보(Self-Information)의 형식적 정의: I(x) = −log P(x) 41.5놀라움(Surprisal)의 직관적 해석과 확률과의 역관계 41.6로그 밑(Base)의 선택과 정보 단위: 비트(Bit), 냇(Nat), 하틀리(Hartley) 41.7섀넌 엔트로피(Shannon Entropy)의 형식적 정의: H(X) = −Σ P(x) log P(x) 41.8엔트로피의 직관적 해석: 확률 분포의 평균 불확실성 41.9이산 확률 분포에 대한 엔트로피 계산 절차 41.10이진 엔트로피 함수(Binary Entropy Function)의 정의와 성질 41.11엔트로피의 비음수성 증명: H(X) ≥ 0 41.12엔트로피의 최대값 정리: 균일 분포에서의 최대 엔트로피 증명 41.13엔트로피의 오목성(Concavity) 증명과 분포 혼합 시의 성질 41.14결합 엔트로피(Joint Entropy)의 정의와 계산 41.15결합 엔트로피와 개별 엔트로피 간의 부등식 관계 41.16조건부 엔트로피(Conditional Entropy)의 정의와 계산 41.17엔트로피의 연쇄 법칙(Chain Rule of Entropy) 증명 41.18조건부 엔트로피의 비증가 성질: 조건화에 의한 불확실성 감소 41.19상호 정보량(Mutual Information)의 정의: I(X;Y) = H(X) − H(X|Y) 41.20상호 정보량의 대칭성과 비음수성 증명 41.21상호 정보량의 벤 다이어그램 해석 41.22상호 정보량과 독립성의 관계: I(X;Y) = 0의 동치 조건 41.23연속 확률 변수의 미분 엔트로피(Differential Entropy)의 정의 41.24가우시안 분포의 미분 엔트로피 계산과 최대 엔트로피 성질 41.25미분 엔트로피와 이산 엔트로피의 차이와 부호 문제 41.26교차 엔트로피(Cross-Entropy)의 정의: H(P, Q) = −Σ P(x) log Q(x) 41.27교차 엔트로피와 엔트로피의 관계: H(P, Q) ≥ H(P) 증명 41.28교차 엔트로피 손실 함수의 기계 학습에서의 역할 41.29이진 교차 엔트로피(Binary Cross-Entropy)의 유도와 로지스틱 회귀의 연결 41.30다중 클래스 교차 엔트로피 손실의 소프트맥스 출력과의 관계 41.31퍼플렉시티(Perplexity)의 정의와 언어 모델 평가 지표로서의 해석 41.32최대 엔트로피 원리(Maximum Entropy Principle)의 정의와 라그랑주 유도 41.33최대 엔트로피 모델과 지수족 분포의 관계 41.34정보 이득(Information Gain)의 정의와 의사결정 나무에서의 적용 41.35엔트로피 부호화(Entropy Coding)의 기초: 허프만 부호와 산술 부호 41.36소스 부호화 정리(Source Coding Theorem)의 진술과 엔트로피의 하한 의미 41.37에너지 기반 모델(Energy-Based Model)에서의 엔트로피 해석 41.38정보 이론적 관점에서의 딥러닝 학습 과정 분석과 정보 병목 원리