Chapter 7. 섀넌의 정보 이론: 불확실성과 엔트로피의 정의

• Chapter 7. 섀넌의 정보 이론: 불확실성과 엔트로피의 정의

• 7.1클로드 섀넌의 학문적 배경과 벨 연구소에서의 연구 맥락

• 7.2통신의 수학적 이론(1948)의 핵심 문제 정의

• 7.3통신 시스템의 일반 모형: 정보원, 부호기, 채널, 복호기, 수신기

• 7.4이산 정보원과 마르코프 연쇄 모형

• 7.5정보의 정량적 정의: 사건의 자기 정보량(Self-Information)

• 7.6정보 엔트로피(Information Entropy)의 수학적 유도

• 7.7엔트로피 함수의 공리적 특성과 유일성 정리

• 7.8이진 엔트로피 함수의 성질과 그래프 분석

• 7.9결합 엔트로피(Joint Entropy)와 조건부 엔트로피(Conditional Entropy)

• 7.10상호 정보량(Mutual Information)의 정의와 해석

• 7.11엔트로피의 연쇄 법칙(Chain Rule)과 부가 분해 성질

• 7.12엔트로피와 열역학 제2법칙의 개념적 대응 관계

• 7.13볼츠만 엔트로피와 섀넌 엔트로피의 비교 분석

• 7.14쿨백-라이블러 발산(Kullback-Leibler Divergence)의 정의

• 7.15쿨백-라이블러 발산의 비부정성 증명과 정보 기하학적 의미

• 7.16교차 엔트로피(Cross-Entropy)의 정의와 최적 부호 연관성

• 7.17교차 엔트로피 손실 함수의 기계 학습에서의 역할

• 7.18최대 엔트로피 원리(Maximum Entropy Principle)의 공리적 기초

• 7.19최대 엔트로피 분포의 유도: 라그랑주 승수법 적용

• 7.20무잡음 부호화 정리(Noiseless Coding Theorem)의 정식화

• 7.21최적 부호의 존재 증명과 섀넌 한계(Shannon Limit)

• 7.22허프만 부호(Huffman Coding)와 최적 접두사 부호의 구성

• 7.23산술 부호화(Arithmetic Coding)의 원리와 엔트로피 근접성

• 7.24잡음 채널 부호화 정리(Noisy Channel Coding Theorem)의 개요

• 7.25채널 용량(Channel Capacity)의 정의와 최대화 조건

• 7.26가우시안 채널과 섀넌-하틀리 정리(Shannon-Hartley Theorem)

• 7.27정보 이론과 확률적 추론의 연결: 베이지안 관점

• 7.28정보 엔트로피의 자연어 처리 응용: 퍼플렉서티(Perplexity)

• 7.29정보 이론적 학습 한계: 데이터 처리 부등식(Data Processing Inequality)

• 7.30인공지능 모델 선택에서의 최소 기술 길이(Minimum Description Length) 원리