Chapter 58. 분류 모델 손실 함수: 교차 엔트로피(Cross-Entropy) 유도 Chapter 58. 분류 모델 손실 함수: 교차 엔트로피(Cross-Entropy) 유도 58.1분류 문제의 정의와 확률적 해석 프레임워크 58.2이진 분류(Binary Classification)와 다중 클래스 분류(Multi-class Classification) 구분 58.3원-핫 인코딩(One-Hot Encoding)을 통한 레이블 표현 체계 58.4확률 분포 간 유사도 측정의 필요성 58.5정보 이론(Information Theory)의 기초: 자기 정보량(Self-Information) 58.6엔트로피(Entropy)의 정의와 불확실성 정량화 58.7쿨백-라이블러 발산(Kullback-Leibler Divergence)의 수학적 유도 58.8KL 발산의 비대칭성과 정보 기하학적 해석 58.9교차 엔트로피(Cross-Entropy)의 정의와 KL 발산과의 관계 도출 58.10이진 교차 엔트로피(Binary Cross-Entropy) 손실 함수의 수학적 정의 58.11시그모이드 함수와 이진 교차 엔트로피의 결합 구조 58.12베르누이 분포의 최대 우도 추정(MLE)으로부터의 이진 교차 엔트로피 유도 58.13이진 교차 엔트로피의 경사(Gradient) 계산과 학습 동역학 58.14범주형 교차 엔트로피(Categorical Cross-Entropy) 손실 함수의 일반화 58.15소프트맥스(Softmax) 함수의 정의와 확률 정규화 메커니즘 58.16다항 분포의 최대 우도 추정(MLE)으로부터의 범주형 교차 엔트로피 유도 58.17소프트맥스-교차 엔트로피 결합 경사의 간결한 수학적 증명 58.18수치 안정성(Numerical Stability) 문제: 로그 확률의 언더플로 및 오버플로 58.19로그-합-지수(Log-Sum-Exp) 기법을 통한 수치 안정화 전략 58.20희소 교차 엔트로피(Sparse Categorical Cross-Entropy)의 구현 효율성 58.21가중 교차 엔트로피(Weighted Cross-Entropy)와 클래스 불균형 보정 58.22초점 손실(Focal Loss)의 동기 부여와 교차 엔트로피 변형 설계 58.23레이블 스무딩(Label Smoothing)과 교차 엔트로피의 정규화 효과 58.24교차 엔트로피 손실의 볼록성(Convexity) 분석과 전역 최적해 보장 58.25교차 엔트로피와 힌지 손실(Hinge Loss) 비교: 확률적 모델 대 기하학적 모델 58.26교차 엔트로피와 MSE 손실의 분류 적용 시 학습 속도 차이 분석 58.27다중 레이블 분류(Multi-label Classification)에서의 교차 엔트로피 확장 58.28지식 증류(Knowledge Distillation)에서의 교차 엔트로피 역할과 소프트 타겟 58.29온도 스케일링(Temperature Scaling)을 통한 확률 보정(Calibration) 58.30교차 엔트로피 기반 손실 함수의 대규모 분류 체계 확장과 연산 최적화