Chapter 57. 회귀 모델 손실 함수 2: Huber Loss의 수학적 정의와 로버스트 최적화

• Chapter 57. 회귀 모델 손실 함수 2: Huber Loss의 수학적 정의와 로버스트 최적화

• 57.1로버스트 통계학(Robust Statistics)의 개념과 필요성

• 57.2이상값(Outlier)이 최소제곱법에 미치는 영향 분석

• 57.3MSE와 MAE의 한계: 로버스트-효율성 트레이드오프

• 57.4피터 후버(Peter Huber)의 로버스트 추정 이론과 역사적 배경

• 57.5Huber Loss 함수의 공식적 수학적 정의

• 57.6임계값 δ(델타) 파라미터의 역할과 의미

• 57.7Huber Loss의 구간별 해석: 2차 영역과 1차 영역의 전환

• 57.8Huber Loss 함수의 연속성(Continuity) 증명

• 57.9Huber Loss 함수의 1차 미분 가능성(Differentiability) 증명

• 57.10Huber Loss의 그래디언트 구조: 구간별 도함수 유도

• 57.11MSE 영역에서의 그래디언트 행동: 소규모 오차의 정밀 보정

• 57.12MAE 영역에서의 그래디언트 행동: 대규모 오차의 선형 페널티

• 57.13Huber Loss의 볼록성(Convexity) 증명과 최적화 안정성

• 57.14Huber Loss의 리프시츠 연속(Lipschitz Continuous) 그래디언트 성질

• 57.15M-추정량(M-estimator)으로서의 Huber Loss 이론적 정립

• 57.16영향 함수(Influence Function)를 통한 Huber Loss의 로버스트성 분석

• 57.17붕괴점(Breakdown Point) 개념과 Huber Loss의 내성 한계

• 57.18δ 파라미터의 최적 선택: 잔차 분포 기반 적응형 설정 전략

• 57.19Huber Loss와 최대우도추정의 관계: 혼합 분포 모델 해석

• 57.20Pseudo-Huber Loss 함수의 정의와 매끄러운 근사 특성

• 57.21Pseudo-Huber Loss의 무한 미분 가능성 증명

• 57.22로그-코시(Log-Cosh) 손실과 Huber Loss의 수학적 비교

• 57.23양자화 회귀(Quantile Regression)와 Huber Loss의 연결

• 57.24비대칭 Huber Loss의 정의와 편향 추정 응용

• 57.25신경망 학습에서 Huber Loss 적용 시의 수렴 특성 분석

• 57.26Huber Loss의 배치 정규화 및 학습률 스케줄링과의 상호작용

• 57.27다중 작업 학습(Multi-Task Learning)에서의 Huber Loss 확장

• 57.28Smooth L1 Loss와 Huber Loss의 등가성 증명

• 57.29객체 검출(Object Detection) 회귀 분기에서의 Huber Loss 적용

• 57.30Huber Loss의 일반화: Tukey’s Biweight 및 기타 로버스트 손실 함수 비교