Chapter 44. 비볼록(Non-convex) 최적화 문제와 안장점(Saddle Point) 분석

• Chapter 44. 비볼록(Non-convex) 최적화 문제와 안장점(Saddle Point) 분석

• 44.1비볼록 최적화 문제의 정의와 볼록 최적화와의 본질적 차이

• 44.2비볼록 함수의 수학적 특성과 다중 극값 구조

• 44.3지역 최솟값(Local Minimum)과 전역 최솟값(Global Minimum)의 위상적 분포

• 44.4안장점(Saddle Point)의 수학적 정의와 기하학적 구조

• 44.5헤시안(Hessian) 행렬의 부정부호(Indefinite) 판정과 안장점 식별

• 44.6고차원 공간에서 안장점의 빈도와 지역 최솟값 대비 지배성 분석

• 44.7손실 곡면(Loss Surface)의 지형학적 특성과 에너지 경관(Energy Landscape)

• 44.8신경망 손실 함수의 비볼록성: 가중치 공간의 대칭성과 동치류(Equivalence Class)

• 44.9과잉 매개변수화(Over-parameterization)와 넓은 극솟값(Wide Minima)의 관계

• 44.10경사 하강법(Gradient Descent)의 비볼록 수렴 분석과 정류점(Stationary Point) 수렴

• 44.11확률적 경사 하강법(SGD)의 탈출 메커니즘과 미니배치 노이즈의 역할

• 44.12학습률(Learning Rate)과 비볼록 경관 탐색 범위의 상관관계

• 44.13학습률 스케줄링 전략: 단계적 감쇠, 코사인 어닐링, 웜업(Warmup)

• 44.14모멘텀(Momentum) 기법과 관성을 이용한 안장점 탈출 가속

• 44.15네스테로프 가속 경사법(Nesterov Accelerated Gradient)의 예측 보정 원리

• 44.16적응적 학습률 알고리즘: AdaGrad의 누적 기울기 스케일링

• 44.17RMSProp의 지수 이동 평균 기반 학습률 조정

• 44.18Adam 최적화기의 1차 및 2차 모멘트 추정과 편향 보정(Bias Correction)

• 44.19AdamW와 가중치 감쇠(Weight Decay)의 디커플링(Decoupled) 정규화

• 44.20LAMB 및 LARS: 대규모 배치 훈련을 위한 계층별 적응적 학습률

• 44.21안장점 주변에서의 경사 기반 방법의 수렴 속도 분석

• 44.22헤시안-벡터 곱(Hessian-Vector Product)을 이용한 곡률 활용 최적화

• 44.23뉴턴법(Newton’s Method)의 2차 수렴과 비볼록 문제에서의 한계

• 44.24준뉴턴법(Quasi-Newton Method): L-BFGS의 근사 헤시안 갱신

• 44.25자연 경사법(Natural Gradient)과 피셔 정보 행렬(Fisher Information Matrix)

• 44.26노이즈 주입(Noise Injection)과 확률적 섭동을 통한 안장점 회피

• 44.27시뮬레이티드 어닐링(Simulated Annealing)과 메트로폴리스-헤이스팅스 샘플링

• 44.28란제반 역학(Langevin Dynamics) 기반 확률적 최적화

• 44.29비볼록 문제의 볼록 완화(Convex Relaxation)와 반정부호 완화(SDP Relaxation)

• 44.30교대 최소화(Alternating Minimization)와 블록 좌표 하강법(Block Coordinate Descent)

• 44.31ADMM(교대 방향 승수법)을 통한 비볼록 분해 최적화

• 44.32스펙트럼 방법(Spectral Method)과 비볼록 초기화(Initialization) 전략

• 44.33모드 연결(Mode Connectivity)과 손실 곡면 경로 연결성(Path Connectivity)

• 44.34평탄한 극솟값(Flat Minima)과 일반화 성능(Generalization) 간의 상관관계

• 44.35PAC-Bayes 관점에서의 평탄도와 일반화 경계(Generalization Bound)

• 44.36섭동 기반 선예도 인식 최적화(Sharpness-Aware Minimization, SAM)

• 44.37배치 정규화(Batch Normalization)가 손실 경관 평활화에 미치는 효과

• 44.38스킵 연결(Skip Connection)에 의한 손실 곡면 비볼록성 완화 분석

• 44.39비볼록 최적화의 계산 복잡도 이론: NP-경도와 근사 알고리즘

• 44.40딥러닝 훈련의 비볼록 최적화 실전 전략 종합과 향후 전망