Chapter 37. 2차 미분과 곡률: 헤시안(Hessian) 행렬을 통한 지형 분석 Chapter 37. 2차 미분과 곡률: 헤시안(Hessian) 행렬을 통한 지형 분석 37.12차 도함수(Second Derivative)의 정의와 1변수 함수에서의 의미 37.22차 도함수의 기하학적 해석: 볼록성과 오목성의 판별 37.3변곡점(Inflection Point)의 정의와 2차 도함수에 의한 판별 37.42차 미분 판정법(Second Derivative Test)의 1변수 형태와 증명 37.5다변수 함수의 2차 편미분과 혼합 편미분의 구조 37.6헤시안 행렬(Hessian Matrix)의 형식적 정의와 표기법 37.7헤시안 행렬의 대칭성: 슈바르츠 정리(Schwarz’s Theorem)에 의한 보장 37.8헤시안 행렬의 원소 계산과 구성 절차 37.9헤시안 행렬과 2차 테일러 근사(Quadratic Approximation)의 관계 37.102차 형식(Quadratic Form)의 정의와 헤시안 행렬에 의한 표현 37.112차 형식의 부호 분류: 양의 정부호, 음의 정부호, 부정부호 37.12헤시안 행렬의 고유값에 의한 부호 판별법 37.13양의 정부호(Positive Definite) 헤시안과 극소값의 충분 조건 37.14음의 정부호(Negative Definite) 헤시안과 극대값의 충분 조건 37.15부정부호(Indefinite) 헤시안과 안장점(Saddle Point)의 식별 37.16반정부호(Semi-Definite) 헤시안에서의 판정 불능 상황 37.17주소행렬식(Leading Principal Minor)에 의한 양의 정부호 판별 37.18실베스터 기준(Sylvester’s Criterion)의 진술과 적용 37.19곡률(Curvature)의 직관적 정의와 함수 표면의 지형 해석 37.20주곡률(Principal Curvature)과 헤시안 고유값의 관계 37.21가우스 곡률(Gaussian Curvature)과 평균 곡률(Mean Curvature)의 정의 37.22손실 함수 지형(Loss Landscape)의 개념과 시각적 해석 37.23고차원 손실 지형에서의 극소점(Local Minimum)과 전역 극소점(Global Minimum) 37.24안장점(Saddle Point)의 고차원에서의 빈도와 최적화에 미치는 영향 37.25헤시안 행렬의 스펙트럼 분석과 손실 지형의 국소 기하 구조 37.26뉴턴 방법(Newton’s Method)의 원리: 헤시안 역행렬 기반 갱신 37.27뉴턴 방법의 2차 수렴(Quadratic Convergence) 조건과 증명 37.28뉴턴 방법의 한계: 헤시안 계산 비용과 비정부호 문제 37.29준뉴턴 방법(Quasi-Newton Method)의 동기와 기본 구조 37.30BFGS 알고리즘의 헤시안 근사 갱신 공식과 수렴 성질 37.31L-BFGS 알고리즘: 메모리 제한 환경에서의 헤시안 근사 37.32헤시안-벡터 곱(Hessian-Vector Product)의 효율적 계산: 피보 접근법 37.33헤시안의 대각 근사(Diagonal Approximation)와 Adam 최적화기의 연결 37.34헤시안 자유 최적화(Hessian-Free Optimization)와 공액 기울기법 37.35가우스-뉴턴 행렬(Gauss-Newton Matrix)과 헤시안의 근사 관계 37.36헤시안의 고유값 분포와 신경망의 일반화 능력 간의 상관 분석 37.37평탄 극소점(Flat Minima)과 날카로운 극소점(Sharp Minima)의 구분 37.38헤시안 기반 곡률 분석의 한계와 고차원 최적화의 현대적 과제