Chapter 62. 옵티마이저의 진화 1: 모멘텀(Momentum) 기법의 물리적 관성 비유 Chapter 62. 옵티마이저의 진화 1: 모멘텀(Momentum) 기법의 물리적 관성 비유 62.1바닐라 SGD의 최적화 한계: 진동 현상과 느린 수렴 62.2물리학의 관성 법칙과 경사하강법의 유비적 대응 62.3고전 역학에서의 속도, 가속도, 마찰력 개념 재해석 62.4모멘텀(Momentum) 기법의 수학적 정의와 갱신 규칙 62.5속도 벡터(Velocity Vector)의 도입과 기울기 누적 메커니즘 62.6모멘텀 계수(β)의 역할과 지수 가중 이동 평균(EWMA) 구조 62.7지수 가중 이동 평균의 수학적 성질과 유효 윈도우 크기 분석 62.8모멘텀에 의한 진동 감쇄의 기하학적 시각화 62.9좁고 긴 계곡(Narrow Valley) 지형에서의 모멘텀 가속 효과 62.10모멘텀의 등방성 방향 기울기 상쇄와 주요 방향 강화 원리 62.11모멘텀 SGD의 수렴 속도 분석: 바닐라 SGD와의 수학적 비교 62.12이차 함수(Quadratic Function)에서의 모멘텀 최적 설정 유도 62.13모멘텀 계수(β) 값에 따른 학습 동역학 변화 분석 62.14과도한 모멘텀에 의한 오버슈팅(Overshooting) 현상과 발산 조건 62.15모멘텀과 학습률(Learning Rate)의 상호 작용과 동시 튜닝 전략 62.16중모멘텀(Heavy Ball) 방법과 폴략(Polyak) 모멘텀의 역사적 기원 62.17폴략 모멘텀의 수렴 정리와 최적 하이퍼파라미터 이론적 도출 62.18안장점(Saddle Point) 탈출에서의 모멘텀 역할과 탈출 동역학 62.19비볼록 지형에서의 모멘텀과 확률적 노이즈의 협력적 탐색 62.20모멘텀의 암묵적 정규화 효과와 일반화 성능에 대한 영향 62.21편향 보정(Bias Correction)의 필요성과 초기 학습 단계 불안정성 62.22모멘텀 기반 SGD의 미니 배치 크기 민감도 분석 62.23클래식 모멘텀과 네스테로프 모멘텀의 구조적 차이 예비 비교 62.24모멘텀의 연속 시간(Continuous-Time) 미분 방정식 해석 62.25감쇠 진동자(Damped Oscillator) 모형과 모멘텀 동역학의 대응 62.26모멘텀 기법의 분산 학습 환경에서의 동기화 문제 62.27모멘텀 SGD의 메모리 오버헤드와 연산 비용 분석 62.28적응형 옵티마이저(Adam 등)와의 성능 특성 예비 비교 62.29대규모 딥러닝 모델 학습에서의 모멘텀 실무적 설정 가이드라인 62.30모멘텀 기법의 이론적 한계와 후속 옵티마이저 발전의 동기