Part 3. 연결주의의 태동과 딥러닝 기초 최적화

Part 3. 연결주의의 태동과 딥러닝 기초 최적화

Chapter 45. 생물학적 신경망 구조와 뉴런의 정보 처리 메커니즘
Chapter 46. 맥컬럭-피츠(McCulloch-Pitts) 인공 뉴런의 수학적 모델링
Chapter 47. 헵의 학습 법칙(Hebbian Learning)과 시냅스 가소성
Chapter 48. 단층 퍼셉트론(Perceptron) 아키텍처와 초기 학습 알고리즘
Chapter 49. 퍼셉트론의 선형 분리 가능성 및 수학적 한계 증명
Chapter 50. XOR 문제의 기하학적 해석과 다층 신경망의 필요성 대두
Chapter 51. 다층 퍼셉트론(MLP)의 등장과 은닉층(Hidden Layer)의 역할
Chapter 52. 보편적 근사 정리(Universal Approximation Theorem) 개요
Chapter 53. 보편적 근사 정리의 완전한 수학적/해석학적 증명 과정
Chapter 54. 목적 함수(Objective Function)와 최적화 공간의 개념
Chapter 55. 경사하강법(Gradient Descent) 아키텍처와 미적분학적 기초
Chapter 56. 회귀 모델 손실 함수 1: MSE와 MAE의 통계적 가정 비교
Chapter 57. 회귀 모델 손실 함수 2: Huber Loss의 수학적 정의와 로버스트 최적화
Chapter 58. 분류 모델 손실 함수: 교차 엔트로피(Cross-Entropy) 유도
Chapter 59. 신경망의 순전파(Forward Propagation) 연산 그래프 구조
Chapter 60. 연쇄 법칙을 이용한 역전파(Backpropagation) 알고리즘 수학적 증명
Chapter 61. 미니 배치(Mini-batch)와 확률적 경사하강법(SGD)의 지형 탐색
Chapter 62. 옵티마이저의 진화 1: 모멘텀(Momentum) 기법의 물리적 관성 비유
Chapter 63. 옵티마이저의 진화 2: 네스테로프 가속 경사(NAG)의 사전 궤적 예측
Chapter 64. 옵티마이저의 진화 3: AdaGrad와 RMSProp의 파라미터별 적응형 학습률
Chapter 65. 옵티마이저의 진화 4: Adam의 1차 및 2차 모멘트 추정 수학
Chapter 66. 정규화와 최적화 결합: AdamW와 가중치 감쇠(Weight Decay) 분리 증명
Chapter 67. 활성화 함수의 역할: 비선형성 도입의 수학적 의미
Chapter 68. 시그모이드(Sigmoid)와 Tanh 함수: 기울기 소실(Vanishing Gradient) 현상
Chapter 69. ReLU 활성화 함수의 등장과 죽은 뉴런(Dying ReLU) 역학
Chapter 70. 고급 활성화 함수 1: Leaky ReLU와 ELU의 음수 영역 활성화
Chapter 71. 고급 활성화 함수 2: Swish 및 GELU의 누적 분포 함수 비교
Chapter 72. 게이트 선형 유닛: GLU 및 SwiGLU 연산 구조와 최적화 증명
Chapter 73. 신경망 초기화 문제와 대칭성 깨기(Symmetry Breaking) 현상
Chapter 74. 가중치 초기화 기법: Xavier(Glorot) 및 He 초기화의 분산 보존 알고리즘
Chapter 75. 내부 공변량 변화(Internal Covariate Shift) 문제 분석
Chapter 76. 신경망 정규화 1: 배치 정규화(Batch Normalization)의 동작 원리
Chapter 77. 신경망 정규화 2: LayerNorm과 RMSNorm의 구조적 이점 및 연산량 비교