Chapter 35. 다변수 합성함수의 미분과 연쇄 법칙(Chain Rule) 증명 Chapter 35. 다변수 합성함수의 미분과 연쇄 법칙(Chain Rule) 증명 35.1합성함수(Composite Function)의 정의와 다변수 확장 35.2합성함수의 계산 그래프(Computational Graph) 표현 35.31변수 연쇄 법칙(Chain Rule)의 복습과 증명 35.4다변수 연쇄 법칙의 형식적 진술과 표기법 35.5다변수 연쇄 법칙의 엄밀한 증명: 선형 근사 기반 접근 35.6다변수 연쇄 법칙의 행렬 표현: 야코비안 행렬의 곱 35.7트리 다이어그램(Tree Diagram)을 이용한 편미분 경로 추적 35.8중간 변수가 하나인 합성함수의 연쇄 법칙 적용 35.9중간 변수가 다수인 합성함수의 연쇄 법칙 적용 35.10암묵적 미분(Implicit Differentiation)과 연쇄 법칙의 관계 35.11역함수 정리(Inverse Function Theorem)와 연쇄 법칙의 연결 35.12매개변수 함수(Parametric Function)의 미분과 연쇄 법칙 적용 35.13벡터 값 합성함수의 미분과 야코비안 행렬의 연쇄적 곱셈 35.14전방향 미분(Forward-Mode Differentiation)의 정의와 원리 35.15전방향 미분의 계산 절차: 입력에서 출력으로의 미분 전파 35.16전방향 미분의 계산 비용 분석: 입력 차원에 대한 선형 의존성 35.17역방향 미분(Reverse-Mode Differentiation)의 정의와 원리 35.18역방향 미분의 계산 절차: 출력에서 입력으로의 미분 전파 35.19역방향 미분의 계산 비용 분석: 출력 차원에 대한 선형 의존성 35.20전방향 미분과 역방향 미분의 계산 효율성 비교 35.21자동 미분(Automatic Differentiation)의 정의와 핵심 원리 35.22자동 미분과 수치 미분(Numerical Differentiation)의 비교 35.23자동 미분과 기호 미분(Symbolic Differentiation)의 비교 35.24연산자 오버로딩(Operator Overloading) 기반 자동 미분 구현 35.25소스 코드 변환(Source Code Transformation) 기반 자동 미분 구현 35.26이중 수(Dual Number)의 대수적 구조와 전방향 자동 미분 35.27역전파(Backpropagation) 알고리즘의 정의와 역방향 자동 미분과의 동치성 35.28역전파의 단계별 실행: 순전파, 손실 계산, 역방향 기울기 전파 35.29계산 그래프에서의 기울기 축적(Gradient Accumulation)과 팬아웃 문제 35.30공유 변수(Shared Variable)에 대한 기울기 계산과 경로 합산 35.31역전파에서의 메모리 관리: 중간 활성값(Activation) 저장 전략 35.32기울기 체크포인팅(Gradient Checkpointing)의 원리와 메모리-계산 교환 35.33고계 도함수(Higher-Order Derivative)의 자동 미분 계산 35.34헤시안-벡터 곱(Hessian-Vector Product)의 효율적 계산 방법 35.35피보 역전파(Pearlmutter’s R-Operator)를 통한 2차 미분 정보 추출 35.36PyTorch Autograd와 JAX의 자동 미분 아키텍처 비교 35.37자동 미분의 수치적 안정성과 부동소수점 오차 전파 분석 35.38연쇄 법칙의 현대적 확장과 확률적 계산 그래프에서의 미분