Chapter 94. RNN의 한계: 장기 의존성(Long-term Dependency) 문제의 미적분학적 원인

• Chapter 94. RNN의 한계: 장기 의존성(Long-term Dependency) 문제의 미적분학적 원인

• 94.1순환 신경망의 시간적 기억 능력과 장기 의존성 학습의 필요성

• 94.2장기 의존성 문제의 정의와 자연어 처리에서의 구체적 사례

• 94.3시퀀스 길이 증가에 따른 정보 전달 경로의 구조적 분석

• 94.4BPTT에서의 그래디언트 흐름과 야코비안 행렬의 연쇄 곱

• 94.5야코비안 행렬의 스펙트럼 분석: 특이값(Singular Value)과 그래디언트 크기의 관계

• 94.6그래디언트 소실(Vanishing Gradient) 현상의 미적분학적 유도

• 94.7활성화 함수 tanh의 도함수 상한(Upper Bound)과 반복 곱에 의한 지수적 감쇠

• 94.8시그모이드(Sigmoid) 활성화 함수의 포화 영역과 그래디언트 소멸 가속화

• 94.9그래디언트 폭발(Exploding Gradient) 현상의 발생 조건과 수학적 증명

• 94.10가중치 행렬 W_hh의 고유값(Eigenvalue) 분포와 안정성 경계 조건

• 94.11스펙트럼 반경(Spectral Radius)이 1보다 작을 때의 지수적 그래디언트 소실 증명

• 94.12스펙트럼 반경이 1보다 클 때의 지수적 그래디언트 폭발 증명

• 94.13Bengio 등(1994)의 장기 의존성 학습 불가능성에 대한 이론적 분석

• 94.14Hochreiter(1991)의 일정 오차 흐름(Constant Error Flow) 개념과 그래디언트 보존 조건

• 94.15동적 시스템(Dynamical Systems) 관점에서의 그래디언트 소실과 어트랙터 붕괴

• 94.16은닉 상태 궤적의 리아푸노프 지수(Lyapunov Exponent)와 장기 기억 소멸의 관계

• 94.17가중치 초기화 전략에 따른 그래디언트 흐름의 변화 분석

• 94.18직교 초기화(Orthogonal Initialization)를 통한 스펙트럼 반경 1 유지 전략

• 94.19항등 행렬 초기화(Identity Initialization)와 IRNN(Identity RNN)의 실험적 검증

• 94.20그래디언트 클리핑(Gradient Clipping)의 노름 기반 제한과 학습 궤적 왜곡 문제

• 94.21스킵 연결(Skip Connection)의 순환 구조 적용과 그래디언트 지름길 경로

• 94.22누수 유닛(Leaky Unit)을 통한 은닉 상태의 시간적 지수 이동 평균 설계

• 94.23에코 상태 네트워크(Echo State Network)의 고정 가중치 전략과 장기 의존성 한계

• 94.24시간 스케일 분리(Time Scale Decomposition)를 통한 다중 시간 해상도 학습

• 94.25계층적 순환 구조(Hierarchical RNN)에서의 장기 의존성 완화 시도

• 94.26주의 메커니즘(Attention Mechanism)의 직접 정보 접근(Direct Access) 원리와 그래디언트 경로 단축

• 94.27장기 의존성 문제의 경험적 검증: 합성(Synthetic) 벤치마크 과제 설계

• 94.28복사 문제(Copy Problem)와 순서 기억 과제(Sequential MNIST)에서의 RNN 실패 사례

• 94.29가법 문제(Adding Problem)를 통한 장기 그래디언트 전파 능력 정량 평가

• 94.30T-회고(Temporal Order) 과제에서의 시간적 격차와 학습 성능 관계

• 94.31장기 의존성 문제가 기계 번역(Machine Translation)에 미치는 실질적 영향

• 94.32문서 수준 언어 모델링에서의 장기 문맥 손실과 퍼플렉서티(Perplexity) 저하

• 94.33음성 인식에서의 장거리 음운 의존성과 RNN의 인식률 한계

• 94.34정보 이론적 관점: 상호 정보량(Mutual Information)의 시간적 감쇠와 채널 용량 제한

• 94.35피셔 정보(Fisher Information)를 통한 곡률 기반 그래디언트 소실 분석

• 94.36장기 의존성 문제 해결을 위한 게이트 메커니즘의 이론적 동기

• 94.37일정 오차 흐름(Constant Error Carousel)의 수학적 구현과 LSTM으로의 발전 경로

• 94.38게이트 메커니즘에 의한 그래디언트 고속도로(Gradient Highway)의 형성 원리

• 94.39잔차 연결(Residual Connection)과 게이트 메커니즘의 그래디언트 보존 비교 분석

• 94.40장기 의존성 문제의 근본적 해법으로서 트랜스포머 자기 주의(Self-Attention) 메커니즘의 위상