Chapter 95. 장단기 메모리(LSTM) 네트워크의 탄생과 셀 상태(Cell State) 역학 Chapter 95. 장단기 메모리(LSTM) 네트워크의 탄생과 셀 상태(Cell State) 역학 95.1순환 신경망의 장기 의존성 문제와 새로운 아키텍처 탐색의 역사적 배경 95.2Hochreiter와 Schmidhuber(1997)의 LSTM 원논문의 핵심 기여와 설계 철학 95.3일정 오차 흐름(Constant Error Carousel)의 개념과 그래디언트 보존 원리 95.4LSTM 유닛의 전체 아키텍처 구성 요소 개관 95.5셀 상태(Cell State)의 정의와 정보 저장소로서의 역할 95.6셀 상태 벡터의 수학적 표현과 차원 설계 기준 95.7셀 상태의 시간적 전파 경로와 가법적(Additive) 갱신 메커니즘 95.8가법적 갱신이 그래디언트 소실 방지에 기여하는 미적분학적 증명 95.9셀 상태와 은닉 상태(Hidden State)의 구분과 상호 관계 95.10셀 상태에서 은닉 상태로의 정보 추출 과정 95.11망각 게이트(Forget Gate)의 구조와 시그모이드 활성화 함수 적용 95.12망각 게이트의 셀 상태 요소별(Element-wise) 곱셈 연산의 수학적 의미 95.13망각 게이트 편향(Bias) 초기화 전략과 학습 초기 기억 보존 효과 95.14입력 게이트(Input Gate)의 구조와 새로운 정보 선별 메커니즘 95.15후보 셀 상태(Candidate Cell State)의 tanh 활성화 기반 생성 과정 95.16입력 게이트와 후보 셀 상태의 아다마르 곱(Hadamard Product)을 통한 정보 필터링 95.17셀 상태 갱신 방정식의 완전한 수학적 정의와 해석 95.18출력 게이트(Output Gate)의 구조와 은닉 상태 생성 제어 95.19출력 게이트와 tanh 변환된 셀 상태의 결합을 통한 은닉 상태 산출 95.20LSTM의 순전파(Forward Pass) 전체 연산 흐름의 단계별 전개 95.21LSTM에서의 BPTT: 셀 상태 경로를 통한 그래디언트 흐름 분석 95.22게이트 파라미터에 대한 그래디언트 계산의 수학적 유도 95.23셀 상태 경로의 그래디언트 고속도로(Gradient Highway) 효과 증명 95.24핍홀 연결(Peephole Connection)의 도입과 셀 상태 직접 참조 메커니즘 95.25핍홀 연결이 게이트 결정에 미치는 정보론적 영향 분석 95.26LSTM 변이체(Variant) 분류: 표준형, 핍홀형, 결합 게이트형 95.27Greff 등(2016)의 LSTM 변이체 비교 실험과 성능 차이 분석 95.28LSTM의 파라미터 수 계산과 모델 복잡도 분석 95.29LSTM의 연산 비용(Computational Cost): 행렬 연산과 시간 복잡도 95.30다층 LSTM(Stacked LSTM)의 구조와 계층적 특징 추출 능력 95.31양방향 LSTM(Bidirectional LSTM)의 아키텍처와 양방향 문맥 통합 95.32LSTM의 정규화 기법: 드롭아웃, 순환 드롭아웃, 존 아웃(Zoneout) 95.33계층 정규화(Layer Normalization)의 LSTM 적용과 학습 안정화 효과 95.34LSTM 기반 언어 모델링(Language Modeling)의 성능과 퍼플렉서티 개선 95.35기계 번역에서의 LSTM 인코더-디코더 아키텍처 설계 95.36음성 인식(Speech Recognition)에서의 LSTM 적용과 CTC(Connectionist Temporal Classification) 결합 95.37시계열 예측(Time Series Forecasting)에서의 LSTM 활용 패턴 95.38LSTM의 기억 용량(Memory Capacity) 한계와 외부 메모리 확장 시도 95.39신경 튜링 머신(Neural Turing Machine)과 차분 신경 컴퓨터(DNC)에서의 LSTM 제어기 95.40LSTM에서 트랜스포머로의 패러다임 전환: 셀 상태 역학의 이론적 유산과 한계