Chapter 85. 신경망의 깊이 한계 극복: ResNet의 잔차 연결(Residual Connection) Chapter 85. 신경망의 깊이 한계 극복: ResNet의 잔차 연결(Residual Connection) 85.1심층 신경망의 깊이 증가와 성능 향상의 기대 85.2깊은 신경망에서 발생하는 성능 저하(Degradation) 현상의 관측 85.3성능 저하 문제와 기울기 소실(Vanishing Gradient)의 구분 85.4항등 사상(Identity Mapping) 학습의 어려움에 대한 분석 85.5잔차 학습(Residual Learning)의 핵심 가설과 정의 85.6잔차 함수 F(x) = H(x) - x의 수학적 형식화 85.7지름길 연결(Shortcut Connection)의 구조와 연산 정의 85.8잔차 블록(Residual Block)의 기본 구성: 합성곱-BN-ReLU 85.9항등 지름길(Identity Shortcut)과 차원 불일치 시 투영 지름길(Projection Shortcut) 85.10잔차 연결의 순전파(Forward Propagation) 경로 분석 85.11잔차 연결의 역전파(Backward Propagation) 경로와 그래디언트 흐름 보존 85.12그래디언트 고속도로(Gradient Highway) 효과의 수학적 증명 85.13잔차 연결에 의한 손실 함수 지형(Loss Landscape)의 평활화 85.14ResNet-18과 ResNet-34의 기본 블록(Basic Block) 구조 85.15ResNet-50, ResNet-101, ResNet-152의 병목 블록(Bottleneck Block) 구조 85.16병목 블록의 1×1 합성곱에 의한 차원 축소 및 복원 전략 85.17병목 구조의 파라미터 효율성과 연산량 비교 분석 85.18ResNet 아키텍처의 전체 스테이지(Stage) 구성과 채널 확장 패턴 85.19배치 정규화(Batch Normalization)와 잔차 연결의 상호작용 85.20사전 활성화 잔차 블록(Pre-activation Residual Block)의 구조와 이점 85.21ResNet의 암묵적 앙상블(Implicit Ensemble) 해석 85.22잔차 네트워크의 지수적 경로 조합과 다중 경로 해석 85.23확률적 깊이(Stochastic Depth) 정규화 기법 85.24ResNet과 VGGNet의 파라미터 수 및 정확도 비교 분석 85.25ResNet의 ImageNet 벤치마크 성능과 인간 수준 초과 달성 85.26ResNet의 전이 학습 응용과 사전 학습 백본으로서의 범용성 85.27ResNet 변형 아키텍처: ResNeXt와 그룹 합성곱(Grouped Convolution) 85.28ResNet 변형 아키텍처: Wide ResNet과 채널 폭 확장 전략 85.29DenseNet과의 비교: 잔차 연결과 밀집 연결(Dense Connection)의 차이 85.30잔차 연결이 현대 심층 학습 아키텍처 설계에 미친 근본적 영향