Chapter 30. 고유값(Eigenvalue)과 고유벡터(Eigenvector)의 기하학적 분해

선형 변환 T : V \to V가 주어졌을 때, 대부분의 벡터는 T에 의해 방향과 크기가 모두 변한다. 그러나 일부 특별한 벡터는 T에 의해 방향이 유지되고 크기만 스케일링된다. 이러한 벡터가 **고유벡터(eigenvector)**이며, 대응하는 스케일링 인수가 **고유값(eigenvalue)**이다.

T(v) = \lambda v, \quad v \neq 0

고유값과 고유벡터의 이론은 선형대수학의 가장 심오한 결과들을 포함한다. 정방 행렬을 더 단순한 형태로 분해하는 **스펙트럼 분해(spectral decomposition)**의 수학적 기반이 되며, 행렬의 거듭제곱 계산, 미분 방정식의 풀이, 안정성 분석 등 광범위한 영역에서 핵심적 도구로 활용된다.

본 장에서는 고유값 문제의 형식적 정의와 특성 다항식을 통한 고유값의 계산으로부터 출발하여, 고유 공간의 구조, 대수적 중복도와 기하적 중복도의 관계, 케일리-해밀턴 정리(Cayley-Hamilton theorem)에 이르는 대수적 이론을 전개한다. 이어서 대칭 행렬의 스펙트럼 정리에 의한 직교 대각화, 고유값 분해의 기하학적 해석, 행렬 함수(matrix function)의 고유값 기반 계산을 다룬다.

딥러닝의 관점에서, 가중치 행렬과 헤시안 행렬의 고유 분석은 신경망의 학습 동역학과 손실 함수의 곡률 구조를 이해하는 핵심 도구이다. 고유값의 분포는 기울기 소실/폭발 현상, 학습률 선택, 수렴 속도를 직접적으로 결정하며, 스펙트럼 분석에 기반한 정칙화 기법과 최적화 전략이 현대 딥러닝의 이론적 기초를 형성한다.