30.3 고유값 방정식 $Av = \lambda v$ 의 기하학적 해석: 방향 불변 벡터

1. 방향 불변의 핵심 개념

고유값 방정식 $Av = \lambda v$ 의 기하학적 의미는 다음과 같다. 선형 변환 $A$ 가 적용될 때, 고유벡터 $v$ 는 자신이 놓인 직선 위에 머무른다. 일반적인 벡터는 $A$ 에 의해 방향과 크기가 모두 변하지만, 고유벡터는 원래 방향(또는 역방향)을 유지하며 크기만 $|\lambda|$ 배로 스케일링된다.

$v$ 가 고유값 $\lambda$ 에 대응하는 고유벡터이면, $Av$ 는 $v$ 를 지나는 직선 $\{tv \mid t \in \mathbb{R}\}$ 위에 놓인다.

$Av = \lambda v \in \text{span}\{v\}$

따라서 고유벡터는 $A$ 에 의한 **불변 직선(invariant line)**의 방향 벡터이다.

2. 고유값의 부호에 따른 기하학적 분류

2.1 $\lambda > 1$ : 신장(Stretching)

$Av = \lambda v$ 에서 $\lambda > 1$ 이면 고유벡터 $v$ 방향으로 $\lambda$ 배만큼 신장된다. 벡터의 방향은 보존되고 크기가 증가한다.

2.2 $0 < \lambda < 1$ : 수축(Contraction)

$0 < \lambda < 1$ 이면 고유벡터 방향으로 수축이 일어난다. 벡터의 방향은 보존되고 크기가 감소한다.

2.3 $\lambda = 1$ : 고정(Fixed)

$\lambda = 1$ 이면 $Av = v$ 이므로 고유벡터는 변환에 의해 완전히 불변이다. 이러한 벡터의 집합 $\ker(A - I)$ 는 $A$ 의 **고정 부분 공간(fixed subspace)**이다.

2.4 $\lambda = 0$ : 소멸(Annihilation)

$\lambda = 0$ 이면 $Av = 0$ 이므로 고유벡터가 핵(kernel)에 속한다. $v$ 방향의 정보가 변환에 의해 완전히 소멸된다.

2.5 $\lambda < 0$ : 반전(Reversal)

$\lambda < 0$ 이면 $Av = \lambda v$ 에서 벡터의 방향이 반전되면서 $|\lambda|$ 배 스케일링된다. $\lambda = -1$ 이면 방향만 반전되고 크기는 보존된다.

3. 단위 구면에서의 해석

$\mathbb{R}^n$ 의 단위 구면 $S^{n-1} = \{\|x\| = 1\}$ 위에서 고유벡터의 의미를 분석하라. 단위 고유벡터 $\hat{v} = v/\|v\|$ 에 대하여

$\|A\hat{v}\| = |\lambda|$

따라서 $|\lambda|$ 는 고유벡터 방향에서의 $A$ 의 **방향별 증폭률(directional gain)**이다.

$\sigma_1 = \max_{\|x\|=1} \|Ax\|$ 와 $\sigma_n = \min_{\|x\|=1} \|Ax\|$ (최대/최소 특이값)은 일반적으로 고유값의 절대값과 다르다. 대칭 행렬에서만 $\sigma_i = |\lambda_i|$ 가 성립한다.

4. 구체적 기하학적 예시

4.1 예시 1: 스케일링 변환

$A = \begin{pmatrix} 3 & 0 \\ 0 & 2 \end{pmatrix}$

고유값: $\lambda_1 = 3$ (고유벡터 $e_1$ ), $\lambda_2 = 2$ (고유벡터 $e_2$ ).

$x$ 축 방향으로 3배, $y$ 축 방향으로 2배 신장한다. 단위원이 장반축 3, 단반축 2의 타원으로 변형된다. 두 축 방향이 고유벡터 방향이고, 변형 후에도 이 방향은 보존된다.

4.2 예시 2: 전단 변환

$A = \begin{pmatrix} 1 & 1 \\ 0 & 1 \end{pmatrix}$

고유값: $\lambda = 1$ (중복도 2). 고유 공간: $E_1 = \text{span}\{e_1\}$ (차원 1).

기하학적으로, $x$ 축 방향 벡터만 방향이 보존된다. 다른 모든 방향의 벡터는 전단에 의해 방향이 변한다. 고유 공간의 차원이 고유값의 대수적 중복도보다 작으므로, 이 행렬은 대각화 불가능하다.

4.3 예시 3: 반사 변환

$x$ 축에 대한 반사: $A = \begin{pmatrix} 1 & 0 \\ 0 & -1 \end{pmatrix}$

고유값: $\lambda_1 = 1$ (고유벡터 $e_1$ ), $\lambda_2 = -1$ (고유벡터 $e_2$ ).

$e_1$ 방향( $x$ 축)은 반사에 의해 불변이다( $\lambda = 1$ ). $e_2$ 방향( $y$ 축)은 방향이 반전된다( $\lambda = -1$ ). 기하학적으로, 반사축 위의 벡터는 고정되고 반사축에 수직인 벡터는 역전된다.

4.4 예시 4: 회전 변환

$A = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix}, \quad 0 < \theta < \pi$

$\mathbb{R}$ 위에서 고유값이 존재하지 않는다. 기하학적으로, 0이 아닌 회전은 $\mathbb{R}^2$ 에서 어떤 방향도 보존하지 않는다. 모든 비영 벡터의 방향이 $\theta$ 만큼 변한다.

$\mathbb{C}$ 위에서는 $\lambda = e^{\pm i\theta}$ 가 고유값이며, 복소 고유벡터가 존재한다.

5. 불변 부분 공간과의 관계

고유값 $\lambda$ 에 대한 고유 공간 $E_\lambda$ 는 $A$ 에 의한 **불변 부분 공간(invariant subspace)**이다. $v \in E_\lambda$ 이면 $Av = \lambda v \in E_\lambda$ 이다.

더 나아가, $A$ 가 대각화 가능하면 전체 공간이 고유 공간의 직합(direct sum)으로 분해된다.

$\mathbb{F}^n = E_{\lambda_1} \oplus E_{\lambda_2} \oplus \cdots \oplus E_{\lambda_k}$

이 분해의 기하학적 의미는 $A$ 의 작용이 각 고유 공간에서 독립적인 스케일링으로 환원된다는 것이다.

6. 레일리 지수와 방향별 스케일링

대칭 행렬 $A$ 에 대한 레일리 지수(Rayleigh quotient)

$R(x) = \frac{x^T Ax}{x^T x}$

는 방향 $x/\|x\|$ 에서의 이차 형식의 값을 나타낸다. $x$ 가 고유벡터 $v_i$ 이면 $R(v_i) = \lambda_i$ 이다.

레일리 지수의 최댓값과 최솟값은 각각 최대/최소 고유값에서 달성되며, 이는 “가장 많이 증폭되는 방향“과 “가장 적게 증폭되는 방향“이 고유벡터 방향임을 의미한다.

이러한 해석은 딥러닝에서 손실 함수의 헤시안 행렬 분석에 직접 활용된다. 헤시안의 최대 고유값 방향은 손실의 곡률이 가장 큰 방향이고, 최소 고유값 방향은 가장 평탄한 방향이다. 학습률은 최대 고유값에 의해 상한이 결정되며, 수렴 속도는 조건수(최대 고유값/최소 고유값)에 의해 결정된다.

30.3 고유값 방정식 Av = \lambda v의 기하학적 해석: 방향 불변 벡터