29.31 자기 수반 연산자(Self-Adjoint Operator)와 대칭 행렬의 관계
1. 자기 수반 연산자의 정의
유한 차원 내적 공간 V 위의 선형 변환 T : V \to V가 **자기 수반(self-adjoint)**이라 함은 T가 자신의 수반 연산자와 같은 것이다.
T^* = T
이는 모든 x, y \in V에 대하여
\langle T(x), y \rangle = \langle x, T(y) \rangle
가 성립하는 것과 동치이다.
2. 대칭 행렬 및 에르미트 행렬과의 관계
2.1 실수 내적 공간
V = \mathbb{R}^n이고 표준 내적을 사용하면, T의 행렬 표현 A에 대하여 T^* = T는 A^T = A와 동치이다. 따라서 실수 내적 공간에서의 자기 수반 연산자는 대칭 행렬(symmetric matrix)에 대응한다.
A = A^T, \quad \text{즉} \quad a_{ij} = a_{ji} \quad \forall i, j
2.2 복소 내적 공간
V = \mathbb{C}^n이고 표준 내적 \langle x, y \rangle = x^* y를 사용하면, T^* = T는 A^* = A, 즉 \bar{A}^T = A와 동치이다. 이러한 행렬을 **에르미트 행렬(Hermitian matrix)**이라 한다.
A = A^*, \quad \text{즉} \quad a_{ij} = \overline{a_{ji}} \quad \forall i, j
에르미트 행렬의 대각 성분은 a_{ii} = \overline{a_{ii}}를 만족하므로 반드시 실수이다.
3. 자기 수반 연산자의 스펙트럼 성질
3.1 고유값의 실수성
정리. 자기 수반 연산자의 모든 고유값은 실수이다.
증명. T(v) = \lambda v (v \neq 0)이면
\lambda \langle v, v \rangle = \langle \lambda v, v \rangle = \langle T(v), v \rangle = \langle v, T(v) \rangle = \langle v, \lambda v \rangle = \bar{\lambda} \langle v, v \rangle
\langle v, v \rangle > 0이므로 \lambda = \bar{\lambda}, 즉 \lambda \in \mathbb{R}. \blacksquare
3.2 서로 다른 고유값에 대한 고유벡터의 직교성
정리. 자기 수반 연산자에서 서로 다른 고유값에 대응하는 고유벡터들은 직교한다.
증명. T(v_1) = \lambda_1 v_1, T(v_2) = \lambda_2 v_2이고 \lambda_1 \neq \lambda_2라 하자.
\lambda_1 \langle v_1, v_2 \rangle = \langle T(v_1), v_2 \rangle = \langle v_1, T(v_2) \rangle = \lambda_2 \langle v_1, v_2 \rangle
(\lambda_1 - \lambda_2)\langle v_1, v_2 \rangle = 0이고 \lambda_1 \neq \lambda_2이므로 \langle v_1, v_2 \rangle = 0. \blacksquare
3.3 스펙트럼 정리(Spectral Theorem)
정리. 자기 수반 연산자 T : V \to V는 정규 직교 기저에 대하여 대각화 가능하다.
행렬의 언어로 표현하면:
실수 대칭 행렬의 스펙트럼 정리. A = A^T \in M_{n \times n}(\mathbb{R})이면, 직교 행렬 Q (Q^T Q = I)가 존재하여
A = Q \Lambda Q^T
여기서 \Lambda = \text{diag}(\lambda_1, \ldots, \lambda_n)은 실수 고유값으로 이루어진 대각 행렬이고, Q의 열벡터는 정규 직교 고유벡터이다.
증명의 핵심. 수학적 귀납법을 사용한다. T가 자기 수반이면 적어도 하나의 실수 고유값 \lambda_1이 존재한다(특성 다항식이 실수 계수이고 홀수 차이면 반드시 실근이 존재하며, 짝수 차이면 고유값의 실수성 정리를 사용한다). 대응하는 단위 고유벡터 u_1을 취하면, u_1에 의해 생성되는 부분 공간 \text{span}\{u_1\}의 직교 여공간 W = \{u_1\}^\perp은 T에 의한 불변 부분 공간이다.
w \in W이면 \langle T(w), u_1 \rangle = \langle w, T(u_1) \rangle = \langle w, \lambda_1 u_1 \rangle = \lambda_1 \langle w, u_1 \rangle = 0이므로 T(w) \in W. 따라서 T\vert_W : W \to W가 정의되고, 이것도 자기 수반이다. \dim(W) = n-1이므로 귀납 가설에 의해 W 위에서 T는 정규 직교 기저에 대하여 대각화 가능하다. \blacksquare
4. 스펙트럼 분해
스펙트럼 정리로부터 자기 수반 연산자의 **스펙트럼 분해(spectral decomposition)**가 도출된다.
A = \sum_{i=1}^n \lambda_i q_i q_i^T
여기서 \{q_1, \ldots, q_n\}은 A의 정규 직교 고유벡터이고, q_i q_i^T는 q_i 방향으로의 직교 사영 행렬이다.
서로 다른 고유값이 \mu_1, \ldots, \mu_k이면
A = \sum_{j=1}^k \mu_j P_j
여기서 P_j는 고유값 \mu_j에 대응하는 고유 공간으로의 직교 사영 연산자이다.
5. 자기 수반 연산자의 추가적 성질
5.1 레일리 지수(Rayleigh Quotient)
자기 수반 행렬 A의 **레일리 지수(Rayleigh quotient)**는
R(x) = \frac{\langle Ax, x \rangle}{\langle x, x \rangle} = \frac{x^T A x}{x^T x}, \quad x \neq 0
으로 정의된다. 레일리 지수의 극값은 고유값에 의해 결정된다.
\lambda_{\min} \leq R(x) \leq \lambda_{\max}
최솟값은 \lambda_{\min}에 대응하는 고유벡터에서, 최댓값은 \lambda_{\max}에 대응하는 고유벡터에서 달성된다.
5.2 대각합과 고유값의 관계
\text{tr}(A) = \sum_{i=1}^n a_{ii} = \sum_{i=1}^n \lambda_i
대칭 행렬의 대각합은 고유값의 합이다.
5.3 프로베니우스 노름과 고유값
\|A\|_F^2 = \text{tr}(A^T A) = \text{tr}(A^2) = \sum_{i=1}^n \lambda_i^2
대칭 행렬의 프로베니우스 노름(Frobenius norm)의 제곱은 고유값의 제곱합이다.
6. 구체적 예시
6.1 예시 1: 공분산 행렬
데이터 행렬 X \in M_{n \times p}(\mathbb{R}) (각 행이 데이터 점)에 대한 표본 공분산 행렬
C = \frac{1}{n-1} X^T X
은 대칭 행렬(C = C^T)이다. 스펙트럼 정리에 의하여 C = Q\Lambda Q^T로 분해되며, Q의 열이 주성분(principal component) 방향, \Lambda의 대각 성분이 각 주성분 방향의 분산(variance)을 나타낸다.
6.2 예시 2: 라플라시안 행렬
그래프의 라플라시안 행렬 L = D - W (D는 차수 행렬, W는 인접 행렬)은 대칭이고 양의 반정부호(positive semi-definite)이다. 스펙트럼 정리에 의한 L의 고유 분해는 스펙트럼 클러스터링과 그래프 신호 처리의 수학적 기반을 형성한다.
7. 이론적 의의
자기 수반 연산자와 대칭 행렬의 관계는 선형대수학에서 가장 풍부한 이론 체계 중 하나를 구축한다. 스펙트럼 정리에 의해 보장되는 정규 직교 대각화 가능성은 주성분 분석, 스펙트럼 분해, 이차 형식의 분석 등 수학과 응용의 광범위한 영역에서 핵심적 역할을 한다.
딥러닝에서 헤시안 행렬(Hessian matrix) H = \nabla^2 L은 대칭 행렬이며, 그 고유값 분포는 손실 함수의 곡률 구조를 나타낸다. 양의 고유값은 볼록 방향, 음의 고유값은 오목 방향에 대응하며, 이는 최적화 알고리즘의 수렴 행동을 결정하는 핵심 요소이다.