30.19 스펙트럼 정리(Spectral Theorem)의 진술과 증명 개요

1. 스펙트럼 정리의 역사적 배경

스펙트럼 정리(Spectral Theorem)는 선형대수학과 함수 해석학에서 가장 핵심적인 정리 가운데 하나이다. 이 정리의 기원은 19세기 후반 Hilbert가 적분 방정식의 해를 연구하면서 자기 수반 연산자(self-adjoint operator)의 성질을 체계화한 것에 있다. “스펙트럼(spectrum)“이라는 용어는 물리학에서 빛의 스펙트럼 분석에 비유하여, 연산자를 그 고유값(또는 스펙트럼)으로 분해한다는 뜻에서 유래하였다. 유한 차원에서의 스펙트럼 정리는 실수 대칭 행렬 또는 복소 에르미트 행렬에 대하여 성립하며, 이는 무한 차원 힐베르트 공간에서의 일반 스펙트럼 정리로 확장된다.

2. 유한 차원 실수 스펙트럼 정리의 진술

정리 (실수 대칭 행렬에 대한 스펙트럼 정리). A \in M_{n \times n}(\mathbb{R})가 대칭 행렬(A = A^T)이면, 다음이 성립한다:

(1) A의 모든 고유값은 실수이다.

(2) A의 서로 다른 고유값에 대응하는 고유벡터는 직교한다.

(3) 직교 행렬 Q \in M_{n \times n}(\mathbb{R}) (Q^T Q = Q Q^T = I)와 실수 대각 행렬 \Lambda = \operatorname{diag}(\lambda_1, \lambda_2, \ldots, \lambda_n)이 존재하여

A = Q \Lambda Q^T

이다. 동치적으로, \mathbb{R}^n에는 A의 고유벡터로 구성된 정규 직교 기저(orthonormal basis)가 존재한다.

(4) A는 스펙트럼 분해(spectral decomposition)

A = \sum_{i=1}^{n} \lambda_i \, q_i q_i^T

를 갖는다. 여기서 q_1, q_2, \ldots, q_n은 Q의 열벡터이다.

3. 복소 스펙트럼 정리의 진술

실수 대칭 행렬의 스펙트럼 정리는 복소수 체계에서 에르미트 행렬(Hermitian matrix)로 자연스럽게 확장된다.

정리 (에르미트 행렬에 대한 스펙트럼 정리). A \in M_{n \times n}(\mathbb{C})가 에르미트 행렬(A = A^*, 여기서 A^* = \overline{A}^T는 켤레 전치)이면, 유니터리 행렬(unitary matrix) U (U^* U = U U^* = I)와 실수 대각 행렬 \Lambda가 존재하여

A = U \Lambda U^*

이다.

실수 대칭 행렬은 에르미트 행렬의 특수한 경우이다. 실수 행렬에서는 켤레 전치가 전치와 동일하고, 유니터리 행렬이 직교 행렬로 환원된다.

4. 정리의 동치 표현

스펙트럼 정리는 다음과 같은 여러 동치 형태로 진술할 수 있다.

행렬 분해 형태. 대칭 행렬 A는 A = Q \Lambda Q^T로 직교 대각화된다.

기저 존재 형태. \mathbb{R}^n에는 A의 고유벡터로 구성된 정규 직교 기저가 존재한다.

스펙트럼 분해 형태. A = \sum_{k=1}^{r} \lambda^{(k)} P_k로 표현된다. 여기서 \lambda^{(1)}, \ldots, \lambda^{(r)}은 A의 상이한 고유값이고, P_k는 \lambda^{(k)}에 대응하는 고유 공간으로의 직교 사영 행렬이다. 이때 P_k들은 다음을 만족한다:

• P_k^2 = P_k (멱등성)
• P_k^T = P_k (대칭성)
• P_j P_k = 0 (j \neq k, 상호 직교성)
• \sum_{k=1}^{r} P_k = I (완전성, 항등 분해)

연산자 형태. 유한 차원 실수 내적 공간 V 위의 자기 수반 연산자(self-adjoint operator) T (\langle Tx, y \rangle = \langle x, Ty \rangle, \forall x, y \in V)에 대하여, V에는 T의 고유벡터로 구성된 정규 직교 기저가 존재한다.

5. 증명의 전체 구조

스펙트럼 정리의 증명은 세 가지 핵심 보조 정리에 기초하며, 이를 수학적 귀납법으로 조합한다.

5.1 보조 정리 1: 실수 고유값의 존재

보조 정리. 실수 대칭 행렬 A = A^T \in M_{n \times n}(\mathbb{R})의 모든 고유값은 실수이다.

증명. Av = \lambda v (v \neq 0, \lambda \in \mathbb{C}, v \in \mathbb{C}^n)라 하자. 양변에 v^* (에르미트 전치)를 왼쪽에서 곱하면

v^* A v = \lambda \, v^* v

한편, (Av)^* = v^* A^* = v^* A (A가 실수 대칭이므로 A^* = A)이므로

v^* A v = (Av)^* v = (\lambda v)^* v = \bar{\lambda} \, v^* v

따라서 \lambda \, v^* v = \bar{\lambda} \, v^* v이다. v^* v = \lVert v \rVert^2 > 0이므로 \lambda = \bar{\lambda}, 즉 \lambda \in \mathbb{R}이다. \blacksquare

5.2 보조 정리 2: 상이한 고유값에 대응하는 고유벡터의 직교성

보조 정리. A = A^T이고 Av_1 = \lambda_1 v_1, Av_2 = \lambda_2 v_2, \lambda_1 \neq \lambda_2이면 \langle v_1, v_2 \rangle = 0이다.

증명. 자기 수반 성질로부터

\lambda_1 \langle v_1, v_2 \rangle = \langle Av_1, v_2 \rangle = \langle v_1, A^T v_2 \rangle = \langle v_1, Av_2 \rangle = \lambda_2 \langle v_1, v_2 \rangle

(\lambda_1 - \lambda_2) \langle v_1, v_2 \rangle = 0이고 \lambda_1 \neq \lambda_2이므로 \langle v_1, v_2 \rangle = 0이다. \blacksquare

5.3 보조 정리 3: 고유 공간의 직교 보공간의 불변성

보조 정리. A = A^T이고 W가 A에 의하여 불변인 부분 공간(invariant subspace), 즉 A(W) \subseteq W이면, W의 직교 보공간 W^\perp 역시 A에 의하여 불변이다.

증명. u \in W^\perp이면 임의의 w \in W에 대하여 \langle u, w \rangle = 0이다. Au가 W^\perp에 속함을 보이면 된다. 임의의 w \in W에 대하여

\langle Au, w \rangle = \langle u, A^T w \rangle = \langle u, Aw \rangle

W가 A-불변이므로 Aw \in W이다. 따라서 \langle u, Aw \rangle = 0이고, \langle Au, w \rangle = 0이다. 이는 Au \in W^\perp을 뜻한다. \blacksquare

이 보조 정리는 비대칭 행렬에서는 성립하지 않으며, 스펙트럼 정리의 증명에서 귀납법의 핵심 기반이 된다.

6. 귀납법에 의한 증명

n에 대한 수학적 귀납법으로 스펙트럼 정리를 증명한다.

기저 단계 (n = 1). A = (a)이면 \lambda = a \in \mathbb{R}이고, Q = (1)이므로 A = Q \Lambda Q^T가 자명하게 성립한다.

귀납 가설. (n-1) \times (n-1) 대칭 행렬에 대하여 스펙트럼 정리가 성립한다고 가정한다.

귀납 단계. n \times n 대칭 행렬 A를 고려하자.

단계 1. A의 특성 다항식은 n차 실수 계수 다항식이므로, 대수학의 기본 정리에 의하여 복소수 범위에서 적어도 하나의 근 \lambda_1이 존재한다. 보조 정리 1에 의하여 \lambda_1 \in \mathbb{R}이다. 대응하는 고유벡터를 실수 벡터로 선택하고 정규화하여 단위 벡터 q_1 \in \mathbb{R}^n (\lVert q_1 \rVert = 1)을 얻는다.

단계 2. W = \operatorname{span}\{q_1\}은 A-불변 부분 공간이다 (Aq_1 = \lambda_1 q_1 \in W). 보조 정리 3에 의하여 W^\perp 역시 A-불변이다. \dim(W^\perp) = n - 1이다.

단계 3. q_1을 포함하는 \mathbb{R}^n의 정규 직교 기저 \{q_1, u_2, \ldots, u_n\}을 구성한다. U = (q_1 \mid u_2 \mid \cdots \mid u_n)은 직교 행렬이다. 이때

U^T A U = \begin{pmatrix} \lambda_1 & c^T \\ c & B \end{pmatrix}

Aq_1 = \lambda_1 q_1이므로 U^T A U의 첫 번째 열은 (\lambda_1, 0, \ldots, 0)^T이다. 즉, c = 0이다. U^T A U는 대칭 행렬이므로 c^T = 0이기도 하다. 따라서

U^T A U = \begin{pmatrix} \lambda_1 & 0^T \\ 0 & B \end{pmatrix}

여기서 B는 (n-1) \times (n-1) 대칭 행렬이다. B는 A의 W^\perp 위로의 제한(restriction)을 \{u_2, \ldots, u_n\} 기저에서 표현한 것이다.

단계 4. 귀납 가설에 의하여 (n-1) \times (n-1) 직교 행렬 Q'와 대각 행렬 \Lambda' = \operatorname{diag}(\lambda_2, \ldots, \lambda_n)이 존재하여

B = Q' \Lambda' Q'^T

이다.

단계 5. 블록 직교 행렬

\tilde{Q} = \begin{pmatrix} 1 & 0^T \\ 0 & Q' \end{pmatrix}

를 구성하면

\tilde{Q}^T (U^T A U) \tilde{Q} = \begin{pmatrix} \lambda_1 & 0^T \\ 0 & Q'^T B Q' \end{pmatrix} = \begin{pmatrix} \lambda_1 & 0^T \\ 0 & \Lambda' \end{pmatrix} = \Lambda

Q = U \tilde{Q}로 정의하면 Q는 직교 행렬의 곱이므로 직교 행렬이고

Q^T A Q = \Lambda, \quad A = Q \Lambda Q^T

이다. Q의 열벡터 q_1, q_2, \ldots, q_n은 A의 정규 직교 고유벡터이다. \blacksquare

7. 증명의 핵심 논점 분석

7.1 실수 고유값의 존재가 왜 필수적인가

귀납법의 출발점에서 적어도 하나의 실수 고유값이 존재하여야 한다. 일반 실수 행렬의 특성 다항식은 복소근만 가질 수도 있으나, 대칭 행렬에서는 보조 정리 1이 모든 근이 실수임을 보장하므로 이 문제가 해소된다.

7.2 직교 보공간의 불변성이 왜 결정적인가

보조 정리 3이 없다면, q_1을 제거한 후 나머지 공간에서의 행렬이 대칭 행렬이 됨을 보장할 수 없다. 대칭 조건에 의한 직교 보공간의 불변성은 축소(deflation) 과정에서 대칭 구조가 보존됨을 보장하며, 이것이 귀납법을 가능하게 하는 핵심 메커니즘이다.

7.3 대각화 가능성의 자동 보장

스펙트럼 정리의 증명은 각 고유값에 대하여 기하학적 중복도가 대수적 중복도와 일치함을 함축한다. 구체적으로, 귀납 과정에서 B의 크기가 정확히 n - 1이고, 이 과정을 반복하면 모든 고유값에 대하여 충분한 수의 독립 고유벡터가 확보된다. 따라서 대칭 행렬은 결함 행렬(defective matrix)이 될 수 없다.

8. 최소 다항식을 이용한 대안적 증명 접근

스펙트럼 정리의 또 다른 증명 방법은 최소 다항식(minimal polynomial)을 활용하는 것이다.

자기 수반 연산자 T의 최소 다항식 m_T(\lambda)는 실수 계수이고, T의 모든 고유값이 실수이므로 m_T(\lambda)는 실수 범위에서 일차 인수의 곱으로 인수분해된다:

m_T(\lambda) = (\lambda - \mu_1)^{e_1} (\lambda - \mu_2)^{e_2} \cdots (\lambda - \mu_r)^{e_r}

자기 수반 연산자에 대하여 각 e_i = 1임을 보일 수 있다. 이는 e_i \geq 2이면 (\lambda - \mu_i)^2가 m_T를 나누게 되어, 자기 수반 성질과 모순이 발생함을 이용한다. 구체적으로, m_T의 모든 지수가 1이면

m_T(\lambda) = (\lambda - \mu_1)(\lambda - \mu_2) \cdots (\lambda - \mu_r)

이고, 이는 T가 대각화 가능함의 필요충분조건이다. 따라서 자기 수반 연산자는 항상 대각화 가능하며, 고유벡터의 직교성과 결합하면 스펙트럼 정리가 성립한다.

9. 정규 행렬로의 확장

스펙트럼 정리는 **정규 행렬(normal matrix)**로 확장된다.

정의. A \in M_{n \times n}(\mathbb{C})가 A^* A = A A^*를 만족할 때, A를 정규 행렬이라 한다.

정리 (정규 행렬에 대한 스펙트럼 정리). A가 정규 행렬이면, 유니터리 행렬 U가 존재하여 A = U \Lambda U^*이다. 단, 이 경우 \Lambda의 대각 성분은 일반적으로 복소수이다.

정규 행렬은 에르미트 행렬, 반에르미트 행렬(skew-Hermitian, A^* = -A), 유니터리 행렬, 직교 행렬 등을 모두 포함하는 상위 범주이다. 실수 대칭 행렬은 정규 행렬의 특수한 경우이며, 이때 고유값이 모두 실수가 됨이 추가로 보장되는 것이다.

10. 스펙트럼 분해의 함수적 해석

스펙트럼 분해 A = \sum_{k=1}^{r} \lambda^{(k)} P_k는 대칭 행렬의 행렬 함수(matrix function) 정의의 토대가 된다. 스칼라 함수 f에 대하여 행렬 함수를

f(A) = \sum_{k=1}^{r} f(\lambda^{(k)}) P_k

로 정의한다. 이 정의는 다항식 함수에서 자연스럽게 유도되며, 지수 함수, 로그 함수, 제곱근 등으로 확장된다.

예를 들어, A가 양의 정부호 대칭 행렬이면

A^{1/2} = \sum_{k=1}^{r} \sqrt{\lambda^{(k)}} P_k

은 A^{1/2} A^{1/2} = A를 만족하는 유일한 양의 정부호 대칭 제곱근이다. 행렬 지수 함수는

e^A = \sum_{k=1}^{r} e^{\lambda^{(k)}} P_k

로 계산되며, 이는 미분 방정식 \dot{x} = Ax의 해 x(t) = e^{tA} x(0)에 직접 적용된다.

11. 스펙트럼 정리의 학술적 의의

스펙트럼 정리는 선형대수학의 구조 정리로서 다음과 같은 근본적 의의를 갖는다.

첫째, 대칭 행렬(또는 자기 수반 연산자)의 완전한 구조적 분류를 제공한다. 대칭 행렬은 그 고유값의 목록(중복도 포함)에 의하여 직교 동치(orthogonally equivalent) 관계 하에서 완전히 분류된다.

둘째, 이차 형식의 기하학적 분류와 직결된다. 스펙트럼 정리에 의하여 이차 형식 Q(x) = x^T A x는 적절한 직교 좌표 변환 x = Qy를 통하여 Q(x) = \sum_{i=1}^{n} \lambda_i y_i^2로 단순화된다. 이는 이차 곡면의 주축(principal axes)을 결정하는 것과 동일하다.

셋째, 함수 해석학에서 무한 차원 자기 수반 연산자에 대한 스펙트럼 이론의 출발점이 된다. 유한 차원의 스펙트럼 정리는 von Neumann의 무한 차원 스펙트럼 정리, 그리고 양자 역학에서의 관측 가능량(observable)의 수학적 기초로 확장된다.