30.18 대칭 행렬(Symmetric Matrix)의 고유값 분해와 실수 고유값 보장

1. 대칭 행렬의 정의와 기본 성질

n \times n 실수 행렬 A \in M_{n \times n}(\mathbb{R})가 **대칭 행렬(symmetric matrix)**이라 함은 전치(transpose)에 대하여

A = A^T

를 만족하는 것이다. 성분으로 표현하면 모든 1 \leq i, j \leq n에 대하여 a_{ij} = a_{ji}이다. 대칭 행렬은 주대각선을 기준으로 상삼각 부분과 하삼각 부분이 거울 대칭을 이루므로, n \times n 대칭 행렬을 완전히 기술하는 데는 n(n+1)/2개의 독립 성분만으로 충분하다.

대칭 행렬은 실수 내적 공간에서 **자기 수반 연산자(self-adjoint operator)**의 행렬 표현에 해당한다. 구체적으로, 표준 내적 \langle x, y \rangle = x^T y에 대하여

\langle Ax, y \rangle = (Ax)^T y = x^T A^T y = x^T A y = \langle x, Ay \rangle

이 성립한다. 이 자기 수반 성질은 대칭 행렬의 고유값 이론에서 핵심적 역할을 한다.

대칭 행렬의 대표적인 예로는 공분산 행렬 \Sigma = \frac{1}{n-1}X^T X, 헤시안 행렬 H_{ij} = \frac{\partial^2 f}{\partial x_i \partial x_j} (이계 편도함수가 연속일 때), 그래프 라플라시안 행렬 L = D - W 등이 있다.

2. 대칭 행렬의 이차 형식과의 관계

대칭 행렬은 **이차 형식(quadratic form)**과 일대일 대응 관계를 갖는다. n차원 벡터 x에 대하여 이차 형식

Q(x) = x^T A x = \sum_{i=1}^{n} \sum_{j=1}^{n} a_{ij} x_i x_j

을 정의할 때, 임의의 행렬 B에 대하여 x^T B x = x^T \left(\frac{B + B^T}{2}\right) x이므로, 이차 형식은 항상 대칭 행렬 \frac{B + B^T}{2}로 표현할 수 있다. 역으로, 모든 대칭 행렬은 하나의 이차 형식을 유일하게 결정한다. 이 대응 관계는 대칭 행렬의 고유값이 이차 형식의 기하학적 성질(타원체의 축 방향과 축 길이)을 직접 결정함을 의미한다.

3. 실수 고유값 보장 정리

정리 (대칭 행렬의 실수 고유값). 실수 대칭 행렬 A = A^T \in M_{n \times n}(\mathbb{R})의 모든 고유값은 실수이다.

증명. A v = \lambda v를 만족하는 \lambda \in \mathbb{C}와 v \in \mathbb{C}^n \setminus \{0\}이 존재한다고 하자. 양변에 대하여 에르미트 전치(conjugate transpose) v^*를 왼쪽에서 곱하면

v^* A v = \lambda \, v^* v

을 얻는다. 한편, A v = \lambda v의 양변에 켤레 전치를 취하면

(Av)^* = (\lambda v)^* \implies v^* A^* = \bar{\lambda} \, v^*

A는 실수 행렬이므로 A^* = \overline{A^T} = \overline{A}^T = A^T = A이다. 따라서 v^* A = \bar{\lambda} \, v^*이고, 이 등식의 우변에 v를 곱하면

v^* A v = \bar{\lambda} \, v^* v

을 얻는다. 두 등식을 결합하면

\lambda \, v^* v = \bar{\lambda} \, v^* v

v \neq 0이므로 v^* v = \sum_{i=1}^n \lvert v_i \rvert^2 > 0이다. 양변을 v^* v로 나누면

\lambda = \bar{\lambda}

이므로 \lambda \in \mathbb{R}이다. \blacksquare

이 증명의 핵심은 대칭 조건 A = A^T에 의하여 v^* A v가 동시에 \lambda \, v^* v와 \bar{\lambda} \, v^* v 모두와 같아진다는 점이다. 일반 행렬에서는 A \neq A^T이므로 이 논증이 성립하지 않으며, 실제로 비대칭 실수 행렬은 복소 고유값을 가질 수 있다.

4. 고유벡터를 실수 벡터로 선택할 수 있음

정리. 실수 대칭 행렬의 각 고유값에 대응하는 고유벡터는 실수 벡터로 선택할 수 있다.

증명. A v = \lambda v에서 \lambda \in \mathbb{R}임을 이미 증명하였다. v = u + iw (u, w \in \mathbb{R}^n)로 분해하면

A(u + iw) = \lambda(u + iw)

실수부와 허수부를 분리하면

Au = \lambda u, \quad Aw = \lambda w

v \neq 0이므로 u \neq 0 또는 w \neq 0이다. 따라서 u 또는 w 중 영벡터가 아닌 것이 \lambda에 대응하는 실수 고유벡터이다. \blacksquare

이 결과에 의하여 대칭 행렬의 고유값 분해는 실수 체계 내에서 완결된다.

5. 상이한 고유값에 대응하는 고유벡터의 직교성

정리. 대칭 행렬의 서로 다른 고유값에 대응하는 고유벡터는 직교한다.

증명. A v_1 = \lambda_1 v_1, A v_2 = \lambda_2 v_2이고 \lambda_1 \neq \lambda_2라 하자. 자기 수반 성질을 활용하면

\lambda_1 \langle v_1, v_2 \rangle = \langle A v_1, v_2 \rangle = \langle v_1, A^T v_2 \rangle = \langle v_1, A v_2 \rangle = \lambda_2 \langle v_1, v_2 \rangle

정리하면

(\lambda_1 - \lambda_2) \langle v_1, v_2 \rangle = 0

\lambda_1 \neq \lambda_2이므로 \langle v_1, v_2 \rangle = 0이다. \blacksquare

이 정리는 서로 다른 고유값에 대응하는 고유벡터의 직교성이 별도의 직교화 과정 없이 대칭 조건으로부터 자동으로 보장됨을 뜻한다. 동일한 고유값에 대응하는 고유 공간 내부에서는 직교성이 자동으로 보장되지 않으므로, 그람-슈미트 정규 직교화(Gram-Schmidt orthonormalization)를 적용하여야 한다.

6. 대칭 행렬의 대각화 가능성

정리. 실수 대칭 행렬은 항상 대각화 가능하다. 즉, 모든 고유값에 대하여 대수적 중복도와 기하학적 중복도가 일치한다.

이 정리의 증명은 스펙트럼 정리의 증명에 포함되므로 여기서는 결론만 기술한다. 핵심 논증은 다음과 같다: 대칭 행렬 A의 고유값 \lambda의 대수적 중복도가 k이면, A - \lambda I의 영 공간(null space)의 차원, 즉 기하학적 중복도 역시 k이다. 따라서 대칭 행렬은 결함 행렬(defective matrix)이 될 수 없다.

이 성질은 일반 행렬과의 결정적 차이이다. 일반 행렬에서는 대수적 중복도가 기하학적 중복도보다 큰 경우가 발생하여 대각화가 불가능할 수 있으나, 대칭 행렬에서는 이러한 상황이 원천적으로 차단된다.

7. 직교 대각화를 통한 고유값 분해

대칭 행렬은 단순히 대각화 가능할 뿐 아니라, **직교 행렬(orthogonal matrix)**에 의한 대각화, 즉 **직교 대각화(orthogonal diagonalization)**가 가능하다.

정리 (직교 대각화). A = A^T \in M_{n \times n}(\mathbb{R})이면, 직교 행렬 Q (Q^T Q = Q Q^T = I)가 존재하여

A = Q \Lambda Q^T

여기서 \Lambda = \operatorname{diag}(\lambda_1, \lambda_2, \ldots, \lambda_n)은 A의 고유값을 대각 성분으로 갖는 대각 행렬이고, Q의 열벡터 q_1, q_2, \ldots, q_n은 A의 정규 직교(orthonormal) 고유벡터이다.

7.1 귀납법에 의한 증명

n에 대한 수학적 귀납법으로 증명한다.

기저 단계 (n = 1). A = (a)이면 \lambda_1 = a이고 Q = (1)이므로 A = Q \Lambda Q^T가 자명하게 성립한다.

귀납 단계. n - 1차 대칭 행렬에 대하여 정리가 성립한다고 가정하자.

n차 실수 대칭 행렬 A의 특성 다항식은 n차 실수 계수 다항식이며, 대수학의 기본 정리에 의하여 복소수 범위에서 근이 존재한다. 앞서 증명한 실수 고유값 보장 정리에 의하여 이 근은 실수이다. 이를 \lambda_1이라 하고, 대응하는 단위 고유벡터를 q_1 (\lVert q_1 \rVert = 1)이라 하자.

q_1을 포함하는 \mathbb{R}^n의 정규 직교 기저 \{q_1, u_2, \ldots, u_n\}을 구성할 수 있다 (그람-슈미트 과정에 의하여). 이로부터 직교 행렬 U = (q_1 \mid u_2 \mid \cdots \mid u_n)을 구성하면

U^T A U = \begin{pmatrix} q_1^T \\ u_2^T \\ \vdots \\ u_n^T \end{pmatrix} A \begin{pmatrix} q_1 & u_2 & \cdots & u_n \end{pmatrix} = \begin{pmatrix} \lambda_1 & b^T \\ b & B \end{pmatrix}

여기서 b \in \mathbb{R}^{n-1}이고 B \in M_{(n-1) \times (n-1)}(\mathbb{R})이다. U^T A U는 대칭 행렬이다 ((U^T A U)^T = U^T A^T U = U^T A U). 따라서 블록 구조에서 (1, 2) 블록 b^T와 (2, 1) 블록 b의 관계로부터 이 행렬의 대칭성이 성립한다.

이제 b = 0임을 보인다. A q_1 = \lambda_1 q_1이므로

u_j^T A q_1 = \lambda_1 u_j^T q_1 = 0 \quad (j = 2, \ldots, n)

이것은 (U^T A U)의 첫 번째 열의 (2, 1) 이하 성분, 즉 b가 영벡터임을 의미한다. 대칭성에 의하여 b^T = 0이기도 하다. 따라서

U^T A U = \begin{pmatrix} \lambda_1 & 0^T \\ 0 & B \end{pmatrix}

B는 (n-1) \times (n-1) 대칭 행렬이므로 귀납 가설에 의하여 직교 행렬 Q'와 대각 행렬 \Lambda'가 존재하여 B = Q' \Lambda' Q'^T이다. 블록 직교 행렬

\tilde{Q} = \begin{pmatrix} 1 & 0^T \\ 0 & Q' \end{pmatrix}

를 구성하면 \tilde{Q}는 직교 행렬이고

\tilde{Q}^T (U^T A U) \tilde{Q} = \begin{pmatrix} \lambda_1 & 0^T \\ 0 & \Lambda' \end{pmatrix} = \Lambda

따라서 Q = U \tilde{Q}로 정의하면 Q는 직교 행렬이고

Q^T A Q = \Lambda, \quad A = Q \Lambda Q^T

이다. \blacksquare

8. 스펙트럼 분해(Spectral Decomposition)

직교 대각화 A = Q \Lambda Q^T를 열 단위로 전개하면

A = \sum_{i=1}^{n} \lambda_i \, q_i q_i^T

를 얻는다. 이를 **스펙트럼 분해(spectral decomposition)**라 한다. 여기서 P_i = q_i q_i^T는 q_i 방향으로의 **직교 사영 행렬(orthogonal projection matrix)**이며, 다음 성질을 만족한다:

• P_i^2 = P_i (멱등성)
• P_i^T = P_i (대칭성)
• \operatorname{rank}(P_i) = 1
• P_i P_j = 0 (i \neq j, 직교 사영 행렬 간의 직교성)
• \sum_{i=1}^{n} P_i = I (완전성)

스펙트럼 분해는 대칭 행렬 A의 작용을 “입력 벡터를 각 고유벡터 방향으로 사영한 후 해당 고유값으로 스케일링하여 합산“하는 것으로 해석한다. 즉, 임의의 벡터 x \in \mathbb{R}^n에 대하여

Ax = \sum_{i=1}^{n} \lambda_i (q_i^T x) \, q_i

이며, q_i^T x는 x의 q_i 방향 성분(좌표)이다.

중복 고유값이 존재하는 경우, 동일 고유값 \lambda에 대응하는 사영 행렬들을 합산하여

A = \sum_{k=1}^{r} \lambda^{(k)} P^{(k)}

로 쓸 수 있다. 여기서 r은 상이한 고유값의 개수이고, P^{(k)}는 \lambda^{(k)}에 대응하는 고유 공간으로의 직교 사영 행렬이다.

9. 고유값 분해의 구체적 절차

대칭 행렬 A의 고유값 분해 A = Q \Lambda Q^T를 구하는 절차는 다음과 같다.

단계 1. 고유값 계산. 특성 다항식 p_A(\lambda) = \det(A - \lambda I)를 구하여 고유값 \lambda_1, \lambda_2, \ldots, \lambda_n을 결정한다. 대칭 행렬이므로 모든 근이 실수임이 보장된다.

단계 2. 고유 공간 기저 계산. 각 고유값 \lambda_k에 대하여 동차 연립방정식 (A - \lambda_k I)v = 0을 풀어 고유 공간 E_{\lambda_k} = \ker(A - \lambda_k I)의 기저를 구한다.

단계 3. 정규 직교화. 동일 고유값의 고유 공간 내부에서 그람-슈미트 과정(Gram-Schmidt process)을 적용하여 정규 직교 기저를 구한다. 서로 다른 고유값에 대응하는 고유벡터는 이미 직교하므로 추가 직교화가 불필요하다.

단계 4. 행렬 구성. 정규 직교 고유벡터를 열로 배치하여 Q = (q_1 \mid q_2 \mid \cdots \mid q_n)을 구성하고, 대응하는 고유값을 대각에 배치하여 \Lambda = \operatorname{diag}(\lambda_1, \lambda_2, \ldots, \lambda_n)을 구성한다.

10. 수치 예시

10.1 예시 1: 상이한 고유값을 갖는 경우

A = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix}

A = A^T이므로 대칭 행렬이다.

단계 1. 특성 다항식은

p_A(\lambda) = \det \begin{pmatrix} 2 - \lambda & 1 \\ 1 & 2 - \lambda \end{pmatrix} = (2 - \lambda)^2 - 1 = \lambda^2 - 4\lambda + 3 = (\lambda - 1)(\lambda - 3)

따라서 \lambda_1 = 1, \lambda_2 = 3이다.

단계 2. \lambda_1 = 1: (A - I)v = 0을 풀면 v_1 = \begin{pmatrix} 1 \\ -1 \end{pmatrix}. \lambda_2 = 3: (A - 3I)v = 0을 풀면 v_2 = \begin{pmatrix} 1 \\ 1 \end{pmatrix}.

직교성 확인: v_1^T v_2 = 1 \cdot 1 + (-1) \cdot 1 = 0. 정리에 부합한다.

단계 3. 정규화하면 q_1 = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ -1 \end{pmatrix}, q_2 = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 \\ 1 \end{pmatrix}이다.

단계 4.

Q = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 & 1 \\ -1 & 1 \end{pmatrix}, \quad \Lambda = \begin{pmatrix} 1 & 0 \\ 0 & 3 \end{pmatrix}

검증:

Q \Lambda Q^T = \frac{1}{\sqrt{2}} \begin{pmatrix} 1 & 1 \\ -1 & 1 \end{pmatrix} \begin{pmatrix} 1 & 0 \\ 0 & 3 \end{pmatrix} \frac{1}{\sqrt{2}} \begin{pmatrix} 1 & -1 \\ 1 & 1 \end{pmatrix} = \begin{pmatrix} 2 & 1 \\ 1 & 2 \end{pmatrix} = A

10.2 예시 2: 중복 고유값을 갖는 경우

A = \begin{pmatrix} 3 & 0 & 0 \\ 0 & 2 & 1 \\ 0 & 1 & 2 \end{pmatrix}

단계 1. 특성 다항식은

p_A(\lambda) = (3 - \lambda)\bigl[(2 - \lambda)^2 - 1\bigr] = (3 - \lambda)(\lambda - 1)(\lambda - 3) = (\lambda - 1)(3 - \lambda)^2

따라서 \lambda_1 = 1 (대수적 중복도 1), \lambda_2 = 3 (대수적 중복도 2)이다.

단계 2. \lambda_1 = 1: v_1 = \begin{pmatrix} 0 \\ 1 \\ -1 \end{pmatrix}. \lambda_2 = 3: 고유 공간의 기저는 \left\{ \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix}, \begin{pmatrix} 0 \\ 1 \\ 1 \end{pmatrix} \right\}이다. 기하학적 중복도가 2로서 대수적 중복도와 일치한다.

단계 3. \lambda_2 = 3의 고유 공간 기저는 이미 직교하므로 정규화만 수행한다.

q_1 = \frac{1}{\sqrt{2}} \begin{pmatrix} 0 \\ 1 \\ -1 \end{pmatrix}, \quad q_2 = \begin{pmatrix} 1 \\ 0 \\ 0 \end{pmatrix}, \quad q_3 = \frac{1}{\sqrt{2}} \begin{pmatrix} 0 \\ 1 \\ 1 \end{pmatrix}

단계 4. A = Q \Lambda Q^T로 분해된다.

11. 일반 행렬과 대칭 행렬의 고유값 분해 비교

12. 대칭 행렬 실수 고유값 보장의 학술적·실용적 의의

대칭 행렬의 모든 고유값이 실수임이 보장되는 성질은 다음의 근본적 의의를 갖는다.

정부호성 판별. 대칭 행렬의 고유값이 모두 실수이므로, 고유값의 부호를 통하여 양의 정부호(positive definite), 양의 반정부호(positive semi-definite), 음의 정부호(negative definite), 음의 반정부호(negative semi-definite), 부정부호(indefinite) 여부를 판별할 수 있다. 이는 이차 형식의 부호 판별 및 최적화에서 극값의 성격 판별에 직결된다.

스펙트럼의 실수 직선 위 배치. 고유값이 실수이므로 크기 비교, 정렬, 구간 추정이 가능하다. 이는 주성분 분석(PCA)에서 분산의 크기순 정렬, 고유값의 감소 속도에 기반한 차원 선택 등에 필수적이다.

수치 해석적 안정성. 대칭 행렬의 고유값 문제는 비대칭 행렬에 비하여 수치적으로 안정하다. 대칭 행렬의 고유값 조건수(condition number)는 1이며, 이는 행렬 원소의 미소 섭동이 고유값에 미치는 영향이 선형적으로 제한됨을 뜻한다. Weyl의 섭동 부등식에 의하면, 대칭 행렬 A와 그 섭동 A + E (E = E^T)에 대하여

\lvert \lambda_i(A + E) - \lambda_i(A) \rvert \leq \lVert E \rVert_2

이 성립한다.

딥러닝에서의 적용. 공분산 행렬의 고유값 분해를 통한 주성분 분석, 헤시안 행렬의 고유값 분석을 통한 손실 함수의 곡률 분석, 그래프 라플라시안의 스펙트럼 분석을 통한 그래프 신경망의 주파수 영역 해석 등에서, 대칭 행렬의 실수 고유값 보장은 분석의 기초적 전제 조건이 된다.