29.32 양의 정부호(Positive Definite) 행렬의 정의와 판별법

1. 양의 정부호 행렬의 정의

n \times n 실수 대칭 행렬 A (A = A^T)가 **양의 정부호(positive definite)**라 함은 모든 비영 벡터 x \in \mathbb{R}^n (x \neq 0)에 대하여

x^T A x > 0

이 성립하는 것이다. 이를 A \succ 0으로 표기한다.

관련하여 다음의 부류들이 정의된다.

2. 양의 정부호의 동치 조건

n \times n 실수 대칭 행렬 A에 대하여 다음은 모두 동치이다.

(i) A는 양의 정부호이다: x^T Ax > 0 (\forall x \neq 0).

(ii) A의 모든 고유값이 양수이다: \lambda_i > 0 (i = 1, \ldots, n).

(iii) A의 모든 선행 주소행렬식(leading principal minor)이 양수이다(실베스터 판별법).

(iv) A = R^T R을 만족하는 가역 행렬 R이 존재한다.

(v) A = L L^T를 만족하는 하삼각 가역 행렬 L이 존재한다(촐레스키 분해).

(vi) A의 모든 피봇(pivot, 가우스 소거법에서의 대각 원소)이 양수이다.

3. 판별법의 증명

3.1 (i) \Leftrightarrow (ii): 고유값 판별법

증명. A가 대칭이므로 스펙트럼 정리에 의하여 A = Q\Lambda Q^T, Q^TQ = I이다. y = Q^T x로 변수 치환하면

x^T A x = x^T Q \Lambda Q^T x = y^T \Lambda y = \sum_{i=1}^n \lambda_i y_i^2

x \neq 0이면 y = Q^T x \neq 0 (Q가 가역이므로)이다.

(\Rightarrow) 모든 비영 x에 대하여 \sum_i \lambda_i y_i^2 > 0이면, y = e_i로 두면 \lambda_i > 0이다.

(\Leftarrow) 모든 \lambda_i > 0이면, y \neq 0일 때 \sum_i \lambda_i y_i^2 > 0이다. \blacksquare

3.2 (i) \Leftrightarrow (iii): 실베스터 판별법(Sylvester’s Criterion)

A의 k번째 선행 주소행렬식(leading principal minor)을 \Delta_k라 하자.

\Delta_k = \det(A_k), \quad A_k = \begin{pmatrix} a_{11} & \cdots & a_{1k} \\ \vdots & \ddots & \vdots \\ a_{k1} & \cdots & a_{kk} \end{pmatrix}

정리 (실베스터 판별법). 실수 대칭 행렬 A가 양의 정부호일 필요충분조건은

\Delta_1 > 0, \quad \Delta_2 > 0, \quad \ldots, \quad \Delta_n > 0

이다.

2 \times 2 행렬의 예시. A = \begin{pmatrix} a & b \\ b & d \end{pmatrix}이 양의 정부호일 조건은

\Delta_1 = a > 0, \quad \Delta_2 = ad - b^2 > 0

3.3 (i) \Leftrightarrow (v): 촐레스키 분해(Cholesky Decomposition)

정리. 실수 대칭 행렬 A가 양의 정부호일 필요충분조건은 유일한 하삼각 행렬 L (대각 성분이 양수)이 존재하여

A = LL^T

가 성립하는 것이다.

촐레스키 분해는 가우스 소거법의 대칭 버전으로, 양의 정부호 행렬을 포함하는 연립방정식 Ax = b를 LL^T x = b로 변환하여 전방 대입(forward substitution)과 후방 대입(backward substitution)으로 효율적으로 풀 수 있게 한다.

4. 양의 정부호 행렬의 성질

4.1 대각 성분

양의 정부호 행렬의 대각 성분은 모두 양수이다.

a_{ii} = e_i^T A e_i > 0

4.2 행렬식

\det(A) = \prod_{i=1}^n \lambda_i > 0

모든 고유값이 양수이므로 행렬식도 양수이다.

4.3 역행렬

양의 정부호 행렬은 가역이며, 역행렬도 양의 정부호이다.

증명. A의 고유값이 모두 양수이므로 \det(A) > 0이고 A는 가역이다. A^{-1}의 고유값은 1/\lambda_i > 0이므로 A^{-1}도 양의 정부호이다. \blacksquare

4.4 합과 곱

A \succ 0이고 B \succ 0이면 A + B \succ 0이다.

그러나 AB가 반드시 양의 정부호인 것은 아니다. AB는 일반적으로 대칭이 아니기 때문이다.

4.5 대각합과 고유값

\text{tr}(A) = \sum_{i=1}^n \lambda_i > 0

5. 구체적 예시

5.1 예시 1: 항등 행렬

I_n은 양의 정부호이다. x^T I_n x = \|x\|^2 > 0 (x \neq 0). 고유값은 모두 1이다.

5.2 예시 2: 대각 행렬

D = \text{diag}(d_1, \ldots, d_n)이 양의 정부호일 조건은 d_i > 0 (\forall i)이다.

5.3 예시 3: 2 \times 2 행렬

A = \begin{pmatrix} 4 & 2 \\ 2 & 3 \end{pmatrix}

\Delta_1 = 4 > 0, \Delta_2 = 12 - 4 = 8 > 0이므로 양의 정부호이다. 고유값은 \lambda = \frac{7 \pm \sqrt{17}}{2}이며 모두 양수이다.

5.4 예시 4: 양의 정부호가 아닌 행렬

B = \begin{pmatrix} 1 & 3 \\ 3 & 2 \end{pmatrix}

\Delta_1 = 1 > 0이나 \Delta_2 = 2 - 9 = -7 < 0이므로 양의 정부호가 아니다(부정부호).

6. 양의 반정부호 행렬

양의 반정부호(positive semi-definite) 행렬 A \succeq 0에 대하여:

• 모든 고유값이 \lambda_i \geq 0이다.
• x^T Ax = 0인 비영 벡터 x가 존재할 수 있다(\lambda = 0에 대응하는 고유벡터).
• A = B^T B를 만족하는 (반드시 가역이 아닌) 행렬 B가 존재한다.
• 실베스터 판별법은 양의 반정부호에 대해서는 직접 적용되지 않는다. 양의 반정부호의 판별에는 모든 주소행렬식(leading이 아닌 모든 크기의 principal minor)이 비음수임을 확인해야 한다.

7. 딥러닝에서의 양의 정부호 행렬

딥러닝에서 양의 정부호 행렬은 여러 맥락에서 등장한다.

손실 함수 L(\theta)의 헤시안 \nabla^2 L이 양의 정부호이면, \theta는 엄밀한 극소점(strict local minimum)이다. 이는 이차 형식 \frac{1}{2}h^T (\nabla^2 L) h > 0 (\forall h \neq 0)으로부터 직접 도출된다.

피셔 정보 행렬 F은 양의 반정부호 행렬이며, 통계 모형의 매개변수 공간에서의 리만 계량(Riemannian metric)을 정의한다. 자연 기울기(natural gradient) F^{-1}\nabla L의 계산은 F의 양의 정부호성을 전제로 한다.

공분산 행렬은 항상 양의 반정부호이며, 데이터의 분산 구조를 인코딩한다. 정칙화(regularization)에 의해 양의 정부호성을 보장하는 것이 수치적 안정성의 관점에서 중요하다.