30.22 양의 반정부호(Positive Semi-Definite) 행렬의 정의와 성질

1. 양의 반정부호 행렬의 정의

$n \times n$ 실수 대칭 행렬 $A$ 가 **양의 반정부호(positive semi-definite)**라 함은 모든 벡터 $x \in \mathbb{R}^n$ 에 대하여

$x^T A x \geq 0$

이 성립하는 것이다. 이를 $A \succeq 0$ 으로 표기한다.

양의 정부호(positive definite) 행렬과의 핵심적 차이는 등호의 허용 여부에 있다. 양의 정부호 행렬은 $x \neq 0$ 일 때 $x^T A x > 0$ 을 요구하나, 양의 반정부호 행렬은 영이 아닌 벡터에 대하여도 $x^T A x = 0$ 이 허용된다. 따라서 양의 정부호 행렬은 양의 반정부호 행렬의 진부분 집합이다:

$\{A : A \succ 0\} \subsetneq \{A : A \succeq 0\}$

2. 고유값에 의한 특성화

정리. 대칭 행렬 $A = A^T \in M_{n \times n}(\mathbb{R})$ 가 양의 반정부호일 필요충분조건은 $A$ 의 모든 고유값이 음이 아닌 것이다:

$A \succeq 0 \iff \lambda_i \geq 0, \quad \forall \, i = 1, 2, \ldots, n$

증명. 직교 대각화 $A = Q \Lambda Q^T$ 에서 $y = Q^T x$ 로 놓으면

$x^T A x = y^T \Lambda y = \sum_{i=1}^{n} \lambda_i y_i^2$

$(\Rightarrow)$ $A \succeq 0$ 이면, $x = q_j$ 를 대입하면 $y = e_j$ 이므로 $\lambda_j = q_j^T A q_j \geq 0$ 이다.

$(\Leftarrow)$ 모든 $\lambda_i \geq 0$ 이면, $\sum_{i=1}^{n} \lambda_i y_i^2 \geq 0$ 이므로 $x^T A x \geq 0$ 이다. $\blacksquare$

양의 정부호 행렬이 모든 고유값이 순양수(strictly positive)인 것과 달리, 양의 반정부호 행렬은 0인 고유값의 존재를 허용한다. 0인 고유값의 개수는 행렬의 핵(kernel, null space)의 차원과 같다.

3. 양의 반정부호 행렬의 동치 조건

대칭 행렬 $A \in M_{n \times n}(\mathbb{R})$ 에 대하여 다음은 모두 동치이다:

(1) $A \succeq 0$ 이다 ( $x^T A x \geq 0$ , $\forall x \in \mathbb{R}^n$ ).

(2) $A$ 의 모든 고유값이 음이 아니다 ( $\lambda_i \geq 0$ , $\forall i$ ).

(3) 행렬 $B \in M_{n \times m}(\mathbb{R})$ (어떤 $m$ 에 대하여)가 존재하여 $A = B B^T$ 이다.

(4) $A$ 의 모든 **주소 행렬식(principal minor)**이 음이 아니다.

(5) 직교 대각화 $A = Q \Lambda Q^T$ 에서 $\Lambda$ 의 모든 대각 성분이 음이 아니다.

(6) 대칭 행렬의 양의 반정부호 제곱근 $A^{1/2} \succeq 0$ 이 존재하여 $A = (A^{1/2})^2$ 이다.

조건 (3)의 증명을 제시한다.

(1) $\Rightarrow$ (3): $A \succeq 0$ 이면 직교 대각화 $A = Q \Lambda Q^T$ 에서 $\Lambda = \operatorname{diag}(\lambda_1, \ldots, \lambda_n)$ 이고 $\lambda_i \geq 0$ 이다. $\Lambda^{1/2} = \operatorname{diag}(\sqrt{\lambda_1}, \ldots, \sqrt{\lambda_n})$ 으로 정의하면 $A = Q \Lambda^{1/2} (\Lambda^{1/2})^T Q^T = (Q \Lambda^{1/2})(Q \Lambda^{1/2})^T$ 이다. $B = Q \Lambda^{1/2}$ 로 놓으면 $A = B B^T$ 이다.

(3) $\Rightarrow$ (1): $A = B B^T$ 이면, 임의의 $x$ 에 대하여 $x^T A x = x^T B B^T x = (B^T x)^T (B^T x) = \lVert B^T x \rVert^2 \geq 0$ 이다. $\blacksquare$

조건 (3)은 양의 반정부호 행렬의 본질적 구조를 드러낸다: 양의 반정부호 행렬은 항상 어떤 행렬의 그람 행렬(Gram matrix)로 표현된다.

주의. Sylvester 기준과의 차이에 유의하여야 한다. 양의 정부호 행렬에서는 “모든 선행 주소 행렬식(leading principal minor)이 양수“가 필요충분조건이나, 양의 반정부호 행렬에서는 “모든 선행 주소 행렬식이 음이 아님“이 필요조건일 뿐 충분조건이 아니다. 양의 반정부호 판별을 위해서는 선행 주소 행렬식뿐 아니라 **모든 주소 행렬식(모든 크기의 모든 주소 부분 행렬의 행렬식)**이 음이 아니어야 한다.

반례: $A = \begin{pmatrix} 0 & 0 \\ 0 & -1 \end{pmatrix}$ 에서 선행 주소 행렬식은 $\Delta_1 = 0 \geq 0$ , $\Delta_2 = 0 \geq 0$ 이나, $A$ 는 고유값 $-1$ 을 가지므로 양의 반정부호가 아니다.

4. 양의 반정부호 행렬의 핵 공간과 계수

$A \succeq 0$ 이고 $\operatorname{rank}(A) = r$ 이면, $A$ 는 정확히 $r$ 개의 양의 고유값과 $n - r$ 개의 영 고유값을 갖는다. 핵 공간 $\ker(A)$ 의 차원은 $n - r$ 이며, 이 핵 공간은 $x^T A x = 0$ 을 만족하는 벡터 $x$ 의 집합과 일치한다.

정리. $A \succeq 0$ 이면 $x^T A x = 0 \iff A x = 0$ 이다.

증명. $(\Leftarrow)$ $Ax = 0$ 이면 $x^T A x = x^T \cdot 0 = 0$ 이다.

$(\Rightarrow)$ $A = B B^T$ 로 쓰면, $x^T A x = \lVert B^T x \rVert^2 = 0$ 이므로 $B^T x = 0$ 이다. 따라서 $Ax = B B^T x = B \cdot 0 = 0$ 이다. $\blacksquare$

이 정리는 양의 반정부호 행렬에서 이차 형식이 0이 되는 벡터가 정확히 핵 공간의 원소임을 보여준다.

5. 양의 반정부호 행렬의 대수적 성질

5.1 합과 스칼라배

명제. $A \succeq 0$ 이고 $B \succeq 0$ 이면 $A + B \succeq 0$ 이다. $A \succeq 0$ 이고 $\alpha \geq 0$ 이면 $\alpha A \succeq 0$ 이다.

증명. $x^T(A + B)x = x^T A x + x^T B x \geq 0$ . $x^T(\alpha A)x = \alpha \cdot x^T A x \geq 0$ . $\blacksquare$

따라서 양의 반정부호 행렬의 집합은 **볼록 원뿔(convex cone)**을 형성한다. 이를 **양의 반정부호 원뿔(positive semi-definite cone)**이라 하고 $\mathcal{S}_+^n$ 으로 표기한다.

5.2 합동 변환

명제. $A \succeq 0$ 이고 $C \in M_{n \times m}(\mathbb{R})$ 이면 $C^T A C \succeq 0$ 이다.

증명. 임의의 $y \in \mathbb{R}^m$ 에 대하여 $y^T (C^T A C) y = (Cy)^T A (Cy) \geq 0$ 이다. $\blacksquare$

$C$ 가 가역이 아니어도 성립한다는 점이 양의 정부호 행렬에서의 합동 변환과 다르다. 양의 정부호 행렬에서는 $C$ 의 가역성이 양의 정부호성 보존에 필수적이나, 양의 반정부호에서는 그렇지 않다.

5.3 아다마르 곱(Hadamard Product)

정리 (Schur 곱 정리). $A \succeq 0$ 이고 $B \succeq 0$ 이면 아다마르 곱(성분별 곱) $A \circ B$ ( $[A \circ B]_{ij} = a_{ij} b_{ij}$ ) 역시 양의 반정부호이다.

이 정리는 Schur에 의하여 증명되었으며, 양의 반정부호 원뿔이 아다마르 곱에 대하여 닫혀 있음을 보여준다.

5.4 행렬 곱에서의 주의

일반적으로, $A \succeq 0$ 이고 $B \succeq 0$ 이라 하여 $AB \succeq 0$ 이 성립하는 것은 아니다. $AB$ 가 대칭이 아닐 수 있기 때문이다. 그러나 $AB = BA$ (가환 조건)가 성립하면 $AB \succeq 0$ 이다.

6. 양의 반정부호 행렬의 제곱근

정리. $A \succeq 0$ 이면 유일한 양의 반정부호 행렬 $A^{1/2} \succeq 0$ 이 존재하여 $(A^{1/2})^2 = A$ 이다.

구성. 직교 대각화 $A = Q \Lambda Q^T$ 에서 $A^{1/2} = Q \Lambda^{1/2} Q^T$ 로 정의한다. 여기서 $\Lambda^{1/2} = \operatorname{diag}(\sqrt{\lambda_1}, \ldots, \sqrt{\lambda_n})$ 이다. $\lambda_i \geq 0$ 이므로 $\sqrt{\lambda_i}$ 는 실수이고 음이 아니다.

검증. $(A^{1/2})^2 = Q \Lambda^{1/2} Q^T Q \Lambda^{1/2} Q^T = Q \Lambda Q^T = A$ . $A^{1/2}$ 의 고유값은 $\sqrt{\lambda_i} \geq 0$ 이므로 $A^{1/2} \succeq 0$ 이다.

유일성. $A^{1/2}$ 의 유일성은 다항식 보간에 의한 행렬 함수의 유일성으로부터 도출된다.

7. 양의 정부호 행렬과 양의 반정부호 행렬의 관계

양의 반정부호 행렬은 양의 정부호 행렬의 **극한(closure)**으로 이해할 수 있다. 구체적으로, $A \succeq 0$ 이면 임의의 $\epsilon > 0$ 에 대하여

$A + \epsilon I \succ 0$

이다. $A + \epsilon I$ 의 고유값은 $\lambda_i + \epsilon > 0$ 이므로 양의 정부호이다. 그리고

$\lim_{\epsilon \to 0^+} (A + \epsilon I) = A$

이므로, 양의 반정부호 행렬은 양의 정부호 행렬의 열에 의한 극한점이다. 이 관계는 양의 반정부호 원뿔 $\mathcal{S}_+^n$ 이 양의 정부호 원뿔 $\mathcal{S}_{++}^n$ 의 위상적 폐포(closure)임을 뜻한다.

8. 뢰브너 순서(Loewner Order)

양의 반정부호 개념을 이용하여 대칭 행렬 사이에 **반순서(partial order)**를 정의할 수 있다.

정의 (뢰브너 순서). 대칭 행렬 $A, B \in M_{n \times n}(\mathbb{R})$ 에 대하여

$A \preceq B \iff B - A \succeq 0$

으로 정의한다. 이 순서를 뢰브너 순서(Loewner order)라 한다.

뢰브너 순서는 반사성( $A \preceq A$ ), 반대칭성( $A \preceq B$ 이고 $B \preceq A$ 이면 $A = B$ ), 추이성( $A \preceq B$ 이고 $B \preceq C$ 이면 $A \preceq C$ )을 만족하므로 반순서이다. 그러나 전순서(total order)는 아니다: 임의의 두 대칭 행렬이 비교 가능한 것은 아니다.

뢰브너 순서의 고유값 해석은 다음과 같다. $A \preceq B$ 이면 Weyl의 부등식에 의하여 $\lambda_i(A) \leq \lambda_i(B)$ ( $i = 1, \ldots, n$ , 고유값을 오름차순으로 정렬할 때)가 성립한다.

9. 수치 예시

9.1 예시 1: 양의 반정부호 행렬

$A = \begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix}$

고유값: $p_A(\lambda) = (1-\lambda)^2 - 1 = \lambda^2 - 2\lambda = \lambda(\lambda - 2)$ 이므로 $\lambda_1 = 0$ , $\lambda_2 = 2$ 이다. 모든 고유값이 음이 아니므로 $A \succeq 0$ 이다. 그러나 $\lambda_1 = 0$ 이므로 양의 정부호는 아니다.

$\ker(A) = \operatorname{span}\left\{\begin{pmatrix} 1 \\ -1 \end{pmatrix}\right\}$ 이고, $\operatorname{rank}(A) = 1$ 이다.

$A = B B^T$ 의 분해: $B = \begin{pmatrix} 1 \\ 1 \end{pmatrix}$ 로 놓으면 $B B^T = \begin{pmatrix} 1 & 1 \\ 1 & 1 \end{pmatrix} = A$ 이다.

9.2 예시 2: 외적 행렬(Outer Product Matrix)

임의의 벡터 $v \in \mathbb{R}^n$ 에 대하여 $A = v v^T$ 는 항상 양의 반정부호이다:

$x^T (v v^T) x = (v^T x)^2 \geq 0$

고유값은 $\lambda_1 = \lVert v \rVert^2$ (고유벡터 $v/\lVert v \rVert$ )이고, 나머지 $n-1$ 개의 고유값은 모두 0이다 ( $\operatorname{rank}(v v^T) = 1$ ). $v \neq 0$ 이면 양의 반정부호이나 양의 정부호는 아니다.

9.3 예시 3: 표본 공분산 행렬

$m$ 개의 데이터 점 $x_1, \ldots, x_m \in \mathbb{R}^n$ 이 주어졌을 때, 중심화된 데이터 행렬 $X \in M_{m \times n}(\mathbb{R})$ (각 행이 $x_i - \bar{x}$ )에 대한 표본 공분산 행렬은

$S = \frac{1}{m-1} X^T X$

이다. $X^T X = (X^T)(X^T)^T$ 에서 $X^T X$ 는 $B B^T$ 형태이므로 $X^T X \succeq 0$ 이고, 따라서 $S \succeq 0$ 이다. $S$ 가 양의 정부호가 되려면 $X$ 의 열 계수가 $n$ 이어야 하며, 이는 $m > n$ 이고 데이터가 일반적 위치(general position)에 있을 때 보장된다. $m \leq n$ 이면 $\operatorname{rank}(S) \leq m - 1 < n$ 이므로 $S$ 는 특이(singular)이며, 양의 반정부호이나 양의 정부호는 아니다.

10. 양의 반정부호 행렬과 행렬 노름

양의 반정부호 행렬 $A$ 에 대하여 $\operatorname{tr}(A)$ 와 스펙트럼 노름(spectral norm)은 다음의 관계를 갖는다:

$\lVert A \rVert_2 = \lambda_{\max}(A) \leq \operatorname{tr}(A) = \sum_{i=1}^{n} \lambda_i$

등호는 $A$ 의 계수(rank)가 1일 때 성립한다. 또한, 프로베니우스 노름(Frobenius norm)에 대하여

$\lVert A \rVert_F = \sqrt{\sum_{i=1}^{n} \lambda_i^2} = \sqrt{\operatorname{tr}(A^2)}$

이 성립한다.

11. 양의 반정부호 원뿔의 기하학

양의 반정부호 행렬의 집합 $\mathcal{S}_+^n$ 은 $n \times n$ 대칭 행렬의 공간 $\mathcal{S}^n$ ( $\dim \mathcal{S}^n = \frac{n(n+1)}{2}$ ) 내의 **닫힌 볼록 원뿔(closed convex cone)**이다.

볼록성: $A, B \in \mathcal{S}_+^n$ 이고 $0 \leq t \leq 1$ 이면 $tA + (1-t)B \in \mathcal{S}_+^n$ 이다.
원뿔 성질: $A \in \mathcal{S}_+^n$ 이고 $\alpha \geq 0$ 이면 $\alpha A \in \mathcal{S}_+^n$ 이다.
닫힘 성질: $\{A_k\} \subset \mathcal{S}_+^n$ 이고 $A_k \to A$ 이면 $A \in \mathcal{S}_+^n$ 이다.
뾰족함(pointedness): $A \in \mathcal{S}_+^n$ 이고 $-A \in \mathcal{S}_+^n$ 이면 $A = 0$ 이다.

양의 반정부호 원뿔은 반정부호 프로그래밍(semi-definite programming, SDP)에서 실행 가능 영역을 정의하는 기본 구조이며, 볼록 최적화의 중요한 범주를 형성한다.

12. 딥러닝 및 기계 학습에서의 양의 반정부호 행렬

커널 함수와 그람 행렬. 양의 반정부호 커널 함수 $k : \mathcal{X} \times \mathcal{X} \to \mathbb{R}$ 에 대하여, 임의의 유한 집합 $\{x_1, \ldots, x_m\} \subset \mathcal{X}$ 로부터 구성되는 그람 행렬 $K_{ij} = k(x_i, x_j)$ 가 항상 양의 반정부호일 것을 요구한다. 이 조건은 Mercer 정리의 핵심이며, 커널 기법의 재생 핵 힐베르트 공간(RKHS) 이론의 기초이다.

정칙화와 양의 정부호화. 양의 반정부호 행렬 $A$ 가 특이(singular)인 경우, 정칙화 항 $\epsilon I$ 를 더하여 $A + \epsilon I \succ 0$ 으로 만드는 것이 일반적이다. 이를 **티호노프 정칙화(Tikhonov regularization)**라 하며, 수치 안정성을 확보하고 역행렬의 존재를 보장한다. $\epsilon$ 의 선택은 편향-분산 균형(bias-variance tradeoff)과 관련된다.

피셔 정보 행렬(Fisher Information Matrix). 통계적 모형의 매개변수에 대한 피셔 정보 행렬은 양의 반정부호이며, 매개변수 추정량의 분산 하한(Cramér-Rao bound)을 결정한다. 자연 경사 하강법(natural gradient descent)에서는 피셔 정보 행렬의 역행렬을 이용하여 갱신 방향을 조정한다.