29.22 직교 행렬(Orthogonal Matrix)의 성질: 행렬식과 역행렬

1. 직교 행렬의 정의

$n \times n$ 실수 행렬 $Q$ 가 **직교 행렬(orthogonal matrix)**이라 함은 다음을 만족하는 것이다.

$Q^T Q = Q Q^T = I_n$

이 정의는 $Q^{-1} = Q^T$ , 즉 직교 행렬의 역행렬이 전치 행렬과 같다는 것을 의미한다.

2. 직교 행렬의 열과 행에 의한 특성화

2.1 열벡터에 의한 특성화

$Q = (q_1 \mid q_2 \mid \cdots \mid q_n)$ 으로 열벡터를 표기하면, $Q^T Q = I_n$ 의 $(i,j)$ 성분은

$(Q^T Q)_{ij} = q_i^T q_j = \langle q_i, q_j \rangle = \delta_{ij}$

이다. 따라서 $Q$ 가 직교 행렬일 필요충분조건은 열벡터들이 정규 직교 집합(orthonormal set)을 이루는 것이다.

$\langle q_i, q_j \rangle = \begin{cases} 1 & \text{if } i = j \\ 0 & \text{if } i \neq j \end{cases}$

2.2 행벡터에 의한 특성화

$QQ^T = I_n$ 으로부터, $Q$ 의 행벡터들도 정규 직교 집합을 이룬다. $Q$ 의 $i$ 번째 행을 $r_i^T$ 로 표기하면

$(QQ^T)_{ij} = r_i^T r_j = \delta_{ij}$

따라서 직교 행렬의 열벡터들이 정규 직교인 것과 행벡터들이 정규 직교인 것은 동치이다.

3. 행렬식의 성질

3.1 행렬식의 값

정리. 직교 행렬 $Q$ 의 행렬식은 $\det(Q) = \pm 1$ 이다.

증명. $Q^T Q = I_n$ 의 양변에 행렬식을 취하면

$\det(Q^T Q) = \det(I_n) = 1$

행렬식의 곱 법칙과 전치 행렬의 행렬식 성질에 의하여

$\det(Q^T)\det(Q) = (\det Q)^2 = 1$

따라서 $\det Q = \pm 1$ 이다. $\blacksquare$

3.2 행렬식에 의한 분류

행렬식의 부호에 따라 직교 행렬은 두 부류로 분류된다.

분류	조건	기하학적 의미	군 구조
고유 직교 행렬	$\det Q = +1$	방향 보존 (회전)	$SO(n)$
비고유 직교 행렬	$\det Q = -1$	방향 반전 (반사 포함)	$O(n) \setminus SO(n)$

$\det Q = +1$ 인 직교 행렬의 집합은 특수 직교군(special orthogonal group) $SO(n)$ 을 이루며, 이는 $O(n)$ 의 정규 부분군(normal subgroup)이다.

3.3 행렬식의 곱에 대한 보존

두 직교 행렬 $Q_1$ , $Q_2$ 의 곱에 대하여

$\det(Q_1 Q_2) = \det(Q_1) \det(Q_2)$

이므로:

$\det Q_1 = \det Q_2 = +1$ 이면 $\det(Q_1 Q_2) = +1$ (회전의 합성은 회전)
$\det Q_1 = \det Q_2 = -1$ 이면 $\det(Q_1 Q_2) = +1$ (반사의 합성은 회전)
$\det Q_1 = +1$ , $\det Q_2 = -1$ 이면 $\det(Q_1 Q_2) = -1$ (회전과 반사의 합성은 반사)

4. 역행렬의 성질

4.1 $Q^{-1} = Q^T$ 의 의미

직교 행렬의 역행렬이 전치 행렬과 일치한다는 성질은 계산적 관점에서 매우 중요하다.

일반적인 $n \times n$ 가역 행렬의 역행렬 계산은 $O(n^3)$ 의 연산을 필요로 한다. 그러나 직교 행렬의 경우 역행렬이 전치에 의해 즉시 얻어지므로, 역행렬 계산의 복잡도가 $O(n^2)$ (원소의 재배치)로 감소한다.

4.2 역행렬의 직교성

정리. $Q$ 가 직교 행렬이면 $Q^{-1} = Q^T$ 도 직교 행렬이다.

증명. $(Q^T)^T Q^T = Q Q^T = I_n$ 이므로 $Q^T$ 는 직교 행렬의 정의를 만족한다. $\blacksquare$

4.3 역행렬의 행렬식

$\det(Q^{-1}) = \det(Q^T) = \det(Q) = \pm 1$

5. 직교 행렬의 대수적 성질

5.1 곱의 폐쇄성

정리. $Q_1$ , $Q_2$ 가 직교 행렬이면 $Q_1 Q_2$ 도 직교 행렬이다.

증명. $(Q_1 Q_2)^T(Q_1 Q_2) = Q_2^T Q_1^T Q_1 Q_2 = Q_2^T I Q_2 = Q_2^T Q_2 = I$ . $\blacksquare$

5.2 거듭제곱의 직교성

직교 행렬 $Q$ 의 임의의 정수 거듭제곱 $Q^k$ ( $k \in \mathbb{Z}$ )는 직교 행렬이다. $k > 0$ 이면 곱의 폐쇄성으로, $k < 0$ 이면 $(Q^{-1})^{|k|} = (Q^T)^{|k|}$ 로 증명된다.

5.3 직교군의 군 구조

$O(n) = \{Q \in M_{n \times n}(\mathbb{R}) \mid Q^T Q = I_n\}$ 은 행렬 곱셈에 대하여 군을 이루며, 다음의 군 공리를 만족한다.

(1) 폐쇄성: $Q_1, Q_2 \in O(n) \Rightarrow Q_1 Q_2 \in O(n)$

(2) 결합법칙: $(Q_1 Q_2)Q_3 = Q_1(Q_2 Q_3)$

(3) 항등원: $I_n \in O(n)$

(4) 역원: $Q \in O(n) \Rightarrow Q^{-1} = Q^T \in O(n)$

6. 직교 행렬의 고유값과 스펙트럼 구조

6.1 고유값의 절대값

정리. 직교 행렬 $Q$ 의 고유값 $\lambda$ 는 $|\lambda| = 1$ 을 만족한다.

증명. $Qv = \lambda v$ ( $v \neq 0$ )이면

$\|v\|^2 = v^T v = v^T Q^T Q v = (Qv)^T(Qv) = |\lambda|^2 v^T v = |\lambda|^2 \|v\|^2$

$\|v\| \neq 0$ 이므로 $|\lambda|^2 = 1$ , 즉 $|\lambda| = 1$ 이다. $\blacksquare$

6.2 실수 고유값

실수 고유값은 $\lambda = +1$ 또는 $\lambda = -1$ 만 가능하다.

6.3 복소 고유값

복소 고유값은 $e^{i\theta} = \cos\theta + i\sin\theta$ 와 그 켤레 $e^{-i\theta} = \cos\theta - i\sin\theta$ 의 쌍으로 나타난다. 이 켤레쌍은 $2 \times 2$ 회전 블록

$\begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix}$

에 대응한다.

6.4 정규 블록 대각 형태

모든 직교 행렬 $Q \in O(n)$ 는 적절한 직교 행렬 $P$ 에 의하여 다음의 블록 대각 형태로 유사 변환된다.

$P^T Q P = \begin{pmatrix} I_p & & & & \\ & -I_q & & & \\ & & R(\theta_1) & & \\ & & & \ddots & \\ & & & & R(\theta_s) \end{pmatrix}$

여기서 $I_p$ 는 고유값 $+1$ 에 대응하는 $p \times p$ 항등 행렬, $-I_q$ 는 고유값 $-1$ 에 대응하는 $q \times q$ 음의 항등 행렬, $R(\theta_k)$ 는 $2 \times 2$ 회전 블록이다. $p + q + 2s = n$ 을 만족한다.

7. 직교 행렬의 조건수

정리. 직교 행렬 $Q$ 의 조건수(condition number)는 $\kappa(Q) = 1$ 이다.

증명. 2-노름(spectral norm)에 대하여, 직교 행렬의 특이값은 모두 $1$ 이다( $Q$ 의 고유값의 절대값이 모두 $1$ 이므로). 따라서

$\kappa_2(Q) = \frac{\sigma_{\max}(Q)}{\sigma_{\min}(Q)} = \frac{1}{1} = 1$

$\blacksquare$

조건수가 $1$ 이라는 것은 직교 행렬이 수치적으로 완벽하게 안정적(well-conditioned)임을 의미한다. 직교 행렬에 의한 선형 계산에서 반올림 오차(rounding error)의 증폭이 발생하지 않는다.

8. 구체적 예시

8.1 예시 1: $2 \times 2$ 직교 행렬의 완전 분류

$2 \times 2$ 직교 행렬은 다음 두 형태 중 하나이다.

회전 행렬 ( $\det = +1$ ):

$Q = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix}$

반사 행렬 ( $\det = -1$ ):

$Q = \begin{pmatrix} \cos\theta & \sin\theta \\ \sin\theta & -\cos\theta \end{pmatrix}$

이는 직선 $y = (\tan\frac{\theta}{2})x$ 에 대한 반사이다.

8.2 예시 2: 순열 행렬(Permutation Matrix)

열의 순서를 치환하는 순열 행렬 $P_\sigma$ 는 직교 행렬이다. 예를 들어

$P = \begin{pmatrix} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & 0 & 0 \end{pmatrix}$

은 $P^T P = I_3$ 을 만족한다. 이 행렬의 행렬식은 $\det P = 1$ (짝수 치환) 또는 $\det P = -1$ (홀수 치환)이다.

8.3 예시 3: 하우스홀더 행렬

단위 벡터 $u$ ( $\|u\| = 1$ )에 대하여 하우스홀더 행렬(Householder matrix)

$H = I - 2uu^T$

은 직교 행렬이다.

증명. $H^T H = (I - 2uu^T)^T(I - 2uu^T) = (I - 2uu^T)(I - 2uu^T) = I - 4uu^T + 4u(u^Tu)u^T = I - 4uu^T + 4uu^T = I$ . 여기서 $u^Tu = 1$ 을 사용하였다. $\blacksquare$

$\det H = -1$ 이므로 하우스홀더 행렬은 초평면에 대한 반사이다.

9. 직교 행렬의 응용적 의의

직교 행렬의 성질, 특히 $Q^{-1} = Q^T$ 와 $\kappa(Q) = 1$ 은 수치 선형대수학에서 핵심적 역할을 한다. QR 분해(QR decomposition), 하우스홀더 변환에 기반한 고유값 알고리즘, 특이값 분해의 계산 등 현대 수치 알고리즘의 대부분이 직교 행렬의 수치적 안정성에 의존한다.

딥러닝에서는 가중치 행렬의 직교 초기화(orthogonal initialization)가 학습 초기 단계에서 기울기의 노름을 보존하여 안정적인 학습을 가능하게 한다. 이는 직교 행렬의 모든 특이값이 $1$ 이라는 성질의 직접적 활용이다.