29.21 직교 변환(Orthogonal Transformation)의 정의와 내적 보존 성질

1. 직교 변환의 정의

$V$ 를 실수 내적 공간(real inner product space)이라 하자. 선형 변환 $T : V \to V$ 가 **직교 변환(orthogonal transformation)**이라 함은 모든 $x, y \in V$ 에 대하여 내적을 보존하는 것이다.

$\langle T(x), T(y) \rangle = \langle x, y \rangle, \quad \forall x, y \in V$

$\mathbb{R}^n$ 에서 표준 내적 $\langle x, y \rangle = x^T y$ 를 사용할 때, $T$ 의 행렬 표현 $Q$ 에 대하여 이 조건은

$(Qx)^T(Qy) = x^T Q^T Q y = x^T y, \quad \forall x, y \in \mathbb{R}^n$

즉 $Q^T Q = I_n$ 을 만족하는 것과 동치이다. 이러한 행렬 $Q$ 를 **직교 행렬(orthogonal matrix)**이라 한다.

2. 내적 보존의 동치 조건

직교 변환은 여러 동치 조건으로 특성화된다.

정리. 선형 변환 $T : V \to V$ 에 대하여 다음은 모두 동치이다.

(i) $T$ 는 내적을 보존한다: $\langle T(x), T(y) \rangle = \langle x, y \rangle$

(ii) $T$ 는 노름을 보존한다: $\|T(x)\| = \|x\|$

(iii) $T$ 는 정규 직교 기저를 정규 직교 기저로 사상한다.

(iv) $T$ 의 행렬 표현 $Q$ 가 $Q^T Q = I_n$ 을 만족한다.

2.1 (i) $\Rightarrow$ (ii)의 증명

$\|T(x)\|^2 = \langle T(x), T(x) \rangle = \langle x, x \rangle = \|x\|^2$ 이므로 $\|T(x)\| = \|x\|$ 이다. $\blacksquare$

2.2 (ii) $\Rightarrow$ (i)의 증명 (극화 항등식)

노름으로부터 내적을 복원하는 **극화 항등식(polarization identity)**을 사용한다.

$\langle x, y \rangle = \frac{1}{2}\left(\|x + y\|^2 - \|x\|^2 - \|y\|^2\right)$

$T$ 가 노름을 보존하면

$\langle T(x), T(y) \rangle = \frac{1}{2}\left(\|T(x) + T(y)\|^2 - \|T(x)\|^2 - \|T(y)\|^2\right)$

$T$ 의 선형성에 의해 $T(x) + T(y) = T(x + y)$ 이고, 노름 보존에 의해

$\|T(x+y)\|^2 = \|x+y\|^2, \quad \|T(x)\|^2 = \|x\|^2, \quad \|T(y)\|^2 = \|y\|^2$

따라서 $\langle T(x), T(y) \rangle = \langle x, y \rangle$ 이다. $\blacksquare$

2.3 (i) $\Leftrightarrow$ (iii)의 증명

( $\Rightarrow$ ) $\{e_1, \ldots, e_n\}$ 이 정규 직교 기저이면 $\langle e_i, e_j \rangle = \delta_{ij}$ 이다. 내적 보존에 의해 $\langle T(e_i), T(e_j) \rangle = \delta_{ij}$ 이므로 $\{T(e_1), \ldots, T(e_n)\}$ 도 정규 직교 집합이다. $T$ 가 선형이고 $n$ 개의 정규 직교 벡터는 일차독립이므로 $\{T(e_1), \ldots, T(e_n)\}$ 은 정규 직교 기저이다.

( $\Leftarrow$ ) 정규 직교 기저 $\{e_1, \ldots, e_n\}$ 에 대하여 $x = \sum_i \alpha_i e_i$ , $y = \sum_j \beta_j e_j$ 로 쓰면

$\langle T(x), T(y) \rangle = \left\langle \sum_i \alpha_i T(e_i), \sum_j \beta_j T(e_j) \right\rangle = \sum_i \sum_j \alpha_i \beta_j \langle T(e_i), T(e_j) \rangle = \sum_i \alpha_i \beta_i = \langle x, y \rangle$

$\blacksquare$

3. 직교 변환이 보존하는 기하학적 성질

3.1 거리 보존

직교 변환은 두 점 사이의 거리(유클리드 거리)를 보존한다.

$\|T(x) - T(y)\| = \|T(x-y)\| = \|x - y\|$

따라서 직교 변환은 **등거리 변환(isometry)**이다. 이 성질은 노름 보존과 선형성으로부터 직접 도출된다.

3.2 각도 보존

두 비영(非零) 벡터 $x$ , $y$ 사이의 각도 $\theta$ 는

$\cos\theta = \frac{\langle x, y \rangle}{\|x\| \cdot \|y\|}$

로 정의된다. 직교 변환은 내적과 노름을 모두 보존하므로

$\cos\theta' = \frac{\langle T(x), T(y) \rangle}{\|T(x)\| \cdot \|T(y)\|} = \frac{\langle x, y \rangle}{\|x\| \cdot \|y\|} = \cos\theta$

따라서 $\theta' = \theta$ 이다. 직교 변환은 벡터 간의 각도를 보존한다.

3.3 직교성 보존

$\langle x, y \rangle = 0$ 이면 $\langle T(x), T(y) \rangle = 0$ 이다. 즉, 직교 변환은 직교 관계를 보존한다. 이는 내적 보존의 특수한 경우이다.

3.4 체적 보존

직교 행렬 $Q$ 에 대하여 $\det(Q^T Q) = \det(I) = 1$ 이므로 $(\det Q)^2 = 1$ , 따라서 $\det Q = \pm 1$ 이다.

$|\det Q| = 1$ 이므로 직교 변환에 의한 평행다면체(parallelepiped)의 부피는 보존된다. $\det Q = +1$ 이면 방향(orientation)도 보존되고, $\det Q = -1$ 이면 방향이 반전된다.

4. 직교 변환의 분류

4.1 $\det Q = +1$ : 회전(Proper Rotation)

행렬식이 $+1$ 인 직교 변환을 고유 직교 변환(proper orthogonal transformation) 또는 **회전(rotation)**이라 한다. 이러한 변환의 전체 집합은 특수 직교군(special orthogonal group) $SO(n)$ 을 이룬다.

$SO(n) = \{Q \in O(n) \mid \det Q = 1\}$

4.2 $\det Q = -1$ : 방향 반전 변환(Improper Rotation)

행렬식이 $-1$ 인 직교 변환은 반사(reflection)를 포함하는 변환이다. 이러한 변환은 회전과 반사의 합성으로 표현된다.

5. 직교군(Orthogonal Group)의 구조

$n \times n$ 직교 행렬 전체의 집합

$O(n) = \{Q \in M_{n \times n}(\mathbb{R}) \mid Q^T Q = I_n\}$

은 행렬 곱셈에 대하여 **군(group)**을 이룬다.

닫힘(closure): $Q_1, Q_2 \in O(n)$ 이면 $(Q_1 Q_2)^T(Q_1 Q_2) = Q_2^T Q_1^T Q_1 Q_2 = Q_2^T Q_2 = I$ 이므로 $Q_1 Q_2 \in O(n)$ .

항등원: $I_n \in O(n)$ .

역원: $Q \in O(n)$ 이면 $Q^{-1} = Q^T$ 이고 $(Q^T)^T Q^T = QQ^T = I$ 이므로 $Q^T \in O(n)$ .

결합법칙: 행렬 곱셈의 결합법칙을 상속한다.

6. 직교 변환의 고유값 구조

정리. 직교 행렬 $Q$ 의 고유값 $\lambda$ 는 $|\lambda| = 1$ 을 만족한다.

증명. $Qv = \lambda v$ ( $v \neq 0$ )이면 노름 보존에 의해

$\|v\| = \|Qv\| = \|\lambda v\| = |\lambda| \cdot \|v\|$

$\|v\| \neq 0$ 이므로 $|\lambda| = 1$ 이다. $\blacksquare$

실수 고유값의 경우 $\lambda = \pm 1$ 만 가능하다. 복소 고유값의 경우 단위원 위의 켤레 복소수 쌍 $e^{\pm i\theta}$ 의 형태로 나타난다.

이 고유값 구조는 직교 변환이 벡터의 길이를 변화시키지 않는다는 기하학적 성질의 대수적 표현이다. 고유값 $\lambda = 1$ 은 고정 방향(회전축), $\lambda = -1$ 은 반사 방향에 대응한다.

7. 구체적 예시

7.1 예시 1: $\mathbb{R}^2$ 에서의 회전

$Q = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix}$

$Q^T Q = I_2$ 를 확인하라:

$Q^T Q = \begin{pmatrix} \cos\theta & \sin\theta \\ -\sin\theta & \cos\theta \end{pmatrix}\begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix} = \begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix}$

$\det Q = \cos^2\theta + \sin^2\theta = 1$ 이므로 고유 직교 변환(회전)이다. 임의의 $x, y \in \mathbb{R}^2$ 에 대하여 $\langle Qx, Qy \rangle = x^T Q^T Q y = x^T y = \langle x, y \rangle$ 이 성립한다.

7.2 예시 2: $\mathbb{R}^2$ 에서의 반사

$x$ 축에 대한 반사:

$Q = \begin{pmatrix} 1 & 0 \\ 0 & -1 \end{pmatrix}$

$Q^T Q = Q^2 = I_2$ 이고 $\det Q = -1$ 이므로 방향 반전 직교 변환이다. 고유값은 $\lambda_1 = 1$ (고유벡터 $e_1$ , $x$ 축 방향 불변)과 $\lambda_2 = -1$ (고유벡터 $e_2$ , $y$ 축 방향 반전)이다.

7.3 예시 3: $\mathbb{R}^3$ 에서의 직교 변환

$Q = \frac{1}{3}\begin{pmatrix} 2 & -1 & 2 \\ 2 & 2 & -1 \\ -1 & 2 & 2 \end{pmatrix}$

$Q^T Q = I_3$ 과 $\det Q = 1$ 을 확인할 수 있다. 이는 $\mathbb{R}^3$ 에서의 회전이다. $Q$ 의 열벡터들이 정규 직교 집합을 이루는 것은 행렬의 각 열이 단위 벡터이고 서로 직교한다는 것으로 직접 확인할 수 있다.

8. 내적 보존의 이론적 의의

직교 변환에 의한 내적 보존은 벡터 공간의 **계량 구조(metric structure)**가 변환에 의해 불변임을 의미한다. 이는 유클리드 기하학의 합동 변환(congruence transformation)에 해당하며, 도형의 형태와 크기를 보존하는 가장 일반적인 선형 변환의 부류이다.

딥러닝에서 직교 가중치 행렬의 사용은 신호의 노름을 보존하여 기울기 소실/폭발 문제를 완화하는 효과가 있다. 이는 직교 변환의 고유값이 $|\lambda| = 1$ 을 만족한다는 성질의 직접적 응용이다. 순환 신경망(RNN)에서의 직교 초기화(orthogonal initialization)가 대표적인 예이다.