6.46 직교 행렬의 정의와 성질

1. 직교 행렬의 정의

정의. 정사각 실수 행렬 Q \in \mathbb{R}^{n \times n}가 다음의 조건을 만족할 때 직교 행렬(orthogonal matrix)이라 한다.

Q^\top Q = Q Q^\top = I_n

이는 행렬 Q의 전치가 그 역행렬과 같음을 의미한다. 즉, Q^{-1} = Q^\top이다. 이 성질은 직교 행렬을 다른 모든 가역 행렬과 구별 짓는 본질적인 특징이며, 수치적 계산에서 매우 유리한 성질을 제공한다.

복소수 영역에서는 같은 개념이 유니타리 행렬(unitary matrix)로 일반화된다. 즉, U^* U = U U^* = I_n을 만족하는 복소 정사각 행렬을 유니타리라 한다. 이 절에서는 주로 실수 직교 행렬을 다루지만, 진술되는 많은 성질들은 유니타리 행렬에 대한 자연스러운 일반화를 가진다.

2. 동치적 정의

직교 행렬의 정의는 다음의 여러 동치적인 형태로 진술될 수 있다.

정리. Q \in \mathbb{R}^{n \times n}에 대하여 다음의 명제들은 모두 동치이다.

1. Q는 직교 행렬이다, 즉 Q^\top Q = I이다.
2. Q의 열 벡터들은 \mathbb{R}^n의 정규 직교 기저를 이룬다.
3. Q의 행 벡터들은 \mathbb{R}^n의 정규 직교 기저를 이룬다.
4. 임의의 \mathbf{x} \in \mathbb{R}^n에 대하여 \|Q\mathbf{x}\| = \|\mathbf{x}\|가 성립한다 (등거리성).
5. 임의의 \mathbf{x}, \mathbf{y} \in \mathbb{R}^n에 대하여 \langle Q\mathbf{x}, Q\mathbf{y} \rangle = \langle \mathbf{x}, \mathbf{y} \rangle가 성립한다 (내적 보존).
6. Q^{-1} = Q^\top이다.

이 동치성은 직교 행렬을 기하학적 관점(거리와 각도 보존), 대수적 관점(전치와 역의 일치), 그리고 구조적 관점(정규 직교 기저)에서 동시에 특성화한다.

3. 동치성의 부분 증명

(1) ⇒ (2): Q의 j번째 열을 \mathbf{q}_j라 하면 Q^\top Q의 (i,j) 성분은 \mathbf{q}_i^\top \mathbf{q}_j이다. Q^\top Q = I로부터 \mathbf{q}_i^\top \mathbf{q}_j = \delta_{ij}가 성립하며, 이는 정확히 정규 직교성의 정의이다.

(1) ⇒ (4): \|Q\mathbf{x}\|^2 = (Q\mathbf{x})^\top (Q\mathbf{x}) = \mathbf{x}^\top Q^\top Q \mathbf{x} = \mathbf{x}^\top \mathbf{x} = \|\mathbf{x}\|^2이다.

(4) ⇒ (5): 편극 항등식 \langle \mathbf{x}, \mathbf{y} \rangle = \frac{1}{4}(\|\mathbf{x}+\mathbf{y}\|^2 - \|\mathbf{x}-\mathbf{y}\|^2)를 활용하여 등거리성으로부터 내적 보존을 도출할 수 있다.

다른 방향의 증명도 유사하게 진행되며, 이로써 모든 명제가 동치임이 확인된다.

4. 직교 행렬의 기본 성질

직교 행렬은 다음과 같은 핵심 성질들을 가진다.

4.1 행렬식의 절댓값

정리. 직교 행렬 Q의 행렬식은 +1 또는 -1이다.

증명. Q^\top Q = I의 양변에 행렬식을 취하면 \det(Q^\top) \det(Q) = \det(I) = 1이다. \det(Q^\top) = \det(Q)이므로 (\det Q)^2 = 1이며, 따라서 \det Q = \pm 1이다. \blacksquare

행렬식이 +1인 직교 행렬을 특수 직교 행렬(special orthogonal matrix) 또는 적정 직교 행렬(proper orthogonal matrix)이라 하며, 이는 회전을 표현한다. 행렬식이 -1인 경우는 거울 반사 또는 그 합성을 포함하며, 회전이 아니다.

4.2 고유값의 절댓값

정리. 직교 행렬 Q의 모든 (복소) 고유값은 절댓값이 1이다.

증명. Q\mathbf{v} = \lambda \mathbf{v} (\mathbf{v} \neq \mathbf{0})라 하자. 등거리성에 의하여 \|Q\mathbf{v}\| = \|\mathbf{v}\|이며, 다른 한편으로 \|Q\mathbf{v}\| = |\lambda| \|\mathbf{v}\|이다. 따라서 |\lambda| = 1이다. \blacksquare

이 결과는 직교 행렬이 단위원 위의 고유값만을 가짐을 의미한다. 실수 고유값은 +1 또는 -1만 가능하며, 복소 고유값은 항상 켤레 쌍으로 나타난다. 복소 고유값 쌍은 평면에서의 회전에 대응한다.

4.3 노름 보존과 콘디션

정리. 직교 행렬은 모든 통상의 행렬 노름에 대하여 다음을 만족한다.

\|Q\|_2 = 1, \qquad \|Q\|_F = \sqrt{n}, \qquad \kappa_2(Q) = 1

이는 직교 행렬의 모든 특이값이 정확히 1이라는 사실로부터 즉시 따른다. 조건수가 1이라는 점은 직교 행렬이 수치적으로 가장 안정한 행렬임을 의미하며, 이는 직교 변환이 수치 알고리듬에서 광범위하게 사용되는 핵심 이유이다.

4.4 직교 행렬의 곱과 역

직교 행렬들의 집합은 행렬 곱셈에 대하여 군(group)을 이룬다. 즉, 다음이 성립한다.

• 두 직교 행렬의 곱 Q_1 Q_2는 다시 직교 행렬이다.
• 단위 행렬 I는 직교 행렬이다.
• 직교 행렬 Q의 역행렬 Q^{-1} = Q^\top도 직교 행렬이다.

이 군을 직교군(orthogonal group)이라 하며 O(n)으로 표기한다. 행렬식이 +1인 직교 행렬들은 부분군을 이루며, 이를 특수 직교군 SO(n)이라 한다.

5. 기하학적 의미

5.1 등거리 변환

직교 변환 \mathbf{x} \mapsto Q\mathbf{x}는 거리와 각도를 모두 보존한다. 따라서 임의의 도형을 그 형상과 크기를 변화시키지 않고 변환한다. 이러한 변환을 등거리 변환(isometry)이라 한다.

5.2 회전과 거울 반사

\det Q = +1인 직교 행렬은 원점을 통과하는 축을 중심으로 한 회전이거나, 그러한 회전들의 합성이다. \det Q = -1인 경우는 거울 반사이거나 회전과 거울 반사의 합성이다. 임의의 직교 변환은 이러한 단순한 변환들로 분해될 수 있다.

5.3 부피 보존

행렬식의 절댓값이 1이므로, 직교 변환은 부피를 보존한다. 단위 정육면체의 상은 단위 정육면체와 동일한 부피를 가지는 다면체이다. 더욱이 그 다면체는 단위 정육면체와 합동이다.

6. 직교 행렬의 분해

직교 행렬은 더 단순한 직교 변환의 곱으로 분해될 수 있다. 가장 중요한 분해 도구 두 가지는 다음과 같다.

6.1 하우스홀더 변환

하우스홀더 변환은 단위 벡터 \mathbf{u}에 대하여 다음과 같이 정의되는 행렬이다.

H = I - 2\mathbf{u}\mathbf{u}^\top

이 행렬은 대칭이고 직교이며, \mathbf{u}에 수직인 초평면에 대한 거울 반사를 표현한다. 행렬식은 -1이다. 임의의 직교 행렬은 유한한 수의 하우스홀더 변환의 곱으로 표현될 수 있다.

6.2 기븐스 회전

기븐스 회전은 두 좌표축이 이루는 평면에서의 회전을 표현하는 직교 행렬이다. 좌표 평면 (i, j)에서 각도 \theta만큼의 회전은 다음과 같이 표현된다.

G(i, j, \theta) = \begin{pmatrix} \ddots & & & & \\ & \cos\theta & \cdots & -\sin\theta & \\ & \vdots & \ddots & \vdots & \\ & \sin\theta & \cdots & \cos\theta & \\ & & & & \ddots \end{pmatrix}

여기서 표시되지 않은 대각 성분은 모두 1이다. 이 행렬의 행렬식은 +1이다. 임의의 특수 직교 행렬은 유한한 수의 기븐스 회전의 곱으로 표현될 수 있다.

7. 직교 행렬의 매개 변수화

직교 행렬의 집합은 매끈한 다양체를 이루며, 그 차원은 n(n-1)/2이다. 즉, n \times n 직교 행렬은 n^2개의 원소를 가지지만 n(n+1)/2개의 정규 직교 제약이 있으므로 자유도는 n(n-1)/2이다. 예를 들어 3 \times 3 특수 직교 행렬은 3개의 자유도를 가진다. 이 매개 변수화는 다음과 같은 다양한 방식으로 수행된다.

• 오일러 각: 세 개의 연속적인 평면 회전의 합성
• 축-각 표현: 회전축과 회전 각도
• 단위 사원수: 4차원 단위 벡터로 표현되는 회전
• 로드리게스 매개 변수: 회전축과 각도의 합성으로부터 유도된 3차원 매개 변수
• 지수 좌표: 리 대수 원소의 행렬 지수

각 매개 변수화는 고유한 장단점을 가지며, 응용의 요구사항에 따라 적절히 선택된다.

8. 가장 가까운 직교 행렬

임의의 정사각 행렬 A가 주어졌을 때 그것에 가장 가까운 직교 행렬을 찾는 문제는 다음과 같이 정식화된다.

\min_{Q^\top Q = I} \|A - Q\|_F

이 최적화 문제의 해는 SVD를 통하여 명시적으로 주어진다. A = U \Sigma V^\top이라 하면 가장 가까운 직교 행렬은

Q^* = U V^\top

이다. 만약 특수 직교 행렬로 제한하는 경우에는 행렬식의 부호를 보정하기 위하여

Q^* = U \, \mathrm{diag}(1, 1, \ldots, 1, \det(UV^\top)) \, V^\top

가 사용된다. 이 정사영 절차는 측정 잡음으로 인하여 정확한 직교성을 만족하지 않는 추정 회전 행렬을 직교 행렬로 보정하는 데 광범위하게 활용된다.

9. 직교 행렬과 수치 알고리듬

직교 변환은 수치 선형대수학의 알고리듬에서 핵심적인 역할을 수행한다. 그 이유는 다음과 같다.

• 수치적 안정성: 직교 변환은 노름과 조건수를 보존하므로 오차의 증폭이 없다.
• 역 계산의 효율성: 직교 행렬의 역은 단순히 전치를 취하면 되므로 별도의 계산이 필요 없다.
• 구조 보존: 적절히 선택된 직교 변환은 행렬의 특수한 구조를 점진적으로 형성하거나 보존할 수 있다.

이러한 이유로 다음과 같은 핵심 알고리듬들이 직교 변환에 기반하여 설계되었다.

• QR 분해 (그람-슈미트, 하우스홀더, 기븐스)
• QR 알고리듬을 이용한 고유값 계산
• 골럽-카한의 SVD 계산 알고리듬
• 슈어 분해와 그 변형들

10. 로봇공학에서의 응용

10.1 회전 행렬

3차원 강체의 자세는 특수 직교 행렬 R \in SO(3)로 표현된다. 회전 행렬은 좌표계 사이의 자세 관계를 기술하며, 한 좌표계의 벡터를 다른 좌표계의 벡터로 변환한다. 직교 행렬의 모든 성질이 회전 행렬에 적용되므로, 회전은 거리와 각도를 보존하고 부피를 변화시키지 않는다.

10.2 동차 변환 행렬의 구성 요소

3차원 동차 변환 행렬 T \in SE(3)는 회전 부분과 병진 부분을 결합한다.

T = \begin{pmatrix} R & \mathbf{t} \\ \mathbf{0}^\top & 1 \end{pmatrix}

여기서 R은 직교 행렬이며 그 직교성은 행렬 연산에서 자동으로 보존되어야 한다. 그렇지 않으면 강체 변환의 본질적인 성질이 손실된다.

10.3 자세 추정에서의 정사영

확장 칼만 필터나 다른 비선형 추정기에서 회전 행렬의 추정값은 누적된 수치 오차로 인하여 정확한 직교성을 만족하지 않을 수 있다. 정기적으로 가장 가까운 직교 행렬로 정사영하는 절차가 필요하며, 이는 SVD 기반 방법을 통하여 수행된다.

10.4 점 구름 정합

두 점 집합 사이의 강체 변환을 추정하는 카브쉬 알고리듬은 본질적으로 가장 가까운 직교 행렬을 찾는 문제이다. 알고리듬의 출력은 항상 정확히 직교 행렬이어야 하며, 이는 SVD를 통하여 보장된다.

10.5 자세 보간

두 회전 행렬 사이의 부드러운 보간은 직교 행렬 군의 매니폴드 구조를 활용한다. 단순한 선형 보간은 직교성을 보존하지 않으므로, 구면 선형 보간이나 리 대수 기반 보간과 같은 적절한 기법이 사용된다.

10.6 센서 좌표계 보정

다중 센서 시스템에서 각 센서의 측정값을 공통 좌표계로 변환하기 위한 외부 보정은 회전 행렬의 추정 문제이며, 직교 행렬의 성질이 핵심적으로 활용된다.

10.7 좌표축 변환과 텐서 변환

관성 텐서, 응력 텐서, 그리고 변형 텐서와 같은 2계 텐서의 좌표 변환은 직교 행렬에 의한 닮음 변환 T' = R^\top T R로 표현된다. 직교 행렬의 사용은 텐서의 본질적인 성질(고유값, 트레이스, 행렬식)이 좌표 변환에서 보존됨을 보장한다.

참고문헌

• Strang, G. (2023). Introduction to Linear Algebra (6th ed.). Wellesley-Cambridge Press.
• Horn, R. A., & Johnson, C. R. (2013). Matrix Analysis (2nd ed.). Cambridge University Press.
• Trefethen, L. N., & Bau, D. (2022). Numerical Linear Algebra (25th Anniversary ed.). SIAM.
• Golub, G. H., & Van Loan, C. F. (2013). Matrix Computations (4th ed.). Johns Hopkins University Press.
• Lynch, K. M., & Park, F. C. (2017). Modern Robotics: Mechanics, Planning, and Control. Cambridge University Press.
• Murray, R. M., Li, Z., & Sastry, S. S. (1994). A Mathematical Introduction to Robotic Manipulation. CRC Press.

Version: 1.0