6.74 회전 행렬의 직교성과 행렬식 조건

1. 도입

회전 행렬은 강체의 자세를 표현하는 가장 기본적인 수학적 객체이며, 로봇의 기구학, 동역학, 제어, 상태 추정 등 거의 모든 분야에서 핵심적인 역할을 한다. 회전 행렬이 임의의 실수 정방 행렬과 구별되는 본질적 특징은 두 가지 대수적 조건, 즉 직교성(orthogonality) 과 행렬식이 +1 인 조건(special orthogonality) 을 동시에 만족한다는 점에 있다. 이 두 조건은 단순한 형식적 제약이 아니라, 회전이라는 물리적 변환이 가지는 기하학적 본질, 즉 길이와 각도의 보존 그리고 방향성의 보존을 대수적으로 표현한 것이다. 본 절에서는 이 두 조건의 정의와 그 기하학적 의미, 상호 동등한 표현, 그리고 로봇 공학에서 이를 활용하는 방법에 대하여 학술적으로 기술한다.

2. 회전 행렬의 직교성 조건

2.1 직교성의 정의

$n \times n$ 실수 행렬 $R \in \mathbb{R}^{n \times n}$ 가 다음 조건을 만족하면 직교 행렬(orthogonal matrix) 이라 한다.

$R^{T} R = R R^{T} = I_{n}$

여기서 $I_{n}$ 은 $n$ 차 단위 행렬이다. 이 조건은 곧 $R^{T} = R^{-1}$ 임을 의미하며, 직교 행렬의 역행렬을 구하는 일이 단순한 전치 연산으로 환원됨을 보여준다. 모든 $n$ 차 직교 행렬의 집합은 군 구조를 이루며 이를 직교군 $O(n)$ 이라 한다.

2.2 열 벡터와 행 벡터의 정규 직교성

행렬 $R$ 의 열 벡터를 $\mathbf{r}_{1}, \mathbf{r}_{2}, \ldots, \mathbf{r}_{n}$ 이라 하면, 직교성 조건 $R^{T} R = I_{n}$ 은 다음과 같이 풀어 쓸 수 있다.

$\mathbf{r}_{i}^{T} \mathbf{r}_{j} = \delta_{ij} = \begin{cases} 1, & i = j \\ 0, & i \neq j \end{cases}$

즉 $R$ 의 열 벡터들은 서로 직교하며 각각 단위 길이를 가지는 정규 직교 집합을 이룬다. 마찬가지로 $R R^{T} = I_{n}$ 으로부터 $R$ 의 행 벡터들 역시 정규 직교 집합을 이룸을 확인할 수 있다. 따라서 회전 행렬의 열과 행은 모두 $\mathbb{R}^{n}$ 의 정규 직교 기저를 구성한다.

2.3 직교성의 기하학적 의미

직교 행렬에 의한 선형 변환 $\mathbf{x} \mapsto R \mathbf{x}$ 는 임의의 두 벡터 $\mathbf{u}, \mathbf{v} \in \mathbb{R}^{n}$ 에 대하여 다음과 같이 내적을 보존한다.

$(R \mathbf{u})^{T} (R \mathbf{v}) = \mathbf{u}^{T} R^{T} R \mathbf{v} = \mathbf{u}^{T} \mathbf{v}$

이로부터 임의의 벡터의 노름이 보존됨이 즉시 따라온다.

$\| R \mathbf{x} \| = \sqrt{\mathbf{x}^{T} R^{T} R \mathbf{x}} = \sqrt{\mathbf{x}^{T} \mathbf{x}} = \| \mathbf{x} \|$

또한 두 벡터 사이의 각도 $\theta$ 는 내적과 노름의 비로 정의되므로, 내적과 노름이 동시에 보존된다는 사실은 곧 사잇각이 보존됨을 의미한다. 결과적으로 직교 변환은 길이와 각도를 동시에 보존하는 등거리 변환(isometry)이며, 강체의 형상이 변형 없이 옮겨지는 운동을 대수적으로 기술하는 자연스러운 객체가 된다.

3. 행렬식 조건과 특수 직교군

3.1 직교 행렬의 행렬식

직교 행렬 $R$ 의 행렬식은 다음과 같이 계산된다.

$\det(R^{T} R) = \det(I_{n}) = 1$

행렬식의 곱 법칙과 $\det(R^{T}) = \det(R)$ 를 적용하면

$\det(R)^{2} = 1 \quad \Longrightarrow \quad \det(R) = \pm 1$

이 성립한다. 따라서 직교군 $O(n)$ 은 $\det(R) = +1$ 인 부분군과 $\det(R) = -1$ 인 부분 집합으로 분리된다.

3.2 특수 직교군 $SO(n)$ 의 정의

$\det(R) = +1$ 을 만족하는 직교 행렬들의 집합을 특수 직교군(special orthogonal group) 이라 하며 다음과 같이 정의한다.

$SO(n) = \{ R \in \mathbb{R}^{n \times n} \mid R^{T} R = I_{n}, \; \det(R) = +1 \}$

특히 로봇 공학에서 중요한 경우는 $n = 2$ 와 $n = 3$ 이며, 각각 평면 회전과 공간 회전을 표현하는 기본 군이다. 회전 행렬이라는 용어는 일반적으로 직교 행렬이 아니라 $SO(n)$ 의 원소만을 지칭하는 것이 통례이다.

3.3 행렬식 부호의 기하학적 의미

행렬식의 부호는 선형 변환이 공간의 방향성(orientation)을 보존하는지 또는 반전시키는지를 결정한다. $\det(R) = +1$ 인 경우 변환은 오른손 좌표계를 오른손 좌표계로 옮기며 부피의 부호를 보존한다. 반면 $\det(R) = -1$ 인 직교 행렬은 회전과 함께 반사(reflection)를 포함하며, 오른손 좌표계를 왼손 좌표계로 옮긴다. 강체의 물리적 운동은 거울 반사를 포함할 수 없으므로, 회전 행렬은 반드시 행렬식이 $+1$ 이어야 한다.

3.4 두 조건의 독립성

직교성 조건만으로는 회전을 완전히 특징지을 수 없다. 예를 들어

$M = \begin{bmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & -1 \end{bmatrix}$

은 $M^{T} M = I_{3}$ 를 만족하므로 직교 행렬이지만 $\det(M) = -1$ 이므로 회전이 아니라 $xy$ 평면에 대한 반사이다. 따라서 회전 행렬을 정의하기 위해서는 직교성과 행렬식 조건이 모두 필요하며, 두 조건은 서로 독립적인 의미를 가진다.

4. 직교성 조건의 동등한 표현

4.1 등거리 변환으로서의 특성

선형 변환 $T : \mathbb{R}^{n} \to \mathbb{R}^{n}$ 가 모든 $\mathbf{x} \in \mathbb{R}^{n}$ 에 대하여 $\| T(\mathbf{x}) \| = \| \mathbf{x} \|$ 를 만족하면, $T$ 의 행렬 표현 $R$ 은 직교 행렬이 된다. 역도 성립한다. 이는 직교성 조건이 사실상 노름 보존이라는 단일 조건과 동등함을 보여준다.

4.2 그람 행렬의 단위성

행렬 $R$ 의 열 벡터들이 이루는 그람 행렬(Gram matrix) $G = R^{T} R$ 가 단위 행렬과 일치한다는 조건은 직교성 조건 그 자체이다. 이 표현은 수치적으로 회전 행렬의 직교성을 검증하거나, 손상된 행렬을 가장 가까운 회전 행렬로 사영하는 절차에서 자연스럽게 등장한다.

4.3 군론적 표현

$SO(n)$ 은 행렬 곱셈에 대하여 군을 이루며, 다음과 같은 군의 공리를 만족한다. 첫째, 두 회전 행렬의 곱 $R_{1} R_{2}$ 도 회전 행렬이다. 둘째, 단위 행렬 $I_{n}$ 은 항등 원소이다. 셋째, 임의의 회전 행렬 $R$ 에 대하여 역원이 존재하며, 그 역원은 전치 행렬 $R^{T}$ 로 주어진다. $SO(n)$ 은 또한 매끄러운 다양체 구조를 갖는 콤팩트 리 군이며, $n=3$ 일 때 차원은 $3$ 이다.

5. 회전 행렬의 검증과 정규화

5.1 수치적 직교성 검증

수치 연산 환경에서 회전 행렬을 다룰 때에는 부동 소수점 오차로 인해 엄밀한 직교성이 깨질 수 있다. 임의의 행렬 $R$ 이 회전 행렬에 가까운지를 평가하는 표준적 지표는 다음과 같다.

$\varepsilon_{\text{ortho}} = \| R^{T} R - I_{n} \|_{F}, \qquad \varepsilon_{\det} = | \det(R) - 1 |$

여기서 $\| \cdot \|_{F}$ 는 프로베니우스 노름을 의미한다. 두 값이 충분히 작으면 해당 행렬은 회전 행렬로 간주될 수 있다.

5.2 가장 가까운 회전 행렬로의 사영

직교성에서 벗어난 행렬 $M$ 을 회전 행렬로 정정해야 하는 경우가 빈번히 발생한다. 이때 프로베니우스 노름을 기준으로 $M$ 에 가장 가까운 회전 행렬 $R^{*}$ 를 구하는 문제는 다음과 같이 정식화된다.

$R^{*} = \arg \min_{R \in SO(n)} \| R - M \|_{F}^{2}$

이 문제의 해는 특이값 분해 $M = U \Sigma V^{T}$ 를 이용하여 닫힌 형태로 주어진다.

$R^{*} = U \, \mathrm{diag}(1, 1, \ldots, 1, \det(U V^{T})) \, V^{T}$

마지막 대각 성분은 행렬식이 $+1$ 임을 보장하기 위한 보정 항이다. 이러한 사영 절차는 회전 행렬의 시간 적분, 추정, 보간 과정에서 누적되는 수치적 오차를 제거하는 표준적 방법이며, 직교 프로크루스테스 문제(orthogonal Procrustes problem) 의 특수 경우로 알려져 있다.

6. 로봇 공학에서의 활용

6.1 자세 표현과 기구학적 일관성

로봇 매니퓰레이터의 말단 장치 자세는 회전 행렬로 표현되며, 순기구학 계산 과정에서 각 관절의 기본 회전 행렬들이 누적적으로 곱해진다. 이때 각 단계에서 회전 행렬이 $SO(3)$ 의 원소임을 보장하는 것은 운동학적 일관성의 필수 조건이다. 직교성과 행렬식 조건은 자세 표현의 유효성 검증에 활용되며, 시뮬레이터와 제어기의 내부 상태가 물리적으로 의미 있는 회전을 나타내도록 강제한다.

6.2 자세 추정과 필터링에서의 정규화

확장 칼만 필터, 무향 칼만 필터, 입자 필터 등 자세 추정 알고리듬에서는 회전 행렬을 시간에 따라 갱신하면서 노이즈와 선형화 오차로 인해 직교성이 점차 손상된다. 이를 보정하기 위해 매 단계마다 특이값 분해를 통한 사영이나 그람-슈미트 정규 직교화가 적용되며, 이 절차는 추정의 수치적 안정성을 결정짓는 중요한 요소이다.

6.3 강체 변환의 역연산 효율성

회전 행렬의 역행렬이 전치 행렬과 일치한다는 성질은 로봇 공학에서 매우 실용적인 함의를 가진다. 좌표계 사이의 자세 관계를 역변환할 때 일반적인 역행렬 계산이 필요 없이 단순한 전치 연산만으로 충분하므로, 실시간 제어 루프에서의 연산 비용이 크게 절감된다. 또한 강체 변환 $T = \begin{bmatrix} R & \mathbf{p} \\ \mathbf{0}^{T} & 1 \end{bmatrix}$ 의 역변환 또한 회전부의 전치를 이용하여 닫힌 형태로 표현된다.

6.4 등거리성과 강체 운동의 일관성

회전 행렬이 길이와 각도를 보존한다는 성질은 강체의 운동을 표현할 때 점들 사이의 상대적 거리가 변하지 않음을 보장한다. 이는 유한 요소 해석, 충돌 검사, 점 구름 정합 등 강체 가정을 전제로 하는 모든 알고리듬의 수학적 토대가 된다. 특히 점 구름 정합에서 두 점 집합 사이의 최적 회전을 구하는 문제는 본질적으로 $SO(3)$ 위에서의 최적화 문제이며, 직교성과 행렬식 조건이 제약식으로 작용한다.

6.5 동역학과 관성 텐서의 변환

물체의 관성 텐서 $\mathbf{I}_{B}$ 가 물체 좌표계에서 표현되어 있을 때, 이를 세계 좌표계에서 표현하기 위해서는 회전 행렬 $R$ 을 이용한 닮음 변환이 필요하다.

$\mathbf{I}_{W} = R \, \mathbf{I}_{B} \, R^{T}$

이 변환은 회전 행렬의 직교성에 의해 텐서의 대칭성과 양의 준정치성이 보존됨을 보장한다. 만약 $R$ 이 직교성을 잃는다면 관성 텐서는 물리적 의미를 상실하게 되므로, 회전 행렬의 조건은 동역학 시뮬레이션의 정확성과 직결된다.

7. 결론

회전 행렬을 정의하는 두 조건, 즉 $R^{T} R = I$ 와 $\det(R) = +1$ 은 회전이라는 물리적 변환의 본질적 성질인 길이 보존, 각도 보존, 방향 보존을 대수적으로 표현한 것이다. 두 조건은 서로 독립적이며, 함께 만족될 때에만 회전이 정의된다. 이 성질들은 단순한 이론적 정의에 머무르지 않고, 자세 추정의 정규화 절차, 강체 변환의 효율적 역연산, 동역학 텐서의 변환, 점 구름 정합 등 로봇 공학의 광범위한 응용에서 핵심적인 역할을 수행한다. 회전 행렬의 직교성과 행렬식 조건에 대한 명확한 이해는 회전을 다루는 모든 알고리듬의 정확성과 수치적 안정성을 확보하기 위한 출발점이라 할 수 있다.

참고문헌

Strang, G. (2016). Introduction to Linear Algebra (5th ed.). Wellesley-Cambridge Press.
Axler, S. (2015). Linear Algebra Done Right (3rd ed.). Springer.
Meyer, C. D. (2000). Matrix Analysis and Applied Linear Algebra. SIAM.
Horn, R. A., & Johnson, C. R. (2013). Matrix Analysis (2nd ed.). Cambridge University Press.
Craig, J. J. (2005). Introduction to Robotics: Mechanics and Control (3rd ed.). Pearson.
Spong, M. W., Hutchinson, S., & Vidyasagar, M. (2020). Robot Modeling and Control (2nd ed.). Wiley.
Siciliano, B., Sciavicco, L., Villani, L., & Oriolo, G. (2009). Robotics: Modelling, Planning and Control. Springer.
Murray, R. M., Li, Z., & Sastry, S. S. (1994). A Mathematical Introduction to Robotic Manipulation. CRC Press.
Lynch, K. M., & Park, F. C. (2017). Modern Robotics: Mechanics, Planning, and Control. Cambridge University Press.
Golub, G. H., & Van Loan, C. F. (2013). Matrix Computations (4th ed.). Johns Hopkins University Press.
Higham, N. J. (1989). “Matrix nearness problems and applications.” Applications of Matrix Theory, 1–27.
Schönemann, P. H. (1966). “A generalized solution of the orthogonal Procrustes problem.” Psychometrika, 31(1), 1–10.

Version: 1.0