29.4 선형 변환의 예시: 회전, 반사, 스케일링, 전단(Shearing)

1. 예시의 학문적 의의

선형 변환의 추상적 정의가 가지는 의미를 가장 명료하게 드러내는 방법은, 이론을 평면 \mathbb{R}^{2} 또는 공간 \mathbb{R}^{3} 위에서의 구체적 사례에 적용하는 것이다. 이 절에서는 가장 빈번하게 등장하는 네 가지 표준적 선형 변환—회전(Rotation), 반사(Reflection), 스케일링(Scaling), 전단(Shearing)—을 형식적으로 정의하고, 그 행렬 표현과 기하학적 작용, 그리고 본질적 성질을 분석한다. 이 네 변환은 단순한 사례가 아니라, 임의의 선형 변환을 분해할 때 등장하는 기본적 구성 요소이며, 후속 장에서 다루게 될 직교 분해와 특이값 분해의 기하학적 토대를 이룬다.

2. 회전 변환(Rotation)

2.1 정의와 행렬 표현

평면 위에서의 회전 변환은 원점을 중심으로 모든 벡터를 동일한 각도 \theta만큼 반시계 방향으로 회전시키는 사상이다. 정의역과 공역이 모두 \mathbb{R}^{2}이며, 표준 기저에 대한 행렬 표현은 다음과 같다.

R(\theta) = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix}

이 행렬을 임의의 벡터 \mathbf{v} = (x, y)^{\top}에 곱하면

R(\theta) \mathbf{v} = \begin{pmatrix} x\cos\theta - y\sin\theta \\ x\sin\theta + y\cos\theta \end{pmatrix}

가 되며, 이는 \mathbf{v}를 원점 주위로 각도 \theta만큼 회전시킨 결과이다.

2.2 본질적 성질

회전 변환은 다음과 같은 성질을 가진다. 첫째, 모든 벡터의 길이를 보존한다. 즉, 임의의 \mathbf{v}에 대해 \Vert R(\theta) \mathbf{v} \Vert = \Vert \mathbf{v} \Vert가 성립한다. 둘째, 두 벡터 사이의 각도를 보존한다. 셋째, 행렬식 \det(R(\theta)) = \cos^{2}\theta + \sin^{2}\theta = 1이므로 단위 부피와 방향(Orientation)을 모두 보존한다. 넷째, 회전 행렬은 직교 행렬이며, R(\theta)^{\top} R(\theta) = I를 만족한다. 다섯째, 두 회전의 합성은 각도의 합에 해당하는 회전이며, R(\alpha) R(\beta) = R(\alpha + \beta)가 성립한다.

3차원 공간으로 확장하면, 한 좌표 축을 회전축으로 하는 회전은 각각 3 \times 3 회전 행렬로 표현되며, 임의의 3차원 회전은 오일러 각이나 축-각도(Axis-Angle) 표현, 사원수(Quaternion) 등에 의해 매개변수화된다.

3. 반사 변환(Reflection)

3.1 정의와 행렬 표현

반사 변환은 원점을 지나는 어떤 직선(2차원의 경우) 또는 평면(3차원의 경우)을 거울로 삼아 모든 벡터를 그 거울상으로 보내는 사상이다. 평면에서 x축에 대한 반사는 다음 행렬로 표현된다.

F_{x} = \begin{pmatrix} 1 & 0 \\ 0 & -1 \end{pmatrix}

마찬가지로 y축에 대한 반사는

F_{y} = \begin{pmatrix} -1 & 0 \\ 0 & 1 \end{pmatrix}

이며, 원점을 지나고 x축과 각도 \theta를 이루는 직선에 대한 반사는 다음과 같이 일반화된다.

F_{\theta} = \begin{pmatrix} \cos 2\theta & \sin 2\theta \\ \sin 2\theta & -\cos 2\theta \end{pmatrix}

3.2 본질적 성질

반사 변환은 회전 변환과 마찬가지로 길이와 각도를 보존하는 직교 변환이다. 그러나 한 가지 결정적인 차이가 있는데, 행렬식이 -1이라는 점이다. 즉, 단위 부피의 크기는 보존되지만 방향이 뒤집힌다. 이로 인해 반사 변환은 시계 방향과 반시계 방향을 서로 교환하며, 손의 키랄성(Chirality)을 반전시킨다. 또한 반사 변환은 자기 자신과 합성하면 항등 변환이 되며, F_{\theta}^{2} = I가 성립한다. 이 성질은 반사 행렬이 자기 자신의 역행렬임을 의미한다.

4. 스케일링(Scaling)

4.1 정의와 행렬 표현

스케일링 변환은 모든 벡터를 좌표 축마다 정해진 비율로 늘이거나 줄이는 사상이다. 평면 위에서 x축 방향으로 s_x배, y축 방향으로 s_y배 확대하는 스케일링은 다음 대각 행렬로 표현된다.

S(s_x, s_y) = \begin{pmatrix} s_x & 0 \\ 0 & s_y \end{pmatrix}

특히 s_x = s_y = s인 경우를 균일 스케일링(Uniform Scaling) 또는 등방적 스케일링(Isotropic Scaling)이라 부르며, 이는 원점을 중심으로 모든 방향을 동일한 비율로 확대하는 사상이다. s_x \neq s_y인 경우는 비균일 스케일링(Non-uniform Scaling) 또는 이방적 스케일링(Anisotropic Scaling)이라 부르며, 형상의 비율을 변형시킨다.

4.2 본질적 성질

스케일링 변환의 행렬식은 \det(S) = s_x \cdot s_y이며, 이는 단위 부피가 사상 후에 가지는 부피 비율을 나타낸다. s_x, s_y > 0인 경우 방향이 보존되고, 둘 중 하나가 음수인 경우 방향이 뒤집힌다. 만약 어떤 s_i = 0이면 그 축 방향의 정보가 완전히 소실되어 사상이 더 낮은 차원의 부분 공간으로 사영된다. 이 경우 행렬식이 0이 되며, 사상은 가역이 아닌 퇴화 사상이 된다.

균일 스케일링은 길이의 비율과 각도를 모두 보존하지만 길이 자체는 변화시키며, 비균일 스케일링은 일반적으로 각도조차 보존하지 않는다.

5. 전단 변환(Shearing)

5.1 정의와 행렬 표현

전단 변환은 한 좌표 축을 따라 다른 좌표를 비례적으로 이동시키는 사상이다. 평면 위에서 x축 방향으로의 전단은 다음 행렬로 표현된다.

H_{x}(k) = \begin{pmatrix} 1 & k \\ 0 & 1 \end{pmatrix}

이 행렬을 벡터 \mathbf{v} = (x, y)^{\top}에 곱하면

H_{x}(k) \mathbf{v} = \begin{pmatrix} x + k y \\ y \end{pmatrix}

가 된다. 즉, 각 점의 x좌표는 그 y좌표에 비례하여 이동하며, y좌표는 변화하지 않는다. 마찬가지로 y축 방향으로의 전단은

H_{y}(k) = \begin{pmatrix} 1 & 0 \\ k & 1 \end{pmatrix}

로 표현된다.

5.2 본질적 성질

전단 변환의 행렬식은 \det(H_{x}(k)) = 1이며, 따라서 단위 부피와 방향이 모두 보존된다. 그러나 길이와 각도는 보존되지 않는다. 직사각형 격자는 전단 후에 평행사변형 격자로 변형되며, 이는 전단 변환이 비록 부피를 보존하더라도 회전이나 반사와는 본질적으로 다른 비등각(Non-conformal) 변환임을 의미한다. 전단 변환은 컴퓨터 그래픽스에서 이탤릭체 글꼴의 표현이나 시점 변환, 그리고 물리학에서 탄성체의 변형 분석에 자주 사용된다.

6. 네 변환의 비교 정리

다음 표는 평면 위에서의 네 표준 변환의 핵심적 성질을 비교한다.

이 표는 네 변환이 각자 다른 기하학적 속성을 보존하거나 변형시킨다는 사실을 명확히 보여 준다.

7. 합성에 의한 일반 선형 변환의 분해

이 네 가지 기본 변환은 임의의 평면 선형 변환을 구성하는 기본 단위로 사용될 수 있다. 일반적으로 임의의 비특이 행렬은 회전, 스케일링, 회전의 세 단계로 분해될 수 있으며, 이는 후속 장에서 다루는 특이값 분해(SVD)의 기하학적 해석에 정확히 대응한다. 즉, 임의의 선형 변환 T에 대응되는 행렬 A는 다음과 같이 분해된다.

A = U \Sigma V^{\top}

여기서 U와 V는 직교 행렬(따라서 회전 또는 회전과 반사의 합성)이며, \Sigma는 비음의 대각 행렬(따라서 비균일 스케일링)이다. 이 분해는 임의의 선형 변환이 본질적으로 “회전 → 비균일 스케일링 → 회전“이라는 세 단계의 합성으로 환원됨을 의미한다. 전단 변환 또한 회전과 스케일링의 합성으로 분해될 수 있으며, 이러한 분해는 컴퓨터 그래픽스의 변환 합성, 로보틱스의 좌표 변환, 그리고 신경망 가중치 행렬의 기하학적 해석에 광범위하게 응용된다.

8. 신경망에서의 등장

이러한 네 변환은 딥러닝의 맥락에서도 다양하게 등장한다. 데이터 증강(Data Augmentation)에서 회전, 반사, 스케일링은 입력 이미지에 적용되는 표준적 변형이며, 모델이 이러한 변형에 대해 불변성 또는 등변성을 학습하도록 유도한다. 또한 정규화 흐름(Normalizing Flow) 모형에서 가역적인 선형 변환은 분포 변환을 정의하는 핵심 요소로 사용되며, 회전과 스케일링의 결합은 가장 단순한 정규화 흐름의 구성 요소가 된다. 이러한 응용은 본 절에서 다룬 기본 변환들이 단순한 교과서적 사례에 머무르지 않고, 현대 딥러닝의 실용적 구성 요소로 직접 활용된다는 사실을 보여 준다.