29.15 기저 변환에 의한 선형 변환 행렬의 유사 변환(Similarity Transformation)

1. 문제의 설정

$V$ 를 $n$ 차원 벡터 공간이라 하고, $T : V \to V$ 를 선형 변환이라 하자. $\mathcal{B}$ 와 $\mathcal{B}'$ 를 $V$ 의 두 기저라 하면, $T$ 는 각 기저에 대하여 서로 다른 행렬 표현을 갖는다.

$[T]_{\mathcal{B}} = A, \quad [T]_{\mathcal{B}'} = A'$

핵심 질문은 다음이다: $A$ 와 $A'$ 사이에는 어떠한 관계가 성립하는가?

2. 유사 변환 공식의 유도

2.1 좌표 변환의 적용

임의의 벡터 $x \in V$ 에 대하여, $T(x)$ 의 기저 $\mathcal{B}'$ 에서의 좌표 벡터는 두 가지 경로로 구할 수 있다.

경로 1: 직접 계산.

$[T(x)]_{\mathcal{B}'} = A' [x]_{\mathcal{B}'}$

경로 2: 기저 $\mathcal{B}$ 를 경유.

먼저 $[x]_{\mathcal{B}'}$ 를 기저 $\mathcal{B}$ 의 좌표로 변환하고, $A$ 를 적용한 후, 다시 기저 $\mathcal{B}'$ 의 좌표로 되돌린다. 전이 행렬 $P = P_{\mathcal{B}' \to \mathcal{B}}$ 를 이용하면

$[x]_{\mathcal{B}} = P [x]_{\mathcal{B}'}$

$[T(x)]_{\mathcal{B}} = A [x]_{\mathcal{B}} = A P [x]_{\mathcal{B}'}$

$[T(x)]_{\mathcal{B}'} = P^{-1} [T(x)]_{\mathcal{B}} = P^{-1} A P [x]_{\mathcal{B}'}$

2.2 유사 변환 공식

두 경로의 결과가 모든 $x \in V$ 에 대하여 일치해야 하므로

$A' = P^{-1} A P$

이것이 유사 변환(similarity transformation) 공식이다. 여기서 $P = P_{\mathcal{B}' \to \mathcal{B}}$ 는 새 기저 $\mathcal{B}'$ 에서 옛 기저 $\mathcal{B}$ 로의 전이 행렬이다.

동치적으로, $Q = P_{\mathcal{B} \to \mathcal{B}'}$ 로 쓰면 $Q = P^{-1}$ 이므로

$A' = Q A Q^{-1}$

로도 표현할 수 있다.

3. 유사 변환 공식의 엄밀한 증명

정리. $T : V \to V$ 가 선형 변환이고, $\mathcal{B}$ 와 $\mathcal{B}'$ 가 $V$ 의 두 기저이며, $P = P_{\mathcal{B}' \to \mathcal{B}}$ 가 전이 행렬이면

$[T]_{\mathcal{B}'} = P^{-1} [T]_{\mathcal{B}} P$

증명. 기저 $\mathcal{B}' = \{w_1, w_2, \ldots, w_n\}$ 의 각 벡터 $w_j$ 에 대하여

$[T]_{\mathcal{B}'}의 \; j\text{번째 열} = [T(w_j)]_{\mathcal{B}'}$

이다. $w_j$ 의 기저 $\mathcal{B}$ 에서의 좌표는 전이 행렬의 $j$ 번째 열이므로

$[w_j]_{\mathcal{B}} = P e_j$

여기서 $e_j$ 는 $\mathbb{R}^n$ 의 $j$ 번째 표준 기저 벡터이다. 선형 변환의 행렬 표현에 의하여

$[T(w_j)]_{\mathcal{B}} = [T]_{\mathcal{B}} [w_j]_{\mathcal{B}} = A P e_j$

이를 기저 $\mathcal{B}'$ 의 좌표로 변환하면

$[T(w_j)]_{\mathcal{B}'} = P^{-1} [T(w_j)]_{\mathcal{B}} = P^{-1} A P e_j$

이것이 $P^{-1} A P$ 의 $j$ 번째 열이므로

$[T]_{\mathcal{B}'} = P^{-1} A P$

이다. $\blacksquare$

4. 교환 다이어그램에 의한 해석

유사 변환의 구조는 다음의 교환 다이어그램(commutative diagram)으로 명료하게 표현된다.

$\begin{array}{ccc} \mathbb{R}^n & \xrightarrow{A} & \mathbb{R}^n \\ \uparrow P & & \uparrow P \\ \mathbb{R}^n & \xrightarrow{A'} & \mathbb{R}^n \end{array}$

위쪽 행은 기저 $\mathcal{B}$ 에서의 좌표에 대한 선형 변환의 작용이고, 아래쪽 행은 기저 $\mathcal{B}'$ 에서의 좌표에 대한 작용이다. 세로 화살표 $P$ 는 기저 $\mathcal{B}'$ 의 좌표를 기저 $\mathcal{B}$ 의 좌표로 변환한다. 이 다이어그램의 교환성(commutativity)이 $A' = P^{-1}AP$ 를 의미한다.

5. 구체적 계산 예시

5.1 예시 1: $\mathbb{R}^2$ 에서의 유사 변환

선형 변환 $T : \mathbb{R}^2 \to \mathbb{R}^2$ 가 표준 기저 $\mathcal{E}$ 에서 행렬

$A = [T]_{\mathcal{E}} = \begin{pmatrix} 2 & 1 \\ 0 & 3 \end{pmatrix}$

으로 표현된다고 하라. 새 기저 $\mathcal{B}' = \left\{\begin{pmatrix} 1 \\ 1 \end{pmatrix}, \begin{pmatrix} 1 \\ -1 \end{pmatrix}\right\}$ 에서의 행렬 표현 $A' = [T]_{\mathcal{B}'}$ 를 구하라.

전이 행렬 $P = P_{\mathcal{B}' \to \mathcal{E}}$ 는 새 기저 벡터를 열로 배치한 행렬이다.

$P = \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}$

역행렬을 구하면

$P^{-1} = \frac{1}{-2}\begin{pmatrix} -1 & -1 \\ -1 & 1 \end{pmatrix} = \begin{pmatrix} \frac{1}{2} & \frac{1}{2} \\ \frac{1}{2} & -\frac{1}{2} \end{pmatrix}$

유사 변환을 적용하면

$A' = P^{-1} A P = \begin{pmatrix} \frac{1}{2} & \frac{1}{2} \\ \frac{1}{2} & -\frac{1}{2} \end{pmatrix} \begin{pmatrix} 2 & 1 \\ 0 & 3 \end{pmatrix} \begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix}$

중간 계산:

$P^{-1} A = \begin{pmatrix} 1 & 2 \\ 1 & -1 \end{pmatrix}$

$A' = \begin{pmatrix} 1 & 2 \\ 1 & -1 \end{pmatrix}\begin{pmatrix} 1 & 1 \\ 1 & -1 \end{pmatrix} = \begin{pmatrix} 3 & -1 \\ 0 & 2 \end{pmatrix}$

5.2 예시 2: 대각화와 유사 변환

행렬 $A = \begin{pmatrix} 5 & 4 \\ 1 & 2 \end{pmatrix}$ 의 고유값은 $\lambda_1 = 6$ , $\lambda_2 = 1$ 이고, 대응하는 고유벡터는 $v_1 = \begin{pmatrix} 4 \\ 1 \end{pmatrix}$ , $v_2 = \begin{pmatrix} -1 \\ 1 \end{pmatrix}$ 이다.

고유벡터 기저 $\mathcal{B}' = \{v_1, v_2\}$ 로의 유사 변환을 수행하면

$P = \begin{pmatrix} 4 & -1 \\ 1 & 1 \end{pmatrix}, \quad P^{-1} = \frac{1}{5}\begin{pmatrix} 1 & 1 \\ -1 & 4 \end{pmatrix}$

$A' = P^{-1} A P = \begin{pmatrix} 6 & 0 \\ 0 & 1 \end{pmatrix} = \text{diag}(\lambda_1, \lambda_2)$

고유벡터로 구성된 기저에서 선형 변환의 행렬이 대각 행렬이 되는 것은 유사 변환의 가장 중요한 응용 중 하나이다.

6. 유사 변환의 핵심 성질

6.1 반사성, 대칭성, 추이성

유사 변환 관계 $A' = P^{-1}AP$ (어떤 가역 행렬 $P$ 가 존재)는 $n \times n$ 행렬 전체의 집합 위에서 동치 관계(equivalence relation)를 정의한다.

반사성(reflexivity): $A = I^{-1} A I$
대칭성(symmetry): $A' = P^{-1}AP$ 이면 $A = (P^{-1})^{-1} A' (P^{-1}) = P A' P^{-1}$
추이성(transitivity): $A' = P^{-1}AP$ 이고 $A'' = Q^{-1}A'Q$ 이면 $A'' = (PQ)^{-1}A(PQ)$

6.2 선형 변환의 본질적 성질 보존

유사 변환은 기저를 바꾸는 것일 뿐 선형 변환 자체를 변형하지 않는다. 따라서 유사 변환에 의해 변하지 않는 행렬의 성질이 존재하며, 이러한 성질은 행렬이 아닌 선형 변환 자체에 고유한 불변량(invariant)이다.

$\text{tr}(A') = \text{tr}(P^{-1}AP) = \text{tr}(A)$

$\det(A') = \det(P^{-1}AP) = \det(P^{-1})\det(A)\det(P) = \det(A)$

$\text{rank}(A') = \text{rank}(A)$

이들 불변량은 대각합(trace)에 대하여 $\text{tr}(XY) = \text{tr}(YX)$ , 행렬식에 대하여 $\det(XY) = \det(X)\det(Y)$ 라는 성질로부터 즉시 도출된다.

7. 유사 변환의 연산 보존 성질

유사 변환은 행렬의 대수적 연산 구조를 보존한다.

다항식 보존. $p(\lambda) = c_k \lambda^k + \cdots + c_1 \lambda + c_0$ 이 다항식이면

$p(A') = p(P^{-1}AP) = P^{-1} p(A) P$

증명. $(P^{-1}AP)^k = P^{-1}A^k P$ (귀납법으로 증명)를 이용하면

$p(P^{-1}AP) = \sum_{i=0}^{k} c_i (P^{-1}AP)^i = \sum_{i=0}^{k} c_i P^{-1} A^i P = P^{-1}\left(\sum_{i=0}^{k} c_i A^i\right)P = P^{-1} p(A) P$

$\blacksquare$

이 성질의 직접적 귀결로, $A$ 와 $A' = P^{-1}AP$ 는 동일한 특성 다항식(characteristic polynomial)을 갖는다.

$\det(\lambda I - A') = \det(\lambda I - P^{-1}AP) = \det(P^{-1}(\lambda I - A)P) = \det(\lambda I - A)$

따라서 고유값은 유사 변환에 의한 불변량이다.

8. 유사 변환의 이론적 의의

유사 변환 공식 $A' = P^{-1}AP$ 는 선형대수학에서 다음의 근본적 원리를 수학적으로 구현한다.

첫째, 하나의 선형 변환이 기저 선택에 따라 무한히 많은 행렬로 표현될 수 있으나, 이들 행렬은 모두 유사 변환으로 연결된다. 따라서 유사 변환 관계에 있는 행렬들의 동치류(equivalence class)가 곧 하나의 추상적 선형 변환에 대응한다.

둘째, 적절한 기저를 선택하여 행렬 표현을 최대한 단순화하는 것이 가능하다. 대각화, 조르당 표준형(Jordan normal form), 유리 표준형(rational canonical form) 등은 모두 유사 변환을 통한 행렬 표현의 정규화(canonicalization)이다.

셋째, 딥러닝에서 신경망의 각 층이 수행하는 선형 변환의 가중치 행렬은 특정 기저(통상 표준 기저)에서의 행렬 표현이다. 유사 변환을 통해 이 가중치 행렬을 다른 기저에서 분석하면 신경망이 학습한 특성 공간의 구조를 더욱 명확히 이해할 수 있다.