27.29 행렬식(Determinant)의 정의와 기하학적 해석
1. 행렬식의 공리적 정의
행렬식(determinant)은 정사각 행렬에 스칼라 값을 대응시키는 함수 \det: \mathbb{R}^{n \times n} \to \mathbb{R}이다. 행렬 \mathbf{A}의 행렬식을 \det(\mathbf{A}) 또는 |\mathbf{A}|로 표기한다.
행렬식은 다음 세 가지 공리에 의하여 유일하게 결정된다.
공리 1 (다중선형성, Multilinearity): 행렬식은 각 행에 대하여 선형이다. 나머지 행을 고정하고 i번째 행만 변화시킬 때,
\det(\ldots, c\mathbf{r}_i + d\mathbf{r}_i', \ldots) = c\det(\ldots, \mathbf{r}_i, \ldots) + d\det(\ldots, \mathbf{r}_i', \ldots)
공리 2 (반대칭성, Antisymmetry): 두 행을 교환하면 행렬식의 부호가 반전된다.
\det(\ldots, \mathbf{r}_i, \ldots, \mathbf{r}_j, \ldots) = -\det(\ldots, \mathbf{r}_j, \ldots, \mathbf{r}_i, \ldots)
이 공리의 결과로, 두 행이 동일하면 행렬식은 0이다.
공리 3 (정규화, Normalization): 단위 행렬의 행렬식은 1이다. \det(\mathbf{I}_n) = 1.
이 세 공리를 만족하는 함수는 유일하며, 그것이 행렬식이다.
2. 순열에 의한 명시적 정의
공리적 정의로부터 행렬식의 명시적 공식을 유도할 수 있다. n \times n 행렬 \mathbf{A}의 행렬식은 다음과 같다.
\det(\mathbf{A}) = \sum_{\sigma \in S_n} \text{sgn}(\sigma) \prod_{i=1}^{n} a_{i,\sigma(i)}
여기서 S_n은 \{1, 2, \ldots, n\}의 모든 순열(permutation)의 집합이고, \text{sgn}(\sigma)는 순열 \sigma의 부호(sign)로서 짝순열이면 +1, 홀순열이면 -1이다. S_n의 원소 수가 n!개이므로, 이 공식은 n!개의 항의 합이다.
2 \times 2 행렬의 경우 S_2 = \{(1,2), (2,1)\}이므로,
\det\begin{pmatrix} a & b \\ c & d \end{pmatrix} = ad - bc
3 \times 3 행렬의 경우 S_3에는 6개의 순열이 있으므로,
\det\begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{pmatrix} = a_{11}a_{22}a_{33} + a_{12}a_{23}a_{31} + a_{13}a_{21}a_{32} - a_{13}a_{22}a_{31} - a_{12}a_{21}a_{33} - a_{11}a_{23}a_{32}
이 공식은 사뤼스 법칙(Sarrus’ rule)으로도 알려져 있으나, 4 \times 4 이상의 행렬에는 적용할 수 없다.
3. 행렬식의 기본 성질
곱의 행렬식: \det(\mathbf{A}\mathbf{B}) = \det(\mathbf{A})\det(\mathbf{B}). 이는 행렬식이 곱셈에 대한 준동형사상(homomorphism)임을 의미한다.
전치의 행렬식: \det(\mathbf{A}^\top) = \det(\mathbf{A}). 따라서 행에 대한 성질은 열에 대해서도 동일하게 성립한다.
역행렬의 행렬식: \det(\mathbf{A}^{-1}) = 1/\det(\mathbf{A}).
스칼라 곱의 행렬식: \det(c\mathbf{A}) = c^n \det(\mathbf{A}). 여기서 n은 행렬의 크기이다. 이는 다중선형성에서 각 행에 c가 곱해지므로 c가 n번 추출되기 때문이다.
삼각 행렬의 행렬식: 삼각 행렬과 대각 행렬의 행렬식은 주대각선 원소의 곱이다.
\det(\mathbf{D}) = \det(\mathbf{L}) = \det(\mathbf{U}) = \prod_{i=1}^{n} a_{ii}
특이성 판별: \det(\mathbf{A}) = 0이면 \mathbf{A}는 특이(singular)하고, \det(\mathbf{A}) \neq 0이면 가역(invertible)이다.
4. 기하학적 해석: 부호 있는 부피
행렬식의 기하학적 의미는 선형 변환이 부피에 미치는 영향이다. n \times n 행렬 \mathbf{A}의 열벡터 \mathbf{a}_1, \mathbf{a}_2, \ldots, \mathbf{a}_n이 이루는 평행다면체(parallelepiped)의 부호 있는 부피(signed volume)가 \det(\mathbf{A})이다.
\mathbb{R}^2에서 두 벡터 \mathbf{a}_1 = (a_{11}, a_{21})^\top과 \mathbf{a}_2 = (a_{12}, a_{22})^\top이 이루는 평행사변형의 부호 있는 넓이는 다음과 같다.
\det(\mathbf{A}) = a_{11}a_{22} - a_{12}a_{21}
양수이면 \mathbf{a}_1에서 \mathbf{a}_2로의 방향이 반시계이고, 음수이면 시계 방향이다. 절댓값 |\det(\mathbf{A})|이 넓이이다.
\mathbb{R}^3에서 세 벡터가 이루는 평행육면체의 부호 있는 부피가 3 \times 3 행렬식이다. 이를 삼중곱(triple scalar product) \mathbf{a}_1 \cdot (\mathbf{a}_2 \times \mathbf{a}_3)으로 표현할 수도 있다.
선형 변환 T(\mathbf{x}) = \mathbf{A}\mathbf{x}가 \mathbb{R}^n의 임의의 영역 \Omega에 적용될 때, 변환된 영역 T(\Omega)의 부피는 다음과 같이 변한다.
\text{Vol}(T(\Omega)) = |\det(\mathbf{A})| \cdot \text{Vol}(\Omega)
|\det(\mathbf{A})| > 1이면 부피가 확대되고, |\det(\mathbf{A})| < 1이면 축소되며, |\det(\mathbf{A})| = 1이면 부피가 보존된다. \det(\mathbf{A}) = 0이면 변환이 차원을 낮추어 부피가 0이 되며, 이는 행렬이 특이함을 의미한다.
\det(\mathbf{A})의 부호는 변환이 공간의 방향(orientation)을 보존하는지 뒤집는지를 나타낸다. \det(\mathbf{A}) > 0이면 방향이 보존되고, \det(\mathbf{A}) < 0이면 반사(reflection)가 포함되어 방향이 뒤집힌다.
5. 행 연산과 행렬식의 관계
기본 행 연산이 행렬식에 미치는 영향은 다음과 같다.
| 행 연산 | 행렬식의 변화 |
|---|---|
| 두 행 교환 | 부호 반전: \det \to -\det |
| 한 행에 c 곱함 | c배: \det \to c \cdot \det |
| 한 행에 다른 행의 c배 덧셈 | 불변: \det \to \det |
이 관계를 이용하면 가우스 소거법으로 행렬식을 효율적으로 계산할 수 있다. 행렬을 상삼각 형태로 변환한 후 대각 원소의 곱에 행 교환 횟수에 따른 부호를 곱하면 된다. 이 방법의 복잡도는 O(n^3/3)으로, 순열 공식의 O(n \cdot n!)에 비해 실용적이다.
6. 딥러닝에서의 행렬식
딥러닝에서 행렬식은 확률 모델과 변환의 분석에서 중요한 역할을 한다.
변수 변환 공식: 확률 변수 \mathbf{x}에 가역 변환 \mathbf{y} = f(\mathbf{x})를 적용할 때, 확률 밀도 함수는 야코비안의 행렬식을 통해 변환된다.
p_Y(\mathbf{y}) = p_X(f^{-1}(\mathbf{y})) \cdot \left|\det\left(\frac{\partial f^{-1}}{\partial \mathbf{y}}\right)\right|
정규화 흐름(normalizing flow)은 이 공식을 직접 활용하여, 단순한 기저 분포(base distribution)를 복잡한 목표 분포로 변환하는 생성 모델이다. 로그 우도의 계산에서 \log |\det(\mathbf{J})|의 효율적 산출이 핵심적 과제가 된다.
행렬식의 기울기: 행렬식의 행렬에 대한 미분은 야코비 공식(Jacobi’s formula)으로 주어진다.
\frac{\partial \det(\mathbf{A})}{\partial a_{ij}} = C_{ij}
여기서 C_{ij}는 (i,j) 여인자이다. 행렬 형태로 표현하면 \frac{\partial \det(\mathbf{A})}{\partial \mathbf{A}} = \text{adj}(\mathbf{A})^\top이고, \mathbf{A}가 가역이면 \det(\mathbf{A})(\mathbf{A}^{-1})^\top이다. 이 결과는 자동 미분 시스템에서 행렬식을 포함하는 계산 그래프의 역전파에 사용된다.
가우시안 분포의 정규화 상수: 다변량 가우시안 분포 \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Sigma})의 확률 밀도 함수에서 정규화 상수는 \det(\boldsymbol{\Sigma})를 포함한다.
p(\mathbf{x}) = \frac{1}{(2\pi)^{n/2}|\det(\boldsymbol{\Sigma})|^{1/2}} \exp\left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^\top\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\right)
변분 오토인코더(VAE)나 가우시안 혼합 모델(GMM)의 학습에서 로그 행렬식 \log\det(\boldsymbol{\Sigma})의 계산이 반복적으로 필요하며, 촐레스키 분해를 통해 \log\det(\boldsymbol{\Sigma}) = 2\sum_i \log l_{ii}로 수치적으로 안정하게 계산한다.