행렬식(determinant)은 선형대수학의 연구에서 중심적인 위치를 차지하는 개념이다. 표면적으로 행렬식은 정사각 행렬(square matrix)에 유일한 스칼라 값을 대응시키는 하나의 함수에 불과하다.1 그러나 그 내면을 깊이 들여다보면, 행렬식은 행렬이 기술하는 선형 변환(linear transformation)의 본질적인 기하학적 특성을 압축하여 담고 있으며, 행렬의 가역성(invertibility), 연립일차방정식의 해의 존재 유무, 고유값(eigenvalue) 계산 등 선형대수학의 핵심적인 문제들을 판별하는 근본적인 도구로 기능한다.3
행렬식의 개념은 역사적으로 연립일차방정식의 해법을 모색하는 과정에서 자연스럽게 발생하였다. 16세기 이탈리아 수학자 지롤라모 카르다노(Girolamo Cardano)는 2x2 시스템의 해를 구하는 과정에서 행렬식과 유사한 개념을 처음으로 사용하였으며, 17세기에는 고트프리트 라이프니츠(Gottfried Leibniz)가 더 일반적인 크기의 행렬에 대한 행렬식의 개념을 정립하였다.2 이후 가브리엘 크라메르(Gabriel Cramer)는 행렬식을 이용하여 연립방정식의 해를 구하는 공식을 제시함으로써 그 유용성을 입증하였다. 이처럼 행렬식은 추상적인 이론의 산물이 아니라, 구체적인 문제를 해결하려는 노력 속에서 탄생하고 발전해 온 개념이다.
본 보고서의 목표는 행렬식에 대한 포괄적이고 심층적인 이해를 제공하여, 독자가 이 강력한 도구를 완벽하게 숙달하는, 이른바 ‘완전 정복’의 경지에 이르도록 돕는 데 있다. 이를 위해, 본 보고서는 다음과 같은 체계적인 구조를 따른다. 첫째, 행렬식을 정의하는 여러 가지 접근법-공리적 정의, 라이프니츠 공식, 라플라스 전개-을 탐구하고 이들이 어떻게 유기적으로 연결되는지를 밝힌다. 둘째, 행렬식의 핵심적인 대수적 성질들을 기하학적 직관과 결부하여 해석함으로써, 단순한 공식 암기를 넘어선 본질적인 이해를 추구한다. 셋째, 다양한 상황에 적용할 수 있는 효율적인 계산 전략들을 비교 분석하여 실용적인 문제 해결 능력을 함양한다. 마지막으로, 선형대수학의 범주를 넘어 미적분학, 기하학, 공학 등 다양한 분야에서 행렬식이 어떻게 활용되는지를 구체적인 사례를 통해 조망한다. 이 여정을 통해 독자는 행렬식이란 개념의 다채로운 면모와 그 지적인 깊이를 온전히 체감하게 될 것이다.
행렬식을 이해하는 여정은 그것을 어떻게 정의하는가에서 시작된다. 단일한 정의 대신, 행렬식은 여러 가지 동등한 관점을 통해 정의될 수 있으며, 각각의 정의는 행렬식의 특정 측면을 부각하며 고유한 통찰을 제공한다. 본 장에서는 행렬식을 정의하는 세 가지 주요 접근법-공리적 접근, 라이프니츠 일반 공식, 그리고 재귀적 정의인 라플라스 전개-을 제시한다. 이들은 서로 다른 언어로 행렬식을 설명하는 듯 보이지만, 궁극적으로는 동일한 수학적 대상을 가리키고 있음을 밝힐 것이다. 이러한 다각적 접근을 통해 행렬식의 풍부하고 입체적인 개념을 구축할 수 있다.
행렬식을 정의하는 가장 근본적이고 우아한 방법 중 하나는 구체적인 계산 공식을 제시하는 대신, 행렬식이 만족해야 할 핵심적인 ‘행동 양식’을 규정하는 것이다. 이 공리적 접근법(axiomatic approach)은 행렬식을 특정 세 가지 성질을 만족시키는 유일한 함수로 정의한다. 이 접근법의 강력함은 행렬식의 모든 다른 성질들이 이 세 가지 기본 공리로부터 논리적으로 파생될 수 있다는 점에서 비롯된다.2
$n \times n$ 행렬 $A$의 열벡터를 $\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n$이라 할 때, 행렬식 함수 $\det(A) = \det(\mathbf{v}_1, \dots, \mathbf{v}_n)$는 다음 세 가지 공리를 만족하는 유일한 함수로 정의된다.
다중선형성 (Multilinearity): 행렬식은 각각의 열벡터에 대해 선형(linear)이다. 즉, 다른 모든 열벡터 $\mathbf{v}_j$($j \neq i$)가 고정되어 있을 때, $i$번째 열벡터에 대한 함수로서 선형성을 만족한다. 이를 수식으로 표현하면 다음과 같다.3
이 성질은 기하학적으로 평행육면체의 한 변의 길이를 $c$배 늘리면 그 부피도 $c$배가 되며, 두 벡터의 합으로 이루어진 변을 갖는 평행육면체의 부피는 원래 벡터들을 변으로 갖는 두 평행육면체 부피의 합과 관련이 있음을 의미한다.4
교대성 (Alternating Property): 행렬의 두 열벡터를 교환하면 행렬식의 부호가 바뀐다.3 \(\det(\dots, \mathbf{v}_i, \dots, \mathbf{v}_j, \dots) = -\det(\dots, \mathbf{v}_j, \dots, \mathbf{v}_i, \dots)\) 이 성질로부터 중요한 따름정리가 유도된다. 만약 두 개의 열이 동일하다면($\mathbf{v}_i = \mathbf{v}_j$), 그 두 열을 교환해도 행렬은 변하지 않는다. 따라서 $\det(A) = -\det(A)$가 되어야 하므로, $\det(A) = 0$임을 알 수 있다. 이는 기하학적으로 두 변이 겹쳐져 $n$차원 공간을 채우지 못하는 ‘찌그러진’ 평행육면체의 부피가 0임을 의미한다.4
정규성 (Normalization): 단위행렬(Identity matrix) $I$의 행렬식은 1이다.3 \(\det(I) = 1\) 이 조건은 행렬식이라는 ‘부피’를 측정하는 기준을 설정하는 역할을 한다. 즉, 각 축 방향으로 길이가 1인 기저 벡터들로 만들어진 단위 정육면체(unit hypercube)의 부피를 1로 정의하는 것이다.
이 세 가지 공리는 놀랍게도 행렬식 함수를 유일하게 결정한다. 이는 수학에서 대상을 정의하는 두 가지 주요 방식, 즉 ‘무엇인가’를 직접 구성하여 보여주는 구성적 정의와 ‘어떻게 행동하는가’를 규정하는 공리적 정의 중 후자의 전형적인 예이다. 이 접근법은 행렬식의 기하학적 해석(2장 참조)의 단단한 수학적 토대를 제공한다. 다중선형성과 교대성은 행렬의 열벡터들이 형성하는 평행육면체의 ‘부호가 있는 부피(signed volume)’가 가져야 할 자연스러운 성질을 포착하며, 정규성은 그 부피의 단위를 설정한다. 결국, 이 세 공리는 행렬식을 ‘단위 정육면체의 부피를 1로 하는 유일한 부호 있는 부피 함수’로 정의하는 것과 같다.
공리적 접근이 행렬식의 ‘성격’을 규정한다면, 라이프니츠 공식(Leibniz formula)은 그 성격을 만족하는 함수를 구체적으로 ‘구성’하는 방법을 제시한다. 이 정의는 $n \times n$ 행렬 $A$의 행렬식을 순열(permutation)이라는 조합론적 도구를 사용하여 명시적인 다항식으로 표현한다.2 이 공식은 이론적으로 매우 중요하며, 행렬식의 근본적인 구조를 드러낸다.
$n$차 정사각 행렬 $A = [a_{ij}]$의 행렬식은 다음과 같이 정의된다.6 \(\det(A) = \sum_{\sigma \in S_n} \text{sgn}(\sigma) \prod_{i=1}^{n} a_{i, \sigma(i)}\) 이 복잡해 보이는 공식을 이해하기 위해 각 구성 요소를 나누어 살펴보아야 한다.
이 라이프니츠 공식은 공리적 정의의 구체적인 실현이다. 각 행과 열에서 원소를 하나씩만 선택하여 곱하는 방식은 다중선형성을, 그리고 각 항에 치환의 부호를 곱해주는 것은 교대성을 만족시키기 위한 장치이다. 두 행을 교환하는 것은 순열에서 두 원소의 위치를 바꾸는 것과 같으며, 이는 치환의 부호를 반전시키는 효과를 낳기 때문이다.
예시: 2x2 행렬
$A = \begin{pmatrix} a_{11} & a_{12} \ a_{21} & a_{22} \end{pmatrix}$의 경우, $n=2$이므로 집합 ${1, 2}$의 순열은 두 가지가 있다.
이 두 항을 더하면 $\det(A) = a_{11} a_{22} - a_{12} a_{21}$이라는 익숙한 공식을 얻는다.5 이처럼 라이프니츠 공식은 행렬식의 모든 항을 체계적으로 생성하는 근본적인 알고리즘이다.
라이프니츠 공식은 행렬식의 구조를 완벽하게 설명하지만, $n$이 커지면 $n!$개의 항을 모두 계산해야 하므로 실용적이지 않다. 라플라스 전개(Laplace expansion) 또는 여인수 전개(cofactor expansion)는 행렬식을 더 작은 크기의 행렬식들의 합으로 표현하는 재귀적(recursive) 방법을 제공한다.9 이 방법은 ‘분할 정복(divide and conquer)’ 전략을 행렬식 계산에 적용한 것으로 볼 수 있다.
라플라스 전개를 이해하기 위해서는 먼저 소행렬식과 여인수의 개념을 정의해야 한다.
소행렬식 (Minor): $n \times n$ 행렬 $A$에서 $i$번째 행과 $j$번째 열을 제거하여 얻은 $(n-1) \times (n-1)$ 부분 행렬의 행렬식을 원소 $a_{ij}$의 소행렬식이라 하고, $M_{ij}$로 표기한다.11
여인수 (Cofactor): 원소 $a_{ij}$의 여인수는 소행렬식 $M_{ij}$에 위치에 따른 부호 $(-1)^(i+j)$를 곱한 값이다. 즉, $C_{ij} = (-1)^{i+j} M_{ij}$이다.5 부호는 체스판처럼
$+$, $-$가 교대로 나타나는 패턴을 따른다.
이 개념들을 이용하여 행렬 $A$의 행렬식은 임의의 한 행 또는 한 열을 선택하여 다음과 같이 전개할 수 있다.
$i$번째 행에 대한 라플라스 전개 2: \(\det(A) = \sum_{j=1}^{n} a_{ij} C_{ij} = a_{i1}C_{i1} + a_{i2}C_{i2} + \dots + a_{in}C_{in}\)
$j$번째 열에 대한 라플라스 전개 2: \(\det(A) = \sum_{i=1}^{n} a_{ij} C_{ij} = a_{1j}C_{1j} + a_{2j}C_{2j} + \dots + a_{nj}C_{nj}\)
어떤 행이나 열을 선택해도 결과는 동일하다.9 이 전개식은
$n$차 행렬식을 $(n-1)$차 행렬식들의 계산 문제로 환원시킨다. 이 과정을 반복하면 결국 2x2 행렬식의 계산으로 귀결된다.
예시: 3x3 행렬의 1행 전개 \(A = \begin{pmatrix} a_{11} & a_{12} & a_{13} \\ a_{21} & a_{22} & a_{23} \\ a_{31} & a_{32} & a_{33} \end{pmatrix}\) 를 1행에 대해 전개하면 다음과 같다. \(\det(A) = a_{11}C_{11} + a_{12}C_{12} + a_{13}C_{13}\)
\[= a_{11}(-1)^{1+1} \begin{vmatrix} a_{22} & a_{23} \\ a_{32} & a_{33} \end{vmatrix} + a_{12}(-1)^{1+2} \begin{vmatrix} a_{21} & a_{23} \\ a_{31} & a_{33} \end{vmatrix} + a_{13}(-1)^{1+3} \begin{vmatrix} a_{21} & a_{22} \\ a_{31} & a_{32} \end{vmatrix}\] \[= a_{11}(a_{22}a_{33} - a_{23}a_{32}) - a_{12}(a_{21}a_{33} - a_{23}a_{31}) + a_{13}(a_{21}a_{32} - a_{22}a_{31})\]이 결과는 라이프니츠 공식으로 얻은 6개의 항과 정확히 일치한다. 사실 라플라스 전개는 라이프니츠 공식의 수많은 항들을 특정 행(또는 열)의 원소를 기준으로 체계적으로 그룹화한 결과로 볼 수 있다. $a_{ij}$를 포함하는 모든 항들의 합은 $a_{ij}C_{ij}$와 같아진다. 부호 $(-1)^(i+j)$는 원래 순열에서 $a_{ij}$를 $a_{11}$ 위치로 옮기는 데 필요한 행과 열의 교환 횟수와 관련이 있으며, 이는 라이프니츠 공식의 $sgn(σ)$에서 파생된 것이다. 따라서 라플라스 전개는 라이프니츠 공식의 구조를 재귀적으로 재해석한 것이며, 특히 0을 많이 포함하는 희소 행렬(sparse matrix)의 행렬식을 계산할 때 매우 유용하다.12
행렬식의 대수적 성질들은 단순히 기억해야 할 공식의 목록이 아니다. 이들은 행렬식이 지닌 깊은 기하학적 의미, 즉 선형 변환에 따른 ‘부피의 변화율’과 ‘방향성’의 필연적인 표현이다. 본 장에서는 행렬식의 주요 대수적 성질들을 체계적으로 정리하고, 이들을 기하학적 직관과 연결하여 왜 이러한 성질들이 성립할 수밖에 없는지를 탐구한다. 이 과정을 통해 독자는 대수적 조작과 기하학적 상상력 사이의 아름다운 상호작용을 이해하게 될 것이다.
행렬식은 여러 강력하고 유용한 대수적 성질을 만족하며, 이들은 행렬식의 계산과 이론적 분석에 필수적으로 사용된다. 이러한 성질들은 1장에서 다룬 정의들로부터 엄밀하게 증명될 수 있다.
전치 행렬 (Transpose Matrix): 행렬 $A$와 그 전치 행렬 $A^T$의 행렬식은 같다.3 \(\det(A^T) = \det(A)\) 라이프니츠 공식 \(\det(A) = \sum_{\sigma \in S_n} \text{sgn}(\sigma) \prod_{i=1}^{n} a_{i, \sigma(i)}\) 에서 곱셈의 순서를 바꾸면 \(\prod_{i=1}^{n} a_{i, \sigma(i)} = \prod_{j=1}^{n} a_{\sigma^{-1}(j), j}\) 가 된다. 또한 \(\text{sgn}(\sigma) = \text{sgn}(\sigma^{-1})\) 이므로, \(\det(A) = \sum_{\sigma^{-1} \in S_n} \text{sgn}(\sigma^{-1}) \prod_{j=1}^{n} a_{\sigma^{-1}(j), j}\) 가 된다.
이는 $A^T$의 행렬식 정의와 동일하다. 이 성질 덕분에 행렬식에 대한 모든 ‘행’ 관련 성질은 ‘열’에도 동일하게 적용된다.
행렬 곱 (Matrix Product): 두 행렬 $A$와 $B$의 곱의 행렬식은 각 행렬의 행렬식의 곱과 같다.3 \(\det(AB) = \det(A)\det(B)\) 이 성질은 행렬식의 가장 중요하고 강력한 성질 중 하나이다. 증명은 다소 복잡하지만, $A$와 $B$가 기본 행렬(elementary matrix)인 경우를 먼저 보이고 일반적인 행렬로 확장하는 방식으로 증명할 수 있다. 이로부터 $\det(AB) = \det(BA)$라는 사실도 유추할 수 있다 (단, $AB \neq BA$일 수 있다).
역행렬 (Inverse Matrix): 가역 행렬 $A$의 역행렬 $A^{-1}$의 행렬식은 원래 행렬식의 역수이다.3 \(\det(A^{-1}) = \frac{1}{\det(A)} = (\det(A))^{-1}\) 이는 $AA^{-1} = I$라는 사실과 행렬 곱의 성질로부터 쉽게 유도된다. $\det(AA^{-1}) = \det(A)\det(A^{-1})$이고 $\det(I) = 1$이므로, $\det(A)\det(A^{-1}) = 1$이다. 이 식은 $\det(A) \neq 0$일 때만 성립하며, 이는 행렬의 가역성과 행렬식 값이 0이 아닌 것이 동치임을 암시한다.
스칼라 곱 (Scalar Multiplication): $n \times n$ 행렬 $A$에 스칼라 $k$를 곱한 행렬 $kA$의 행렬식은 $k^n \det(A)$이다.3 \(\det(kA) = k^n \det(A)\) 이는 행렬 $kA$가 $A$의 모든 $n$개의 행(또는 열)에 각각 $k$가 곱해진 것과 같기 때문이다. 행렬식의 다중선형성에 의해 각 행에서 $k$를 한 번씩 밖으로 꺼낼 수 있으므로, 총 $n$번의 $k$가 곱해져 $k^n$이 된다.
닮음 행렬 (Similar Matrices): 두 행렬 $A$와 $B$가 닮음 관계일 때 (즉, 어떤 가역 행렬 $P$에 대해 $B = P^{-1}AP$일 때), 두 행렬의 행렬식은 같다.3 \(\det(B) = \det(P^{-1}AP) = \det(P^{-1})\det(A)\det(P) = \frac{1}{\det(P)}\det(A)\det(P) = \det(A)\) 이 성질은 행렬식이 좌표계의 선택에 무관한, 선형 변환 고유의 특성임을 보여준다.
삼각 행렬 (Triangular Matrix): 상삼각행렬 또는 하삼각행렬의 행렬식은 주대각 원소(main diagonal elements)들의 곱과 같다.2 \(A = \begin{pmatrix} a_{11} & a_{12} & \dots \\ 0 & a_{22} & \dots \\ 0 & 0 & \ddots \end{pmatrix} \implies \det(A) = a_{11}a_{22}\cdots a_{nn}\) 이는 라플라스 전개를 반복적으로 적용하거나 라이프니츠 공식을 분석하여 증명할 수 있다. 이 성질은 3.3절에서 다룰 가우스 소거법을 이용한 행렬식 계산의 핵심 원리가 된다.
대수적 성질들의 이면에 있는 진정한 의미를 파악하기 위해서는 행렬식을 기하학적 렌즈로 바라보아야 한다. $n \times n$ 행렬 $A$는 $n$차원 공간 $\mathbb{R}^n$을 $\mathbb{R}^n$으로 보내는 선형 변환으로 해석할 수 있다. 이 변환은 공간의 도형들을 이동시키고, 회전시키며, 크기를 변화시킨다. 행렬식은 이 변환이 ‘부피’에 미치는 영향을 정확히 정량화하는 값이다.14
이 기하학적 해석은 2.1절의 대수적 성질들에 대한 깊은 직관을 제공한다.
행렬식의 가장 중요한 역할 중 하나는 행렬의 ‘특이성(singularity)’ 또는 ‘퇴화(degeneracy)’를 판별하는 것이다. 행렬식이 0이 되는지 여부는 행렬의 여러 핵심적인 성질들과 깊이 연관되어 있으며, 이들은 모두 서로 동치(equivalent) 관계에 있다. $n \times n$ 정사각 행렬 $A$에 대해, 다음 명제들은 모두 동치이다.
이 동치 관계의 중심에는 행렬식의 기하학적 의미가 있다.
$A$의 열벡터들이 선형 종속(linearly dependent)이라는 것은, 이 벡터들이 $n$차원 공간을 완전히 채우지 못하고 더 낮은 차원의 부분 공간(예: 3차원 공간에서 세 벡터가 하나의 평면에 놓이는 경우)에 갇혀 있음을 의미한다.20
이 경우, 이 벡터들이 만드는 $n$-평행체의 $n$차원 부피는 0이 된다. 기하학적 정의에 따라, 이는 $\det(A) = 0$임을 의미한다.15
부피가 0이 된다는 것은 선형 변환 $A$가 $n$차원 공간을 더 낮은 차원으로 ‘찌그러뜨렸다’는 뜻이다.15 한번 찌그러져 정보가 손실된 변환은 원래대로 되돌릴 수 없으므로, 역변환
$A^{-1}$는 존재할 수 없다. 즉, $A$는 비가역적(non-invertible)이다.
$A$가 비가역적이면, $A\mathbf{x} = \mathbf{0}$을 만족하는 $\mathbf{x} \neq \mathbf{0}$인 해, 즉 비자명해가 존재하게 된다. 이는 변환에 의해 0이 아닌 벡터가 원점으로 사상됨을 의미하며, 이는 공간이 찌그러졌다는 또 다른 표현이다.
비자명해 $\mathbf{x} = [c_1, \dots, c_n]^T$가 존재한다는 것은, $A$의 열벡터 $\mathbf{v}_i$들에 대해 $c_1\mathbf{v}_1 + \dots + c_n\mathbf{v}_n = \mathbf{0}$을 만족하는 0이 아닌 계수 $c_i$들이 존재한다는 뜻이며, 이는 열벡터들의 선형 종속의 정의 그 자체이다.
결론적으로, $\det(A) = 0$이라는 단일한 조건은 행렬의 비가역성, 행/열 벡터의 선형 종속, 차원 축소와 같은 모든 형태의 ‘퇴화’가 동시에 발생함을 알려주는 강력한 신호이다. 행렬식은 이 모든 개념을 연결하는 고리의 가장 계산하기 쉬운 진입점 역할을 수행한다.
행렬식의 이론적 정의와 성질을 이해했다면, 다음 단계는 이를 실제로 계산하는 방법을 익히는 것이다. 행렬의 크기와 구조에 따라 가장 효율적인 계산 전략은 달라진다. 본 장에서는 작은 크기의 행렬을 위한 간단한 공식부터 대규모 행렬에 적용 가능한 체계적인 알고리즘까지 다양한 계산법을 소개한다. 각 방법의 계산 복잡도와 적용 범위를 비교 분석함으로써, 주어진 문제에 가장 적합한 도구를 선택하는 능력을 기르는 것을 목표로 한다.
행렬의 크기가 작을 때는 복잡한 일반 공식보다 간단한 패턴을 이용하는 것이 훨씬 빠르고 효율적이다.
2x2 행렬: 2차 정사각 행렬의 행렬식은 주대각선 원소의 곱에서 반대 대각선 원소의 곱을 빼는 간단한 공식으로 계산된다.21
$A = \begin{pmatrix} a & b \ c & d \end{pmatrix}$ 일 때, \(\det(A) = \begin{vmatrix} a & b \\ c & d \end{vmatrix} = ad - bc\) 이 공식은 1.2절에서 보았듯이 라이프니츠 공식의 직접적인 결과이다.6
3x3 행렬: 사뤼스 법칙(Sarrus’s Rule): 3차 정사각 행렬의 경우, 라이프니츠 공식의 6개 항을 시각적으로 쉽게 계산할 수 있는 사뤼스 법칙이라는 편의적인 방법을 사용할 수 있다.2
$A = \begin{pmatrix} a_{11} & a_{12} & a_{13} \ a_{21} & a_{22} & a_{23} \ a_{31} & a_{32} & a_{33} \end{pmatrix}$ 에 대해, \((a_{11} a_{22} a_{33} + a_{12} a_{23} a_{31} + a_{13} a_{21} a_{32}) - (a_{31} a_{22} a_{13} + a_{32} a_{23} a_{11} + a_{33} a_{21} a_{12})\) 이 방법은 매우 편리하지만, 오직 3x3 행렬에만 적용된다는 점을 반드시 명심해야 한다. 4x4 이상의 행렬에는 이와 같은 단순한 대각선 패턴이 성립하지 않는다.2 그 이유는 행렬식의 항의 개수가
$n!$로 증가하는 반면, 사뤼스 방식으로는 $2n$개의 항밖에 만들 수 없기 때문이다. 예를 들어, 4x4 행렬의 행렬식은 $4! = 24$개의 항을 갖지만, 사뤼스 방식을 확장하면 8개의 항만 얻을 수 있다. 사뤼스 법칙의 실패는 행렬식의 조합적 복잡성(combinatorial complexity)이 행렬 크기가 커짐에 따라 폭발적으로 증가한다는 사실을 보여주는 구체적인 사례이다.26
1.3절에서 소개한 라플라스 전개는 모든 크기의 정사각 행렬에 적용할 수 있는 일반적인 계산법이다. 이 방법은 특히 행이나 열에 0이 많이 포함된 경우에 위력을 발휘한다. 0이 포함된 원소를 기준으로 전개하면 해당 항이 소거되어 계산량이 크게 줄어들기 때문이다.5
예를 들어, 다음 4x4 행렬의 행렬식을 계산한다고 가정해 보자.
$A = \begin{pmatrix} 3 & 5 & -2 & 6 \ 1 & 2 & -1 & 1 \ 2 & 4 & 1 & 5 \ 3 & 7 & 5 & 3 \end{pmatrix}$
이 행렬을 직접 전개하는 것은 매우 번거롭다. 그러나 만약 행렬이 다음과 같다면,
$B = \begin{pmatrix} 3 & 0 & 0 & 0 \ 1 & 2 & -1 & 1 \ 2 & 4 & 1 & 5 \ 3 & 7 & 5 & 3 \end{pmatrix}$
1행에 대해 라플라스 전개를 사용하면 계산이 매우 간단해진다.
$\det(B) = 3 \cdot C_{11} + 0 \cdot C_{12} + 0 \cdot C_{13} + 0 \cdot C_{14} = 3 \cdot (-1)^{1+1} M_{11}$
즉, 4x4 행렬식 계산이 3x3 행렬식 계산 문제 하나로 축소된다.
그러나 일반적으로 0이 없는 행렬의 경우, 라플라스 전개의 계산 복잡도는 $O(n!)$에 비례한다. 이는 $n$이 4 또는 5만 되어도 손으로 계산하기에는 거의 불가능한 수준이며, 컴퓨터로 계산하기에도 매우 비효율적인 방법이다.
대규모 행렬의 행렬식을 계산하는 가장 실용적이고 효율적인 방법은 가우스 소거법(Gaussian Elimination)과 기본 행 연산(elementary row operations)의 성질을 이용하는 것이다.27 이 방법의 핵심 아이디어는 계산하기 어려운 원래 행렬을, 행렬식 계산이 매우 쉬운 상삼각행렬(Upper Triangular Matrix)로 변환하는 것이다.
이 과정은 다음 세 가지 기본 행 연산이 행렬식 값에 미치는 영향을 추적하는 것을 기반으로 한다.8
계산 과정
주어진 행렬 $A$를 가우스 소거법을 이용해 행사다리꼴(row echelon form), 즉 상삼각행렬 $U$로 변환한다.28
소거 과정을 수행하는 동안, 적용된 기본 행 연산의 종류와 횟수를 기록한다.
변환된 상삼각행렬 $U$의 행렬식은 주대각 원소들의 곱으로 간단히 계산된다 ($\det(U) = u_{11}u_{22}\cdots u_{nn}$).4
원래 행렬 A의 행렬식은 다음 관계식을 통해 구한다.
$\det(A) = (-1)^r \cdot \frac{1}{k_1 k_2 \cdots k_p} \cdot \det(U)$.30
(주의: 보통 가우스 소거법에서는 2번 연산 대신, 피벗 행을 1로 만들기 위해 $1/k$를 곱하는 연산을 사용한다. 이 경우 최종적으로 k를 곱해주어야 한다.)
이 방법이 효율적인 이유는 행렬식의 근원적인 복잡도, 즉 $n!$개의 항을 직접 다루는 것을 피하기 때문이다. 라이프니츠 공식이나 라플라스 전개가 수많은 항을 계산하여 더하는 ‘덧셈’ 기반의 접근이라면, 가우스 소거법은 문제를 풀기 쉬운 형태로 바꾸는 ‘변환’ 기반의 접근이다. 상삼각행렬의 행렬식이 주대각 원소의 곱인 이유는, 라이프니츠 공식에서 항등 순열에 해당하는 항을 제외한 모든 $n!-1$개의 항이 주대각선 아래의 0 원소를 적어도 하나 포함하게 되어 모두 0으로 사라지기 때문이다.30 가우스 소거법은 이
$n!-1$개의 항을 체계적으로 0으로 만들고 단 하나의 항만 남기는 영리한 과정이며, 이로 인해 계산 복잡도를 $O(n!)$에서 $O(n^3)$라는 다항 시간 복잡도로 획기적으로 낮출 수 있다. 이것이 현대 컴퓨터 소프트웨어에서 행렬식을 계산하는 표준적인 방법인 이유이다.
지금까지 논의한 행렬식 계산 방법들의 특징을 종합적으로 비교하면 다음과 같다. 이 표는 주어진 문제의 특성과 목적에 따라 가장 적절한 계산 전략을 선택하는 데 유용한 지침을 제공한다.
표: 행렬식 계산 방법 비교
| 계산법 | 이론적 기반 | 대상 행렬 | 계산 복잡도 | 장점 | 단점 |
|---|---|---|---|---|---|
| 라이프니츠 공식 | 순열 (1.2절) | 모든 $n \times n$ | $O(n! \cdot n)$ | 행렬식의 근본적인 정의 | $n$이 4 이상이면 사실상 계산 불가 |
| 사뤼스 법칙 | 라이프니츠 공식의 특수화 | $3 x 3$ 한정 | $O(1)$ | $3x3$에서 가장 빠르고 간단함 | 일반성 없음, $4x4$ 이상 적용 불가 |
| 라플라스 전개 | 재귀적 정의 (1.3절) | 모든 $n \times n$ | $O(n!)$ | 재귀적 구조, 이론 증명에 유용, 희소 행렬에 유리 | 계산량이 폭발적으로 증가함 |
| 가우스 소거법 | 기본 행 연산의 성질 | 모든 $n \times n$ | $O(n^3)$ | 대규모 행렬 계산에 가장 효율적, 컴퓨터 알고리즘의 표준 | 손 계산 시 과정이 길고 실수가 발생하기 쉬움 |
이 표는 각 방법이 단순한 계산 기술이 아니라, 1장에서 다룬 행렬식의 다양한 정의와 깊이 연결되어 있음을 보여준다. 라이프니츠 공식과 라플라스 전개는 행렬식의 이론적 구조를 이해하는 데 필수적이지만, 실용적인 계산에서는 가우스 소거법이 압도적인 효율성을 자랑한다. 따라서 ‘행렬식 완전 정복’은 이러한 방법들을 모두 이해하고, 이론적 탐구에는 라플라스 전개를, 손 계산에는 사뤼스 법칙(3x3)이나 0이 많은 경우의 라플라스 전개를, 그리고 대규모 문제나 알고리즘적 사고에는 가우스 소거법의 원리를 적용할 수 있는 유연성을 갖추는 것을 의미한다.
행렬식은 선형대수학의 이론적 틀 안에서만 중요한 개념이 아니다. 그것은 수학의 다른 분야는 물론, 공학, 물리학, 컴퓨터 그래픽스, 경제학 등 수많은 분야에서 구체적인 문제들을 해결하는 강력한 도구로 활용된다. 본 장에서는 행렬식이 어떻게 역행렬 계산, 연립방정식 풀이, 고유값 문제, 그리고 다변수 미적분학과 같은 핵심적인 영역에서 중추적인 역할을 하는지 구체적인 사례를 통해 탐구한다.
행렬 $A$의 역행렬 $A^{-1}$를 구하는 한 가지 방법은 행렬식과 수반 행렬(Adjugate Matrix)을 이용하는 것이다. 이 방법은 이론적으로 매우 중요하며, 역행렬의 구조에 대한 깊은 통찰을 제공한다.
먼저 수반 행렬을 정의해야 한다. $n \times n$ 행렬 $A$의 수반 행렬, $adj(A)$는 $A$의 각 원소 $a_{ij}$에 대한 여인수 $C_{ij}$로 이루어진 행렬, 즉 여인수 행렬(cofactor matrix)의 전치 행렬이다.31 \(C = \begin{pmatrix} C_{11} & C_{12} & \dots \\ C_{21} & C_{22} & \dots \\ \vdots & \vdots & \ddots \end{pmatrix}\) 일 때, \(\text{adj}(A) = C^T = \begin{pmatrix} C_{11} & C_{21} & \dots \\ C_{12} & C_{22} & \dots \\ \vdots & \vdots & \ddots \end{pmatrix}\) 수반 행렬은 원래 행렬 $A$와 곱했을 때 다음과 같은 놀라운 성질을 만족한다.33 \(A \cdot \text{adj}(A) = \text{adj}(A) \cdot A = \det(A) \cdot I\) 여기서 $I$는 단위행렬이다. 이 식의 대각 원소는 라플라스 전개 공식 그 자체이며, 비대각 원소는 다른 행(또는 열)의 원소와 여인수들을 곱하여 더한 형태가 되어 항상 0이 된다.
이 핵심 관계식으로부터, 만약 $\det(A) \neq 0$이라면 양변을 $\det(A)$로 나누어 역행렬에 대한 공식을 얻을 수 있다.33 \(A^{-1} = \frac{1}{\det(A)} \text{adj}(A)\) 이 공식은 역행렬이 존재하기 위한 필요충분조건이 $\det(A) \neq 0$임을 대수적으로 명확하게 보여준다. 분모가 0이 되면 역행렬을 정의할 수 없기 때문이다. 2x2 행렬의 경우, 이 공식은 잘 알려진 역행렬 공식으로 귀결된다.
$A = \begin{pmatrix} a & b \ c & d \end{pmatrix}$ 이면, $\text{adj}(A) = \begin{pmatrix} d & -b \ -c & a \end{pmatrix}$ 이고 $\det(A) = ad-bc$ 이므로,
$A^{-1} = \frac{1}{ad-bc} \begin{pmatrix} d & -b \ -c & a \end{pmatrix}$.36
그러나 $n$이 3 이상일 경우, 수반 행렬을 계산하기 위해 모든 여인수를 구하는 과정은 매우 번거롭다. 따라서 이 공식은 이론적 증명이나 작은 크기의 행렬에서는 유용하지만, 대규모 행렬의 역행렬을 실제로 계산할 때는 가우스-조르단 소거법이 훨씬 효율적이다.35
크라메르 공식(Cramer’s Rule)은 $n$개의 미지수를 갖는 $n$개의 선형 연립방정식 $A\mathbf{x} = \mathbf{b}$의 해를 행렬식을 이용하여 명시적으로 표현하는 방법이다.38 이 공식은
$\det(A) \neq 0$일 때, 즉 연립방정식이 유일한 해를 가질 때 적용할 수 있다.39
공식은 다음과 같다. $i$번째 미지수 $x_i$는 다음과 같이 계산된다.2 \(x_i = \frac{\det(A_i)}{\det(A)}\) 여기서 $A_i$는 원래의 계수 행렬 $A$에서 $i$번째 열을 상수 벡터 $\mathbf{b}$로 교체하여 만든 새로운 행렬이다.39
예를 들어, 다음 연립방정식을 풀어보자.
$3x_1 + 2x_2 = 7$
$x_1 + 4x_2 = 5$
계수 행렬 A와 상수 벡터 $\mathbf{b}$는 다음과 같다.
$A = \begin{pmatrix} 3 & 2 \ 1 & 4 \end{pmatrix}, \quad \mathbf{b} = \begin{pmatrix} 7 \ 5 \end{pmatrix}$
먼저 $\det(A) = 3(4) - 2(1) = 10$이다. 0이 아니므로 유일한 해가 존재한다.
$A_1 = \begin{pmatrix} 7 & 2 \ 5 & 4 \end{pmatrix} \implies \det(A_1) = 7(4) - 2(5) = 18$
$A_2 = \begin{pmatrix} 3 & 7 \ 1 & 5 \end{pmatrix} \implies \det(A_2) = 3(5) - 7(1) = 8$
따라서 크라메르 공식에 의해 해는 다음과 같다.
$x_1 = \frac{\det(A_1)}{\det(A)} = \frac{18}{10} = 1.8$
$x_2 = \frac{\det(A_2)}{\det(A)} = \frac{8}{10} = 0.8$
크라메르 공식은 해의 구조를 이론적으로 분석하거나 특정 변수의 값만 필요할 때 유용하다. 그러나 이 공식을 사용하려면 총 $n+1$개의 $n \times n$ 행렬식을 계산해야 하므로, $n$이 클 경우 가우스 소거법에 비해 계산적으로 매우 비효율적이다.40 이 방법은 특히 회로 이론에서 마디 해석법이나 망로 해석법으로 얻어진 3원 1차 연립방정식을 풀 때 유용하게 사용되기도 한다.41
고유값(eigenvalue)과 고유벡터(eigenvector)는 선형 변환의 가장 본질적인 특성을 나타내며, 동적 시스템, 양자역학, 데이터 분석 등 수많은 분야에서 핵심적인 역할을 한다. 행렬식은 이러한 고유값을 찾는 과정의 출발점이 된다.
정사각 행렬 $A$에 대한 고유값 $\lambda$와 그에 해당하는 고유벡터 $\mathbf{v}$는 다음의 고유값 방정식을 만족한다.42
$A\mathbf{v} = \lambda\mathbf{v}$
여기서 $\mathbf{v}$는 영벡터가 아니어야 한다 ($\mathbf{v} \neq \mathbf{0}$). 이 식을 재정리하면 다음과 같다.
$A\mathbf{v} - \lambda I \mathbf{v} = \mathbf{0}$
$(A - \lambda I)\mathbf{v} = \mathbf{0}$
이 방정식은 미지수 $\lambda$를 포함하는 동차 연립방정식이다. 우리가 찾는 것은 이 방정식을 만족하는 0이 아닌 해, 즉 비자명해(non-trivial solution) $\mathbf{v}$가 존재하는 $\lambda$의 값이다.
2.3절의 동치 관계에 따르면, 동차 방정식 $(A - \lambda I)\mathbf{v} = \mathbf{0}$이 비자명해를 갖기 위한 필요충분조건은 계수 행렬 $(A - \lambda I)$이 비가역적인 것, 즉 그 행렬식이 0이 되는 것이다.42 \(\det(A - \lambda I) = 0\) 이 방정식이 바로 고유값을 찾기 위한 특성 방정식(characteristic equation)이다.43 좌변
$\det(A - \lambda I)$를 $\lambda$에 대한 함수로 보면, 이는 $\lambda$에 대한 $n$차 다항식이 되며, 이를 특성 다항식(characteristic polynomial)이라고 부른다.2 이 다항식의 근(root)이 바로 행렬 $A$의 고유값이다.
이처럼 행렬식은 ‘언제 변환 $(A - \lambda I)$가 특이해지는가?’라는 질문에 답함으로써, 행렬 $A$가 나타내는 변환의 본질적인 스케일링 방향과 크기(고유벡터와 고유값)를 찾는 체계적인 절차를 제공한다. 또한, 행렬식은 모든 고유값의 곱과 같고($\det(A) = \lambda_1 \lambda_2 \cdots \lambda_n$), 행렬의 대각합(trace)은 모든 고유값의 합과 같다는 중요한 성질도 있다.2
행렬식의 기하학적 의미는 선형대수학의 경계를 넘어 다변수 미적분학에서 핵심적인 역할을 수행한다. 특히 다중적분에서 변수 변환을 수행할 때, 야코비 행렬식(Jacobian determinant), 또는 간단히 야코비안(Jacobian)이 등장한다.45
다변수 벡터 함수 $\mathbf{F}: \mathbb{R}^n \to \mathbb{R}^n$가 주어졌을 때, 이 함수의 도함수는 각 성분을 편미분하여 만든 행렬인 야코비 행렬(Jacobian Matrix) $J$로 표현된다.47 예를 들어,
$(u, v)$ 좌표계를 $(x, y)$ 좌표계로 변환하는 함수 $x=g(u,v), y=h(u,v)$가 있다면, 야코비 행렬은 다음과 같다. \(J = \begin{pmatrix} \frac{\partial x}{\partial u} & \frac{\partial x}{\partial v} \\ \frac{\partial y}{\partial u} & \frac{\partial y}{\partial v} \end{pmatrix}\) 이 야코비 행렬의 행렬식, 즉 야코비안 $\det(J)$는 다중적분에서 좌표계를 변환할 때 ‘부피 요소(volume element)의 변환 비율’을 나타낸다.49 \(dx\,dy = \left| \det(J) \right| du\,dv\) 이 관계식은 다음과 같이 해석할 수 있다. 비선형 변환은 공간을 균일하지 않게 왜곡시키지만, 아주 작은 ‘미소 사각형’ $du dv$ 영역에 대해서는 그 변환을 선형 변환으로 근사할 수 있다. 이 국소적인 선형 변환을 나타내는 행렬이 바로 야코비 행렬 $J$이다. 2.2절에서 보았듯이, 선형 변환 $J$는 넓이를 $\lvert\det(J)\rvert$배만큼 변화시킨다. 따라서 변환된 미소 넓이 $dx dy$는 원래의 미소 넓이 $du dv$의 $\lvert\det(J)\rvert$배가 된다.
예를 들어, 직교좌표 $(x, y)$를 극좌표 $(r, \theta)$로 변환하는 관계식 $x=r\cos\theta, y=r\sin\theta$의 야코비안을 계산해 보자. \(J = \begin{pmatrix} \frac{\partial x}{\partial r} & \frac{\partial x}{\partial \theta} \\ \frac{\partial y}{\partial r} & \frac{\partial y}{\partial \theta} \end{pmatrix} = \begin{pmatrix} \cos\theta & -r\sin\theta \\ \sin\theta & r\cos\theta \end{pmatrix}\)
\[\det(J) = (r\cos\theta)(\cos\theta) - (-r\sin\theta)(\sin\theta) = r\cos^2\theta + r\sin^2\theta = r\]따라서 넓이 요소는 $dx\,dy = r\,dr\,d\theta$로 변환된다. 이는 극좌표를 이용한 이중적분에서 항상 나타나는 $r$이 바로 야코비안임을 보여준다. 이처럼 야코비안은 행렬식의 기하학적 본질이 미적분학이라는 다른 분야에서 어떻게 핵심적인 역할을 하는지를 보여주는 가장 강력한 예시 중 하나이다.
본 보고서는 행렬식을 ‘완전 정복’하기 위한 체계적인 여정을 제시하였다. 우리는 행렬식이 단순히 정사각 행렬에 부여된 하나의 숫자가 아니라, 선형 시스템의 근본적인 특성을 응축하고 있는 핵심적인 ‘특성값’임을 확인하였다.
여정의 시작에서, 우리는 행렬식을 정의하는 세 가지 다른 관점-공리적 정의의 추상성, 라이프니츠 공식의 조합론적 구조, 라플라스 전개의 재귀적 아름다움-을 탐구하였다. 이들은 서로 다른 언어를 사용하지만 결국 행렬식이라는 동일한 대상을 가리키며, 각자의 방식으로 행렬식의 다채로운 성격을 조명한다.
이러한 정의들을 바탕으로, 우리는 행렬식의 핵심적인 대수적 성질들이 그것이 지닌 깊은 기하학적 의미, 즉 ‘부호가 있는 부피 스케일링 팩터’의 필연적인 결과임을 밝혔다. $\det(AB) = \det(A)\det(B)$와 같은 성질은 더 이상 암기해야 할 공식이 아니라, 연속적인 공간 변환에 따른 부피 변화율의 자연스러운 표현으로 이해될 수 있다. 특히, 행렬식이 0이 되는 순간은 공간이 낮은 차원으로 붕괴하는 극적인 순간이며, 이는 행렬의 비가역성, 열벡터의 선형 종속, 그리고 비자명해의 존재와 같은 여러 중요한 개념들이 하나로 수렴하는 지점임을 확인하였다.
실용적인 측면에서, 우리는 상황에 맞는 최적의 계산 전략을 분석하였다. 사뤼스 법칙의 편리함과 그 명백한 한계, 라플라스 전개의 이론적 유용성과 계산적 비효율성, 그리고 가우스 소거법의 압도적인 알고리즘적 효율성을 비교함으로써, 이론과 실제 사이의 균형 잡힌 시각을 갖추었다.
마지막으로, 행렬식의 영향력이 선형대수학의 경계를 넘어 얼마나 광범위한지를 목격하였다. 역행렬과 연립방정식의 해를 구하는 명시적인 공식을 제공하고, 동적 시스템의 심장인 고유값을 찾는 열쇠가 되며, 다변수 미적분학에서 좌표 변환의 언어를 제공하는 등, 행렬식은 현대 수학과 과학의 여러 분야에서 없어서는 안 될 필수적인 도구로 자리매김하고 있다.
결론적으로, 행렬식에 대한 완전한 이해는 이러한 다각적인 관점-추상적 정의, 기하학적 직관, 효율적 계산, 그리고 광범위한 응용-을 유기적으로 통합하는 데서 비롯된다. 이 보고서가 제시한 통찰을 바탕으로, 독자는 행렬식의 개념이 텐서(tensor)나 외대수(exterior algebra)와 같은 더 일반화되고 추상적인 수학적 구조로 어떻게 확장되는지 탐구하는 다음 단계의 지적 여정을 시작할 준비가 되었을 것이다. 행렬식은 끝이 아니라, 더 깊고 넓은 수학의 세계로 나아가는 중요한 관문이다.
| 선형 대수 예제 | Matrices | Finding the Determinant of a 2x2 Matrix - Mathway, 8월 17, 2025에 액세스, https://www.mathway.com/ko/examples/linear-algebra/matrices/finding-the-determinant-of-a-2x2-matrix |
| 고유값과 고유벡터 | 특성다항식 | 특성방정식 - YouTube, 8월 17, 2025에 액세스, https://www.youtube.com/watch?v=2dhGp1y3Qkg |
| [3Blue1Brown] Chapter 15 | A quick trick for computing eigenvalues - 티스토리, 8월 17, 2025에 액세스, https://jominseoo.tistory.com/16 |