행렬론의 주요 정리 및 증명

1. 행렬의 기본 성질

1.1. 행렬의 덧셈과 스칼라 곱

행렬의 덧셈과 스칼라 곱은 기본적인 연산이며, 이들은 다음과 같은 성질을 만족한다.

덧셈의 교환 법칙:

$\mathbf{A} + \mathbf{B} = \mathbf{B} + \mathbf{A}$

여기서 $\mathbf{A}$ 와 $\mathbf{B}$ 는 같은 크기의 행렬이다.

덧셈의 결합 법칙:

$(\mathbf{A} + \mathbf{B}) + \mathbf{C} = \mathbf{A} + (\mathbf{B} + \mathbf{C})$

여기서 $\mathbf{A}$ , $\mathbf{B}$ , $\mathbf{C}$ 는 같은 크기의 행렬이다.

스칼라 곱의 분배 법칙:

$c(\mathbf{A} + \mathbf{B}) = c\mathbf{A} + c\mathbf{B}$

여기서 $c$ 는 스칼라이고, $\mathbf{A}$ 와 $\mathbf{B}$ 는 같은 크기의 행렬이다.

행렬 곱의 분배 법칙:

$\mathbf{A}( \mathbf{B} + \mathbf{C}) = \mathbf{A}\mathbf{B} + \mathbf{A}\mathbf{C}$

여기서 $\mathbf{A}$ , $\mathbf{B}$ , $\mathbf{C}$ 는 행렬이다.

1.2. 행렬의 전치

행렬 $\mathbf{A}$ 의 전치 $\mathbf{A}^T$ 는 행과 열을 교환한 행렬이다. 전치 행렬의 기본 성질은 다음과 같다.

전치의 전치:

$(\mathbf{A}^T)^T = \mathbf{A}$

전치의 덧셈 법칙:

$(\mathbf{A} + \mathbf{B})^T = \mathbf{A}^T + \mathbf{B}^T$

전치의 곱셈 법칙:

$(\mathbf{A}\mathbf{B})^T = \mathbf{B}^T\mathbf{A}^T$

1.3. 행렬의 역행렬

역행렬 $\mathbf{A}^{-1}$ 는 $\mathbf{A}$ 와 곱했을 때 단위행렬 $\mathbf{I}$ 를 만드는 행렬이다. 다음과 같은 성질을 갖는다.

역행렬의 존재성: $\mathbf{A}$ 가 정사각 행렬일 때, $\mathbf{A}$ 가 가역적이면 $\mathbf{A}^{-1}$ 가 존재한다.
역행렬의 유일성: 역행렬은 유일한다. 즉, $\mathbf{A} \mathbf{B} = \mathbf{I}$ 이고 $\mathbf{B} \mathbf{A} = \mathbf{I}$ 일 때 $\mathbf{B} = \mathbf{A}^{-1}$ 이다.
역행렬의 곱셈 법칙: 두 행렬 $\mathbf{A}$ 와 $\mathbf{B}$ 가 가역적일 때,

$(\mathbf{A}\mathbf{B})^{-1} = \mathbf{B}^{-1} \mathbf{A}^{-1}$

2. 행렬식의 기본 성질

2.1. 행렬식의 정의

정사각 행렬 $\mathbf{A}$ 의 행렬식은 $\text{det}(\mathbf{A})$ 로 표현되며, 다음과 같은 성질을 가진다.

교환 법칙 (전치 행렬과의 관계):

$\text{det}(\mathbf{A}^T) = \text{det}(\mathbf{A})$

곱셈 법칙:

$\text{det}(\mathbf{A}\mathbf{B}) = \text{det}(\mathbf{A}) \times \text{det}(\mathbf{B})$

역행렬과 행렬식: $\mathbf{A}$ 가 가역적일 때,

$\text{det}(\mathbf{A}^{-1}) = \frac{1}{\text{det}(\mathbf{A})}$

2.2. 특수 행렬의 행렬식

단위 행렬의 행렬식:

$\text{det}(\mathbf{I}) = 1$

대각 행렬의 행렬식: $\mathbf{D} = \text{diag}(d_1, d_2, \dots, d_n)$ 인 대각 행렬에 대해,

$\text{det}(\mathbf{D}) = d_1 \times d_2 \times \dots \times d_n$

삼각 행렬의 행렬식: $\mathbf{T}$ 가 상삼각 행렬이거나 하삼각 행렬일 때,

$\text{det}(\mathbf{T}) = t_{11} \times t_{22} \times \dots \times t_{nn}$

3. 행렬식의 확장 성질

3.1. 행렬식의 선형성

행렬식은 한 행이나 열에 대해 선형이다. 즉, $\mathbf{A}$ 의 한 행이 다른 행들의 선형 결합으로 표현될 수 있으면, 행렬식은 0이 된다.

한 행에 대한 선형성:

$\text{det}(\mathbf{A}) = \text{det}(\mathbf{A}_1) + \text{det}(\mathbf{A}_2)$

여기서 $\mathbf{A}_1$ 과 $\mathbf{A}_2$ 는 $\mathbf{A}$ 의 한 행이 두 벡터의 합으로 분해된 행렬이다.

3.2. 교대성 (Alternating Property)

행렬의 두 행이나 두 열이 서로 같으면, 그 행렬의 행렬식은 0이다.

두 행 교환: 행렬 $\mathbf{A}$ 의 두 행(또는 열)을 교환하면, 행렬식의 부호가 반대로 바뀝니다.

$\text{det}(\mathbf{B}) = -\text{det}(\mathbf{A})$

여기서 $\mathbf{B}$ 는 $\mathbf{A}$ 의 두 행(또는 열)을 교환한 행렬이다.

4. 고유값과 고유벡터

4.1. 고유값의 정의

행렬 $\mathbf{A}$ 의 고유값 $\lambda$ 는 다음 조건을 만족하는 스칼라이다.

$\mathbf{A} \mathbf{v} = \lambda \mathbf{v}$

여기서 $\mathbf{v}$ 는 고유벡터로, $\mathbf{A}$ 를 변환했을 때 그 방향이 변하지 않는 벡터이다.

4.2. 고유값 방정식

고유값 $\lambda$ 는 다음 행렬 방정식을 통해 찾을 수 있다.

$\text{det}(\mathbf{A} - \lambda \mathbf{I}) = 0$

이 식을 통해 얻은 다항식을 특성 방정식이라고 부른다.

4.3. 대각화

행렬 $\mathbf{A}$ 가 대각화 가능하다면, 다음과 같은 형태로 표현할 수 있다.

$\mathbf{A} = \mathbf{P} \mathbf{D} \mathbf{P}^{-1}$

여기서 $\mathbf{D}$ 는 $\mathbf{A}$ 의 고유값으로 이루어진 대각 행렬이며, $\mathbf{P}$ 는 고유벡터들로 구성된 행렬이다.

5. Cayley-Hamilton 정리

5.1. 정리의 내용

Cayley-Hamilton 정리는 모든 정사각 행렬 $\mathbf{A}$ 가 자신의 특성 방정식을 만족한다는 내용이다. 즉, $\mathbf{A}$ 의 특성 방정식이

$\text{det}(\mathbf{A} - \lambda \mathbf{I}) = 0$

라면, 이를 행렬식으로 대체한 방정식이 성립한다.

$\mathbf{A}^n + c_{n-1}\mathbf{A}^{n-1} + \dots + c_1\mathbf{A} + c_0\mathbf{I} = \mathbf{0}$

여기서 $c_0, c_1, \dots, c_{n-1}$ 는 특성 방정식의 계수이다.

5.2. 증명 개요

Cayley-Hamilton 정리의 증명은 주로 다음과 같은 과정을 거친다.

행렬 $\mathbf{A}$ 의 특성 방정식을 구성한다.
그 방정식에 $\mathbf{A}$ 를 대입하여 다항식을 만든다.
이 다항식이 항상 영행렬 $\mathbf{0}$ 을 만족함을 보인다.

증명 과정은 행렬의 기본 성질과 행렬식의 성질을 이용한다.

6. 연립 방정식과 행렬

6.1. 선형 연립 방정식

연립 선형 방정식은 다음과 같이 행렬 형태로 표현할 수 있다.

$\mathbf{A} \mathbf{x} = \mathbf{b}$

여기서 $\mathbf{A}$ 는 계수 행렬, $\mathbf{x}$ 는 미지수 벡터, $\mathbf{b}$ 는 상수 벡터이다.

6.2. Cramer's Rule

Cramer's Rule은 다음과 같은 형식의 연립 방정식의 해를 구하는 방법이다.

$\mathbf{A} \mathbf{x} = \mathbf{b}$

이때 $\mathbf{x}_i$ 는 다음과 같이 구할 수 있다.

$x_i = \frac{\text{det}(\mathbf{A}_i)}{\text{det}(\mathbf{A})}$

여기서 $\mathbf{A}_i$ 는 $\mathbf{A}$ 에서 $i$ 번째 열을 벡터 $\mathbf{b}$ 로 대체한 행렬이다.

6.3. Gauss 소거법

Gauss 소거법은 연립 선형 방정식을 풀기 위한 기본적인 방법이다. 이 방법은 행렬을 상삼각 행렬로 변환한 다음, Back Substitution을 사용하여 해를 구하는 과정으로 구성된다.

7. 대칭 행렬과 고유값

7.1. 대칭 행렬의 정의

대칭 행렬 $\mathbf{A}$ 는 다음과 같은 조건을 만족하는 행렬이다.

$\mathbf{A}^T = \mathbf{A}$

즉, 행렬 $\mathbf{A}$ 는 전치해도 동일한 행렬이다.

7.2. 대칭 행렬의 고유값의 성질

대칭 행렬은 고유값과 고유벡터에 대해 다음과 같은 중요한 성질을 갖는다.

고유값은 실수이다: 대칭 행렬의 모든 고유값은 실수이다.
고유벡터는 직교한다: 서로 다른 고유값에 대응하는 고유벡터들은 직교한다. 즉, 대칭 행렬의 고유벡터들은 서로 직교하는 단위 벡터로 이루어진 기저를 형성한다.

7.3. 스펙트럼 정리

스펙트럼 정리는 대칭 행렬에 대해 다음과 같이 말한다.

대칭 행렬 $\mathbf{A}$ 는 다음과 같이 직교 행렬 $\mathbf{P}$ 와 대각 행렬 $\mathbf{D}$ 로 대각화할 수 있다.

$\mathbf{A} = \mathbf{P} \mathbf{D} \mathbf{P}^T$

여기서 $\mathbf{D}$ 는 $\mathbf{A}$ 의 고유값으로 이루어진 대각 행렬이고, $\mathbf{P}$ 는 $\mathbf{A}$ 의 고유벡터들로 이루어진 직교 행렬이다.

8. 양의 정부호 행렬

8.1. 정의

행렬 $\mathbf{A}$ 가 양의 정부호(Positive Definite)라면, 다음 조건을 만족한다.

$\mathbf{x}^T \mathbf{A} \mathbf{x} > 0$

여기서 $\mathbf{x}$ 는 영벡터가 아닌 임의의 벡터이다.

8.2. 성질

양의 정부호 행렬은 다음과 같은 중요한 성질을 갖는다.

모든 고유값은 양수이다: 양의 정부호 행렬의 모든 고유값은 양수이다.
정사각 행렬이다: 양의 정부호 행렬은 반드시 정사각 행렬이다.

8.3. Cholesky 분해

양의 정부호 행렬 $\mathbf{A}$ 는 다음과 같이 Cholesky 분해할 수 있다.

$\mathbf{A} = \mathbf{L} \mathbf{L}^T$

여기서 $\mathbf{L}$ 은 하삼각 행렬이다.

9. 블록 행렬

9.1. 블록 행렬의 정의

블록 행렬은 행렬을 더 작은 블록 단위로 나눈 형태로, 각 블록은 작은 행렬로 구성된다. 일반적으로 $\mathbf{A}$ 를 다음과 같은 형태로 나타낼 수 있다.

$\mathbf{A} = \begin{pmatrix} \mathbf{A}_{11} & \mathbf{A}_{12} \\ \mathbf{A}_{21} & \mathbf{A}_{22} \end{pmatrix}$

여기서 $\mathbf{A}_{ij}$ 는 각 블록 행렬이다.

9.2. 블록 행렬의 연산

블록 행렬의 연산은 개별 블록에 대한 연산으로 처리할 수 있다. 예를 들어, 블록 행렬의 덧셈과 곱셈은 각각의 블록 단위로 수행된다.

덧셈:

$\mathbf{A} + \mathbf{B} = \begin{pmatrix} \mathbf{A}_{11} + \mathbf{B}_{11} & \mathbf{A}_{12} + \mathbf{B}_{12} \\ \mathbf{A}_{21} + \mathbf{B}_{21} & \mathbf{A}_{22} + \mathbf{B}_{22} \end{pmatrix}$

곱셈:

$\mathbf{A} \mathbf{B} = \begin{pmatrix} \mathbf{A}_{11}\mathbf{B}_{11} + \mathbf{A}_{12}\mathbf{B}_{21} & \mathbf{A}_{11}\mathbf{B}_{12} + \mathbf{A}_{12}\mathbf{B}_{22} \\ \mathbf{A}_{21}\mathbf{B}_{11} + \mathbf{A}_{22}\mathbf{B}_{21} & \mathbf{A}_{21}\mathbf{B}_{12} + \mathbf{A}_{22}\mathbf{B}_{22} \end{pmatrix}$

10. 행렬의 고윳값 분해 (Eigenvalue Decomposition)

10.1. 정의

행렬 $\mathbf{A}$ 의 고윳값 분해는 다음과 같은 형태로 나타낼 수 있다.

$\mathbf{A} = \mathbf{Q} \mathbf{\Lambda} \mathbf{Q}^{-1}$

여기서 $\mathbf{Q}$ 는 고유벡터로 구성된 행렬이며, $\mathbf{\Lambda}$ 는 $\mathbf{A}$ 의 고유값으로 구성된 대각 행렬이다.

10.2. 성질

고윳값 분해는 대각화 가능한 모든 행렬에 대해 적용될 수 있다. 특히, 실수 대칭 행렬의 경우, 고유벡터들은 서로 직교하며, $\mathbf{Q}$ 는 직교 행렬이다.