Eigen 분해와의 차이점 - 실험 도서관

개요

Cholesky 분해와 Eigen 분해는 모두 행렬을 분해하는 방법이지만, 사용되는 목적과 방식이 다르다. 이 섹션에서는 이 두 분해 기법의 차이점을 상세히 알아보겠다.

Cholesky 분해의 개요

Cholesky 분해는 다음과 같은 특별한 종류의 행렬에 대해 사용된다: - 대칭 행렬 - 양의 정부호 행렬

이런 행렬 $\mathbf{A}$ 는 다음과 같이 분해된다:

$\mathbf{A} = \mathbf{L} \mathbf{L}^T$

여기서, $\mathbf{L}$ 은 하삼각행렬이다.

Eigen 분해의 개요

Eigen 분해는 임의의 정방 행렬에 대해 사용되며, 다음과 같이 정의된다:

$\mathbf{A} = \mathbf{Q} \mathbf{\Lambda} \mathbf{Q}^{-1}$

여기서, - $\mathbf{Q}$ 는 해당 행렬의 고유 벡터들로 이루어진 행렬이다. - $\mathbf{\Lambda}$ 는 대각 행렬로, 대각 원소는 $\mathbf{A}$ 의 고유값이다.

차이점 비교

행렬의 필요 조건

Cholesky 분해: 행렬이 대칭적이고 양의 정부호여야 한다.
Eigen 분해: 임의의 정방 행렬에 대해 사용될 수 있다. 대칭 여부는 중요하지 않는다.

분해 형태

Cholesky 분해: 하삼각 행렬 $\mathbf{L}$ 과 그 전치 $\mathbf{L}^T$ 로 분해된다.
Eigen 분해: 고유 벡터 행렬 $\mathbf{Q}$ 와 고유값 대각 행렬 $\mathbf{\Lambda}$ 로 분해된다.

계산 복잡도

Cholesky 분해: $O(n^3)$ 의 복잡도를 갖는다. 이는 Gaussian elimination과 같은 다른 분해 방법과 비슷지만, 대칭과 양의 정부호 특성 덕분에 효율적으로 계산할 수 있다.
Eigen 분해: 대략 $O(n^3)$ 의 복잡도이다. 그러나 고유값의 정확한 계산은 특성에 따라 복잡도가 다를 수 있다.

활용 분야

Cholesky 분해: 주로 대칭이고 양의 정부호인 행렬을 포함하는 선형 시스템의 해를 구하거나, 이러한 특성을 가진 행렬의 역을 구하는 데 사용된다. 예를 들면, 금융 분야에서 covariance 행렬의 분해 등에 사용된다.
Eigen 분해: 고유값 문제를 해결하는 데 사용된다. 이는 동적 시스템의 안정성 분석, Principal Component Analysis (PCA) 등 다양한 분야에서 중요하다.

계산 과정

Cholesky 분해: $\mathbf{A} = \mathbf{L} \mathbf{L}^T$ 형태로 직접 분해한다.
Eigen 분해: 고유값 문제를 풀어 $\mathbf{Q}$ 와 $\mathbf{\Lambda}$ 를 계산한다. 이는 특히 행렬 $\mathbf{A}$ 의 특성 다항식을 통해 고유값을 구하고, 그 고유값에 대응하는 고유 벡터를 구하는 과정을 포함한다.

주의 사항 및 한계

Cholesky 분해: 행렬이 반드시 대칭적이고 양의 정부호여야 한다. 이런 조건이 충족되지 않으면 Cholesky 분해를 사용할 수 없다.
Eigen 분해: 모든 정방 행렬에 대해 적용될 수 있지만, 일부 행렬은 복잡한 고유값을 가질 수 있다. 따라서 실수 행렬에서 실수 고유값을 얻으려는 경우에는 제한이 있을 수 있다.

예제

Cholesky 분해 예제

대칭 양의 정부호 행렬 $\mathbf{A}$ 가 주어졌을 때,

$\mathbf{A} = \begin{pmatrix} 4 & 2 \\ 2 & 3 \end{pmatrix}$

Cholesky 분해를 수행하면 하삼각 행렬 $\mathbf{L}$ 은 다음과 같다:

$\mathbf{L} = \begin{pmatrix} 2 & 0 \\ 1 & \sqrt{2} \end{pmatrix}$

따라서,

$\mathbf{A} = \mathbf{L} \mathbf{L}^T = \begin{pmatrix} 2 & 0 \\ 1 & \sqrt{2} \end{pmatrix} \begin{pmatrix} 2 & 1 \\ 0 & \sqrt{2} \end{pmatrix} = \begin{pmatrix} 4 & 2 \\ 2 & 3 \end{pmatrix}$

Eigen 분해 예제

행렬 $\mathbf{A}$ 가 주어졌을 때,

$\mathbf{A} = \begin{pmatrix} 4 & 1 \\ 2 & 3 \end{pmatrix}$

먼저 행렬 $\mathbf{A}$ 의 고유값을 구한다. 특성 다항식은 다음과 같이 계산된다:

$\text{det}(\mathbf{A} - \lambda\mathbf{I}) = \begin{vmatrix} 4 - \lambda & 1 \\ 2 & 3 - \lambda \end{vmatrix} = (4 - \lambda)(3 - \lambda) - 2 \cdot 1 = \lambda^2 - 7\lambda + 10 - 2 = \lambda^2 - 7\lambda + 8$

이제 고유 방정식을 푼다:

$\lambda^2 - 7\lambda + 8 = 0$

이를 풀면, 고유값 $\lambda$ 는 4와 2이다.

각 고유값에 대응하는 고유벡터를 구한다. $\lambda = 4$ 일 때,

$(\mathbf{A} - 4\mathbf{I}) \mathbf{v} = \begin{pmatrix} 0 & 1 \\ 2 & -1 \end{pmatrix} \begin{pmatrix} v_1 \\ v_2 \end{pmatrix} = 0 \implies v_2 = 0, v_1 \text{는 자유 변수}$

따라서 고유벡터는 $<span class="arithmatex"><span class="MathJax_Preview">\mathbf{v_1} = \begin{pmatrix} 1 \\ 0 \end{pmatrix}</span><script type="math/tex">\mathbf{v_1} = \begin{pmatrix} 1 \\ 0 \end{pmatrix}$ 이다.

유사하게, $\lambda = 2$ 일 때 고유벡터 $\mathbf{v_2}$ 는 $<span class="arithmatex"><span class="MathJax_Preview">\begin{pmatrix} 1 \\ 2 \end{pmatrix}</span><script type="math/tex">\begin{pmatrix} 1 \\ 2 \end{pmatrix}$ 이다.

결국 $\mathbf{Q}$ 와 $\mathbf{\Lambda}$ 는 다음과 같다:

$\mathbf{Q} = \begin{pmatrix} 1 & 1 \\ 0 & 2 \end{pmatrix}, \mathbf{\Lambda} = \begin{pmatrix} 4 & 0 \\ 0 & 2 \end{pmatrix}$

총 결론

Cholesky 분해와 Eigen 분해는 각각의 특정한 용도와 제한 조건을 가지고 있다. Cholesky 분해는 대칭 양의 정부호 행렬에 대해 사용되며, Eigen 분해는 고유값과 고유벡터를 찾는 데 매우 유용하다. 이들 각각의 분해 방법은 다양한 분야에서 중요한 도구로 사용된다.