Sholesky 분해의 응용 - 소프트웨어 융합

최소 제곱 문제 해결

최소 제곱(Least Squares) 문제는 보통 $\mathbf{A}\mathbf{x} = \mathbf{b}$ 의 과잉 결정된 시스템(행 방정식이 열 방정식보다 더 많은 경우)에 대한 근사적 해를 찾기 위해 사용되며, 일반적으로 다음과 같은 형식으로 정의된다:

$\min_{\mathbf{x}} \| \mathbf{A}\mathbf{x} - \mathbf{b} \|^2$

여기서: - $\mathbf{A}$ 는 $m \times n$ 행렬 ( $m \geq n$ ) - $\mathbf{x}$ 는 $n \times 1$ 벡터 - $\mathbf{b}$ 는 $m \times 1$ 벡터이다.

이 문제는 $\mathbf{A}\mathbf{x} = \mathbf{b}$ 를 만족하는 $\mathbf{x}$ 를 찾는 것을 목표로하며, 그렇지 않으면 잔차(residual)의 제곱합을 최소화하는 $\mathbf{x}$ 를 찾는 것에 해당한다.

정상방정식

최소 제곱 문제는 정상방정식(Normal Equation)을 사용하여 해결할 수 있다:

$\mathbf{A}^T \mathbf{A} \mathbf{x} = \mathbf{A}^T \mathbf{b}$

여기서 $\mathbf{A}^T \mathbf{A}$ 는 보통 $n \times n$ 양의 정부호 행렬이고, 따라서 Cholesky 분해를 사용할 수 있다.

Cholesky 분해 사용

Cholesky 분해를 사용하여 정상방정식을 효율적으로 해결할 수 있다. 양의 준정부호 행렬 $\mathbf{A}^T \mathbf{A}$ 를 Cholesky 분해하여:

$\mathbf{A}^T \mathbf{A} = \mathbf{L} \mathbf{L}^T$

이 때 $\mathbf{L}$ 은 아래 삼각행렬이다.

이 분해를 사용하여 문제를 두 단계로 나눠서 해결할 수 있다: 1. $\mathbf{L} \mathbf{L}^T \mathbf{x} = \mathbf{A}^T \mathbf{b}$ 2. 먼저, $\mathbf{L} \mathbf{y} = \mathbf{A}^T \mathbf{b}$ 를 푼다. 3. 다음으로, $\mathbf{L}^T \mathbf{x} = \mathbf{y}$ 를 푼다.

단계별 계산 절차

Cholesky 분해: $\mathbf{A}^T \mathbf{A} = \mathbf{L} \mathbf{L}^T$ 을 구한다.
전방 대체 (Forward substitution): $\mathbf{L} \mathbf{y} = \mathbf{A}^T \mathbf{b}$ 을 푼다.
후방 대체 (Backward substitution): $\mathbf{L}^T \mathbf{x} = \mathbf{y}$ 을 푼다.

이제 각 단계를 코드로 구현해보겠다:

import numpy as np

A_T = A.T
A_TA = A_T @ A
A_Tb = A_T @ b

L = np.linalg.cholesky(A_TA)

y = np.linalg.solve(L, A_Tb)

x = np.linalg.solve(L.T, y)

여기서 np.linalg.cholesky 함수는 주어진 행렬의 Cholesky 분해를 수행하며, np.linalg.solve 함수는 삼각 방정식을 푸는 데 사용된다. 이 과정을 통해 최소 제곱 해를 효율적으로 계산할 수 있다.

다중 회귀 분석

다중 회귀 분석은 여러 독립 변수와 하나의 종속 변수 사이의 관계를 모델링하는 통계 기법이다. 이 분석법은 다양한 학문 영역에서 널리 사용되며, Cholesky 분해를 통해 효율적으로 해결할 수 있다. 다음의 일반적인 형식으로 주어진 데이터를 고려한다:

$\mathbf{b} = \mathbf{A} \mathbf{x} + \mathbf{\epsilon}$

여기서: - $\mathbf{b}$ 는 $m \times 1$ 종속 변수 벡터. - $\mathbf{A}$ 는 $m \times n$ 독립 변수 행렬. - $\mathbf{x}$ 는 $n \times 1$ 회귀 계수 벡터. - $\mathbf{\epsilon}$ 는 잔차 벡터이다.

최소 제곱 해법을 사용하여 $\mathbf{x}$ 를 추정할 수 있으며, 이를 정상방정식과 Cholesky 분해를 통해 해결할 수 있다.

다음은 다중 회귀 분석을 수행하기 위한 Python 코드이다:

import numpy as np

A = np.array([[1, 2], [3, 4], [5, 6]])
b = np.array([7, 8, 9])

A_T = A.T
A_TA = A_T @ A
A_Tb = A_T @ b

L = np.linalg.cholesky(A_TA)

y = np.linalg.solve(L, A_Tb)

x = np.linalg.solve(L.T, y)

print("Estimated regression coefficients:", x)

이 코드는 다중 회귀 분석을 수행하여 회귀 계수를 추정한다. 먼저 입력 데이터를 정의하고, $\mathbf{A}^T \mathbf{A}$ 및 $\mathbf{A}^T \mathbf{b}$ 를 계산하며, Cholesky 분해를 통해 단계별로 해를 구한다. 마지막으로 회귀 계수 $\mathbf{x}$ 를 얻는다.

Covariance Matrix of Linear Regression Coefficients

또한, 회귀 분석의 결과로 추정된 회귀 계수의 신뢰성을 평가하기 위해 공분산 행렬을 구할 수 있다. 이는 회귀 계수의 분산과 공분산을 나타내며 불확실성을 평가하는 데 사용된다. 특히, Cholesky 분해를 사용하면 공분산 행렬의 계산이 더욱 효율적일 수 있다.

공분산 행렬은 다음과 같이 정의된다:

$\mathrm{Cov}(\mathbf{x}) = (\mathbf{A}^T \mathbf{A})^{-1}$

Cholesky 분해를 이용하면 공분산 행렬을 다음과 같은 단계로 구할 수 있다:

$\mathbf{A}^T \mathbf{A} = \mathbf{L} \mathbf{L}^T$ 계산 (Cholesky 분해)
$\mathbf{L}^{-1}$ 계산 후, $\mathbf{L}^{-1} \mathbf{L}^{-T} = (\mathbf{A}^T \mathbf{A})^{-1}$

L_inv = np.linalg.inv(L)

cov_matrix = L_inv @ L_inv.T

print("Covariance matrix of the regression coefficients:", cov_matrix)

이 과정을 통해 공분산 행렬을 찾고, 이를 통해 회귀 계수의 신뢰성을 평가할 수 있다.

이로써 Cholesky 분해를 사용하여 최소 제곱 문제를 해결하고 다중 회귀 분석을 수행하는 방법과 추가로 회귀 계수의 공분산 행렬을 계산하는 방법까지 알게 되었다.