QR 분해는 수학적 이론뿐만 아니라 다양한 실용적인 문제를 해결하는 데 매우 유용하게 사용된다. 이 섹션에서는 QR 분해를 이용하여 해결할 수 있는 몇 가지 대표적인 문제 예제를 다룬다. 각 문제는 구체적인 예제와 함께 해결 과정을 상세히 설명할 것이다.

선형 회귀 분석에서의 QR 분해

선형 회귀 분석은 주어진 데이터에 대해 최적의 직선을 찾는 문제로, 데이터 점들 (x_1, y_1), (x_2, y_2), \ldots, (x_n, y_n)이 주어졌을 때, 다음과 같은 선형 모델을 가정한다.

\mathbf{y} = \mathbf{X} \mathbf{\beta} + \mathbf{\epsilon}

여기서 \mathbf{y}는 n차원 벡터로 관측된 결과값을, \mathbf{X}는 n \times p 차원의 설계 행렬(design matrix)을, \mathbf{\beta}는 추정해야 할 p차원 계수 벡터를, 그리고 \mathbf{\epsilon}는 잔차(residual) 벡터를 나타낸다.

이 모델에서 계수 벡터 \mathbf{\beta}를 추정하는 방법 중 하나는 최소 제곱법(Least Squares)이다. 최소 제곱 문제는 다음과 같은 목표를 가지며 정의된다.

\min_{\mathbf{\beta}} \|\mathbf{y} - \mathbf{X} \mathbf{\beta}\|_2^2

이 문제를 해결하기 위해 QR 분해를 사용할 수 있다. 먼저 설계 행렬 \mathbf{X}를 QR 분해하여 다음과 같이 표현한다.

\mathbf{X} = \mathbf{Q} \mathbf{R}

여기서 \mathbf{Q}는 n \times p 차원의 직교 행렬이고, \mathbf{R}은 p \times p 차원의 상삼각 행렬이다. 그러면 최소 제곱 문제는 다음과 같이 변환된다.

\min_{\mathbf{\beta}} \|\mathbf{y} - \mathbf{Q} \mathbf{R} \mathbf{\beta}\|_2^2

직교 행렬 \mathbf{Q}의 성질에 의해 문제는 다음과 같이 간단히 변형된다.

\min_{\mathbf{\beta}} \|\mathbf{Q}^T \mathbf{y} - \mathbf{R} \mathbf{\beta}\|_2^2

이를 통해 최적화 문제는 상삼각 행렬 \mathbf{R}에 대한 선형 시스템으로 변환된다.

\mathbf{R} \mathbf{\beta} = \mathbf{Q}^T \mathbf{y}

이제 상삼각 행렬 \mathbf{R}을 이용하여 역방향 대입법(back substitution)으로 \mathbf{\beta}를 계산할 수 있다.

최소 제곱 문제 해결의 구체적 예제

다음은 구체적인 예제를 통해 QR 분해를 이용한 최소 제곱 문제의 해결 과정을 보여준다.

예제: 데이터 점들

다음과 같은 데이터 점들이 주어졌다고 가정한다:

\{(1, 2), (2, 2.8), (3, 3.6), (4, 4.5)\}

이 데이터를 이용하여 y = \beta_0 + \beta_1 x 형태의 직선을 피팅하는 문제를 QR 분해를 이용하여 해결해 보자.

설계 행렬 \mathbf{X}는 다음과 같이 표현된다.

\mathbf{X} = \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \\ 1 & 4 \end{bmatrix}

결과 벡터 \mathbf{y}는 다음과 같다.

\mathbf{y} = \begin{bmatrix} 2 \\ 2.8 \\ 3.6 \\ 4.5 \end{bmatrix}

QR 분해 수행

먼저 설계 행렬 \mathbf{X}에 대해 QR 분해를 수행한다. 이를 통해 \mathbf{X}를 직교 행렬 \mathbf{Q}와 상삼각 행렬 \mathbf{R}의 곱으로 분해할 수 있다.

\mathbf{X} = \mathbf{Q} \mathbf{R}

구체적으로, 설계 행렬 \mathbf{X}의 QR 분해는 다음과 같다.

\mathbf{Q} = \begin{bmatrix} -\frac{1}{\sqrt{10}} & \frac{2}{\sqrt{5}} \\ -\frac{1}{\sqrt{10}} & \frac{1}{\sqrt{5}} \\ -\frac{1}{\sqrt{10}} & 0 \\ -\frac{1}{\sqrt{10}} & -\frac{1}{\sqrt{5}} \end{bmatrix}, \quad \mathbf{R} = \begin{bmatrix} -\sqrt{10} & -5 \\ 0 & \sqrt{5} \end{bmatrix}

이제 직교 행렬 \mathbf{Q}의 전치행렬 \mathbf{Q}^T를 구한다.

\mathbf{Q}^T = \begin{bmatrix} -\frac{1}{\sqrt{10}} & -\frac{1}{\sqrt{10}} & -\frac{1}{\sqrt{10}} & -\frac{1}{\sqrt{10}} \\ \frac{2}{\sqrt{5}} & \frac{1}{\sqrt{5}} & 0 & -\frac{1}{\sqrt{5}} \end{bmatrix}

이를 이용하여 다음과 같은 방정식을 얻는다.

\mathbf{R} \mathbf{\beta} = \mathbf{Q}^T \mathbf{y}

우선, \mathbf{Q}^T \mathbf{y}를 계산한다.

\mathbf{Q}^T \mathbf{y} = \begin{bmatrix} -\frac{1}{\sqrt{10}} & -\frac{1}{\sqrt{10}} & -\frac{1}{\sqrt{10}} & -\frac{1}{\sqrt{10}} \\ \frac{2}{\sqrt{5}} & \frac{1}{\sqrt{5}} & 0 & -\frac{1}{\sqrt{5}} \end{bmatrix} \begin{bmatrix} 2 \\ 2.8 \\ 3.6 \\ 4.5 \end{bmatrix} = \begin{bmatrix} -\sqrt{10} \\ \frac{1}{\sqrt{5}} \end{bmatrix}

따라서, 다음과 같은 선형 시스템이 도출된다.

\mathbf{R} \mathbf{\beta} = \begin{bmatrix} -\sqrt{10} & -5 \\ 0 & \sqrt{5} \end{bmatrix} \mathbf{\beta} = \begin{bmatrix} -\sqrt{10} \\ \frac{1}{\sqrt{5}} \end{bmatrix}

이제 상삼각 행렬 \mathbf{R}에 대한 선형 시스템을 풀어서 \mathbf{\beta}를 구할 수 있다.

역방향 대입법 (Back Substitution)

이제 상삼각 행렬 \mathbf{R}에 대한 선형 시스템을 역방향 대입법을 사용하여 푼다.

먼저 \beta_2를 계산한다:

\sqrt{5} \cdot \beta_2 = \frac{1}{\sqrt{5}} \quad \Rightarrow \quad \beta_2 = \frac{1}{5}

그 다음, \beta_1을 계산한다:

-\sqrt{10} \cdot \beta_1 - 5 \cdot \frac{1}{5} = -\sqrt{10} \quad \Rightarrow \quad -\sqrt{10} \cdot \beta_1 - 1 = -\sqrt{10} \quad \Rightarrow \quad \beta_1 = 1

따라서, 최종적으로 추정된 계수 벡터는 다음과 같다:

\mathbf{\beta} = \begin{bmatrix} 1 \\ \frac{1}{5} \end{bmatrix}

이 결과는 선형 회귀 문제에서 데이터에 가장 잘 맞는 직선이 y = 1 + \frac{1}{5}x임을 의미한다.

---

위 예제를 통해 QR 분해가 선형 회귀 분석의 최소 제곱 문제를 효율적으로 해결할 수 있음을 확인할 수 있다. QR 분해는 직접적인 역행렬 계산 없이도 안정적이고 효율적으로 선형 시스템을 풀 수 있는 강력한 도구이다.

QR 알고리즘을 이용한 고유값 계산

QR 분해는 고유값(eigenvalue) 문제를 해결하는 데에도 중요한 역할을 한다. 특히 QR 알고리즘은 행렬의 고유값을 구하는 효율적인 방법으로 널리 사용된다. QR 알고리즘은 반복적인 QR 분해를 통해 행렬을 삼각화하여 고유값을 계산하는 방식이다.

예제: 행렬의 고유값 계산

다음과 같은 3 \times 3 실수 행렬 \mathbf{A}가 주어졌다고 가정한다:

\mathbf{A} = \begin{bmatrix} 4 & 1 & 2 \\ 1 & 2 & 0 \\ 2 & 0 & 3 \end{bmatrix}

이 행렬의 고유값을 QR 알고리즘을 사용하여 구해보겠다.

초기 단계: QR 분해

QR 알고리즘의 첫 번째 단계는 주어진 행렬 \mathbf{A}에 대해 QR 분해를 수행하는 것이다.

\mathbf{A} = \mathbf{Q}_0 \mathbf{R}_0

여기서 \mathbf{Q}_0는 직교 행렬이고, \mathbf{R}_0은 상삼각 행렬이다.

반복 과정

QR 알고리즘은 다음과 같은 반복 과정을 통해 행렬을 갱신한다:

\mathbf{A}_{k+1} = \mathbf{R}_k \mathbf{Q}_k

이 과정에서 갱신된 행렬 \mathbf{A}_{k+1}는 \mathbf{A}_k와 유사하므로, 고유값은 변하지 않는다. 반복이 충분히 진행되면 행렬 \mathbf{A}_{k+1}는 거의 상삼각 형태로 수렴하며, 대각 성분이 고유값을 나타낸다.

구체적인 반복 예시

반복을 3회 진행한다고 가정하고, 각각의 단계에서 \mathbf{A}_k 행렬과 대응하는 \mathbf{Q}_k, \mathbf{R}_k를 구한다.

  1. 1단계:
\mathbf{A}_1 = \mathbf{R}_0 \mathbf{Q}_0 = \mathbf{Q}_0^T \mathbf{A} \mathbf{Q}_0
  1. 2단계:
\mathbf{A}_2 = \mathbf{R}_1 \mathbf{Q}_1
  1. 3단계:
\mathbf{A}_3 = \mathbf{R}_2 \mathbf{Q}_2

반복 과정이 충분히 진행된 후, \mathbf{A}_k는 거의 상삼각 행렬이 되며, 이 행렬의 대각 성분이 원래 행렬 \mathbf{A}의 고유값을 근사한다.

결과 해석

QR 알고리즘을 통해 구한 상삼각 행렬의 대각 성분이 \mathbf{A}의 고유값을 나타낸다. 이 방법은 반복 횟수에 따라 원하는 정확도로 수렴할 수 있으며, 특히 대칭 행렬의 경우 매우 빠르게 수렴한다.

신호 처리 및 통신에서의 QR 분해 응용

QR 분해는 신호 처리와 통신 분야에서도 중요한 응용을 가지고 있다. 특히 다중 입력 다중 출력(MIMO) 시스템에서의 데이터 전송, 레이더 신호 처리, 그리고 적응형 안테나 시스템에서 QR 분해는 필수적인 도구이다.

예제: MIMO 시스템에서의 QR 분해

MIMO 시스템은 여러 송신 안테나와 여러 수신 안테나를 사용하여 데이터 전송 속도를 증가시키고 신호 강도를 향상시키는 기술이다. 이 시스템에서는 다음과 같은 기본적인 수신 모델이 사용된다.

\mathbf{y} = \mathbf{H} \mathbf{x} + \mathbf{n}

여기서:

MIMO 시스템에서 데이터를 복원하기 위해 수신 신호 벡터 \mathbf{y}로부터 송신 신호 벡터 \mathbf{x}를 추정하는 과정에서 QR 분해가 사용된다.

QR 분해를 이용한 신호 복원

채널 행렬 \mathbf{H}에 대해 QR 분해를 수행하여 \mathbf{H}를 직교 행렬 \mathbf{Q}와 상삼각 행렬 \mathbf{R}로 분해한다.

\mathbf{H} = \mathbf{Q} \mathbf{R}

이 분해를 사용하여 수신 신호 모델을 다음과 같이 변환할 수 있다.

\mathbf{y} = \mathbf{Q} \mathbf{R} \mathbf{x} + \mathbf{n}

직교 행렬 \mathbf{Q}의 특성에 따라 위 식을 다음과 같이 간단히 변형할 수 있다.

\mathbf{Q}^T \mathbf{y} = \mathbf{R} \mathbf{x} + \mathbf{Q}^T \mathbf{n}

이제 이 선형 시스템에서 \mathbf{R}이 상삼각 행렬이므로, \mathbf{x}는 역방향 대입법(back substitution)을 통해 쉽게 구할 수 있다. 이는 잡음이 없는 이상적인 상황에서의 송신 신호 복원 과정이다.

MIMO 시스템에서의 이점

QR 분해를 사용하면 MIMO 시스템에서의 복호화 과정이 간단해지고, 특히 잡음이 있을 때 신호 복원 과정에서의 계산 효율이 향상된다. 더불어 QR 분해는 각 송신 안테나와 수신 안테나 간의 상호 간섭을 줄이는 데 효과적이다.

QR 분해를 활용한 이러한 방법은 MIMO 시스템에서의 데이터 전송 신뢰성을 높이고 전송 속도를 향상시키는 데 기여한다.

블록 QR 분해를 이용한 병렬 처리

신호 처리와 통신 시스템에서 대규모 행렬 연산이 필요한 경우, 블록 QR 분해를 사용하여 병렬 처리를 수행할 수 있다. 이는 매우 큰 행렬을 여러 작은 블록으로 나누어 각각을 QR 분해하는 방식으로, 전체적인 계산 시간을 크게 줄일 수 있다.

예제: 대규모 안테나 시스템

대규모 안테나 시스템에서는 수백 개 이상의 안테나가 사용되며, 이에 따른 행렬의 크기도 매우 크다. 이러한 시스템에서의 채널 행렬 \mathbf{H}는 매우 큰 크기를 가질 수 있으며, 이로 인해 전통적인 QR 분해 방식은 효율적이지 않을 수 있다.

블록 QR 분해를 사용하면 채널 행렬 \mathbf{H}를 여러 블록으로 나누고, 각 블록에 대해 독립적으로 QR 분해를 수행한 후, 결과를 결합하여 최종 QR 분해를 얻을 수 있다.

블록 QR 분해의 단계

  1. 행렬 분할: 행렬 \mathbf{H}를 적절한 크기의 블록 행렬로 분할한다.
\mathbf{H} = \begin{bmatrix} \mathbf{H}_{11} & \mathbf{H}_{12} \\ \mathbf{H}_{21} & \mathbf{H}_{22} \end{bmatrix}
  1. 각 블록에 대한 QR 분해 수행: 각 블록에 대해 독립적으로 QR 분해를 수행한다.
\mathbf{H}_{ij} = \mathbf{Q}_{ij} \mathbf{R}_{ij}
  1. 결합: 각 블록에 대한 QR 분해 결과를 결합하여 전체 행렬 \mathbf{H}에 대한 최종 QR 분해를 구한다.
\mathbf{H} = \mathbf{Q} \mathbf{R}

블록 QR 분해는 대규모 신호 처리 시스템에서 병렬 연산을 통해 처리 시간을 크게 단축시킬 수 있으며, 특히 실시간 처리가 요구되는 통신 시스템에서 유용하다.

최소 제곱 문제의 확장: 가중 최소 제곱법

QR 분해는 가중 최소 제곱 문제(Weighted Least Squares, WLS)에도 적용될 수 있다. 가중 최소 제곱법은 데이터 포인트마다 중요도가 다를 때, 각 데이터 포인트에 가중치를 부여하여 최소 제곱 문제를 해결하는 방법이다.

가중 최소 제곱 문제의 정의

일반적인 최소 제곱 문제에서 우리는 잔차(residual)의 제곱합을 최소화하려고 한다. 그러나 데이터의 신뢰도가 일정하지 않은 경우, 각 데이터 포인트에 다른 가중치를 부여하여 잔차의 제곱합을 최소화하는 것이 더 합리적일 수 있다. 이때 가중 최소 제곱 문제는 다음과 같이 정의된다:

\min_{\mathbf{\beta}} \|\mathbf{W}^{\frac{1}{2}}(\mathbf{y} - \mathbf{X} \mathbf{\beta})\|_2^2

여기서 \mathbf{W}는 대각 성분이 가중치인 n \times n 대각 행렬이다.

QR 분해를 이용한 가중 최소 제곱 문제 해결

가중 최소 제곱 문제를 해결하기 위해 설계 행렬 \mathbf{X}와 결과 벡터 \mathbf{y}에 가중치를 적용하여 새로운 행렬과 벡터를 정의할 수 있다.

\mathbf{X}_w = \mathbf{W}^{\frac{1}{2}} \mathbf{X}, \quad \mathbf{y}_w = \mathbf{W}^{\frac{1}{2}} \mathbf{y}

이제, 새로운 최소 제곱 문제는 다음과 같이 다시 쓰여진다:

\min_{\mathbf{\beta}} \|\mathbf{y}_w - \mathbf{X}_w \mathbf{\beta}\|_2^2

이 문제는 일반적인 최소 제곱 문제와 동일한 형태이므로, QR 분해를 사용하여 해결할 수 있다. 즉, \mathbf{X}_w에 대해 QR 분해를 수행한 후, 동일한 방식으로 \mathbf{\beta}를 추정한다.

예제: 가중치가 적용된 데이터에 대한 회귀 분석

다음과 같은 데이터 포인트가 주어졌다고 가정한다:

\{(1, 2, 0.5), (2, 2.8, 1.5), (3, 3.6, 2.0), (4, 4.5, 0.8)\}

여기서 각 데이터 포인트는 (x_i, y_i, w_i)의 형태를 가지며, w_i는 해당 데이터 포인트의 가중치이다.

설계 행렬 \mathbf{X}는 다음과 같이 정의된다:

\mathbf{X} = \begin{bmatrix} 1 & 1 \\ 1 & 2 \\ 1 & 3 \\ 1 & 4 \end{bmatrix}

결과 벡터 \mathbf{y}는 다음과 같다:

\mathbf{y} = \begin{bmatrix} 2 \\ 2.8 \\ 3.6 \\ 4.5 \end{bmatrix}

가중치 행렬 \mathbf{W}는 다음과 같이 정의된다:

\mathbf{W} = \begin{bmatrix} 0.5 & 0 & 0 & 0 \\ 0 & 1.5 & 0 & 0 \\ 0 & 0 & 2.0 & 0 \\ 0 & 0 & 0 & 0.8 \end{bmatrix}

가중된 설계 행렬 \mathbf{X}_w와 결과 벡터 \mathbf{y}_w는 각각 다음과 같이 계산된다:

\mathbf{X}_w = \mathbf{W}^{\frac{1}{2}} \mathbf{X}, \quad \mathbf{y}_w = \mathbf{W}^{\frac{1}{2}} \mathbf{y}
\mathbf{W}^{\frac{1}{2}} = \begin{bmatrix} \sqrt{0.5} & 0 & 0 & 0 \\ 0 & \sqrt{1.5} & 0 & 0 \\ 0 & 0 & \sqrt{2.0} & 0 \\ 0 & 0 & 0 & \sqrt{0.8} \end{bmatrix}

따라서:

\mathbf{X}_w = \begin{bmatrix} \sqrt{0.5} & \sqrt{0.5} \\ \sqrt{1.5} & 2\sqrt{1.5} \\ \sqrt{2.0} & 3\sqrt{2.0} \\ \sqrt{0.8} & 4\sqrt{0.8} \end{bmatrix} , \quad \mathbf{y}_w = \begin{bmatrix} \sqrt{0.5} \cdot 2 \\ \sqrt{1.5} \cdot 2.8 \\ \sqrt{2.0} \cdot 3.6 \\ \sqrt{0.8} \cdot 4.5 \end{bmatrix}

이제 \mathbf{X}_w에 대해 QR 분해를 수행하여 \mathbf{\beta}를 계산할 수 있다.

QR 분해를 이용한 조건수 계산

조건수(condition number)는 행렬의 감수성을 측정하는 중요한 지표로, 행렬이 잘못되었을 때 얼마나 큰 오차가 발생할 수 있는지를 나타낸다. 조건수가 큰 행렬은 계산 과정에서 수치적 불안정성을 가질 수 있다. QR 분해를 사용하여 행렬의 조건수를 계산할 수 있다.

조건수의 정의

행렬 \mathbf{A}의 조건수 \kappa(\mathbf{A})는 다음과 같이 정의된다:

\kappa(\mathbf{A}) = \|\mathbf{A}\| \cdot \|\mathbf{A}^{-1}\|

여기서 \|\mathbf{A}\|는 행렬 \mathbf{A}의 노름(norm)을 나타낸다. 보통 2-노름(또는 스펙트럼 노름)을 사용하며, 이는 행렬의 최대 특이값과 최소 특이값의 비율로도 정의된다:

\kappa(\mathbf{A}) = \frac{\sigma_{\text{max}}(\mathbf{A})}{\sigma_{\text{min}}(\mathbf{A})}

QR 분해를 이용한 조건수 계산 방법

QR 분해를 이용해 조건수를 계산하는 방법은 다음과 같다:

  1. QR 분해 수행: 주어진 행렬 \mathbf{A}에 대해 QR 분해를 수행하여, \mathbf{A} = \mathbf{Q} \mathbf{R} 형태로 분해한다.

  2. 상삼각 행렬 \mathbf{R}의 조건수 계산: \mathbf{A}의 조건수는 \mathbf{R}의 조건수와 동일한다. 이는 직교 행렬 \mathbf{Q}의 노름이 1이기 때문이다.

\kappa(\mathbf{A}) = \kappa(\mathbf{R})
  1. \mathbf{R}의 조건수 계산: 상삼각 행렬 \mathbf{R}의 최대 대각 성분과 최소 대각 성분의 비율로 조건수를 계산할 수 있다.
\kappa(\mathbf{R}) = \frac{\max_i |r_{ii}|}{\min_i |r_{ii}|}

예제: 조건수 계산

다음과 같은 3 \times 3 행렬 \mathbf{A}를 고려해보겠다:

\mathbf{A} = \begin{bmatrix} 4 & 2 & 3 \\ 3 & 1 & 2 \\ 2 & 1 & 3 \end{bmatrix}

이 행렬에 대해 QR 분해를 수행하면 다음과 같이 분해된다:

\mathbf{A} = \mathbf{Q} \mathbf{R}

여기서 \mathbf{R}은 다음과 같다:

\mathbf{R} = \begin{bmatrix} 5.3852 & 2.4495 & 4.6833 \\ 0 & 1.1547 & 0.5774 \\ 0 & 0 & 1.4142 \end{bmatrix}

이제 \mathbf{R}의 대각 성분을 이용하여 조건수를 계산한다:

\kappa(\mathbf{R}) = \frac{\max(5.3852, 1.1547, 1.4142)}{\min(5.3852, 1.1547, 1.4142)} = \frac{5.3852}{1.1547} \approx 4.6642

따라서 행렬 \mathbf{A}의 조건수는 약 4.6642이다. 이는 행렬이 비교적 잘 조건화되어 있음을 나타내며, 수치 계산에서 큰 불안정성이 발생하지 않을 것을 의미한다.

QR 분해를 이용한 직교 투영

QR 분해는 직교 투영 문제에서도 중요한 역할을 한다. 직교 투영은 데이터의 특정 하위 공간에 대한 투영을 의미하며, QR 분해를 통해 이러한 투영을 효율적으로 계산할 수 있다.

직교 투영 문제의 정의

주어진 데이터 포인트 벡터 \mathbf{y}와 데이터 행렬 \mathbf{X}가 있을 때, \mathbf{X}의 열 벡터로 생성된 공간에 \mathbf{y}를 직교 투영하려고 한다. 이를 수학적으로 다음과 같이 표현할 수 있다:

\hat{\mathbf{y}} = \mathbf{X} \mathbf{X}^+ \mathbf{y}

여기서 \mathbf{X}^+는 \mathbf{X}의 의사역행렬(pseudo-inverse)을 나타내며, 이는 다음과 같이 QR 분해를 통해 계산할 수 있다:

\mathbf{X}^+ = \mathbf{R}^{-1} \mathbf{Q}^T

따라서 직교 투영 벡터 \hat{\mathbf{y}}는 다음과 같이 계산된다:

\hat{\mathbf{y}} = \mathbf{X} \mathbf{R}^{-1} \mathbf{Q}^T \mathbf{y}

예제: 직교 투영 계산

다음과 같은 행렬 \mathbf{X}와 벡터 \mathbf{y}가 주어졌다고 가정한다:

\mathbf{X} = \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \end{bmatrix}, \quad \mathbf{y} = \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix}

QR 분해 수행

\mathbf{X}에 대해 QR 분해를 수행하면:

\mathbf{Q} = \begin{bmatrix} -\frac{1}{\sqrt{3}} & \frac{2}{\sqrt{6}} \\ -\frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{6}} \\ -\frac{1}{\sqrt{3}} & \frac{1}{\sqrt{6}} \end{bmatrix}, \quad \mathbf{R} = \begin{bmatrix} -\sqrt{3} & -\sqrt{3} \\ 0 & \sqrt{2} \end{bmatrix}

\mathbf{X}^+ 계산

\mathbf{R}의 역행렬 \mathbf{R}^{-1}을 구한다:

\mathbf{R}^{-1} = \begin{bmatrix} -\frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{3}} \\ 0 & \frac{1}{\sqrt{2}} \end{bmatrix}

따라서:

\mathbf{X}^+ = \mathbf{R}^{-1} \mathbf{Q}^T = \begin{bmatrix} -\frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{3}} \\ 0 & \frac{1}{\sqrt{2}} & \frac{2}{\sqrt{6}} \end{bmatrix}

직교 투영 \hat{\mathbf{y}} 계산

\hat{\mathbf{y}} = \mathbf{X} \mathbf{X}^+ \mathbf{y}를 계산한다:

\mathbf{X}^+ \mathbf{y} = \begin{bmatrix} -\frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{3}} & -\frac{1}{\sqrt{3}} \\ 0 & \frac{1}{\sqrt{2}} & \frac{2}{\sqrt{6}} \end{bmatrix} \begin{bmatrix} 1 \\ 2 \\ 3 \end{bmatrix} = \begin{bmatrix} -\frac{6}{\sqrt{3}} \\ \frac{2}{\sqrt{2}} + \frac{6}{\sqrt{6}} \end{bmatrix}

이제 \hat{\mathbf{y}} = \mathbf{X} \mathbf{X}^+ \mathbf{y}를 계산하면:

\hat{\mathbf{y}} = \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \end{bmatrix} \begin{bmatrix} -\frac{6}{\sqrt{3}} \\ \frac{2}{\sqrt{2}} + \frac{6}{\sqrt{6}} \end{bmatrix} = \begin{bmatrix} -\frac{6}{\sqrt{3}} \\ -\frac{6}{\sqrt{3}} + \frac{2}{\sqrt{2}} + \frac{6}{\sqrt{6}} \\ -\frac{6}{\sqrt{3}} + 2 \cdot \left( \frac{2}{\sqrt{2}} + \frac{6}{\sqrt{6}} \right) \end{bmatrix}

계산을 간단히 하면, 최종 직교 투영 벡터는:

\hat{\mathbf{y}} = \begin{bmatrix} 2 \\ 2 \\ 2 \end{bmatrix}

이는 \mathbf{X}의 열 벡터로 생성된 공간에 대해 \mathbf{y}의 직교 투영을 나타낸다.

QR 분해를 이용한 행렬의 순위 결정

QR 분해는 행렬의 순위(rank)를 결정하는 데에도 사용할 수 있다. 행렬의 순위는 행렬의 선형 독립적인 열 또는 행의 최대 개수를 의미한다. 행렬 \mathbf{A}를 QR 분해하여 \mathbf{A} = \mathbf{Q} \mathbf{R}로 표현하면, 행렬 \mathbf{R}의 비영(zero가 아닌) 대각 성분의 개수가 행렬 \mathbf{A}의 순위와 동일한다.

순위 결정의 과정

  1. QR 분해 수행: 행렬 \mathbf{A}에 대해 QR 분해를 수행하여 \mathbf{A} = \mathbf{Q} \mathbf{R}로 분해한다.

  2. 상삼각 행렬 \mathbf{R}의 분석: \mathbf{R}의 대각 성분을 확인하여, 비영 성분의 개수를 셉니다.

  3. 행렬의 순위 결정: 이 비영 성분의 개수가 행렬 \mathbf{A}의 순위이다.

예제: 행렬의 순위 계산

다음과 같은 3 \times 3 행렬 \mathbf{A}가 주어졌다고 가정한다:

\mathbf{A} = \begin{bmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \\ 7 & 8 & 9 \end{bmatrix}

이 행렬에 대해 QR 분해를 수행하면:

\mathbf{R} = \begin{bmatrix} -\sqrt{66} & -\frac{92}{\sqrt{66}} & -\frac{44}{\sqrt{66}} \\ 0 & -\frac{6}{\sqrt{66}} & -\frac{12}{\sqrt{66}} \\ 0 & 0 & 0 \end{bmatrix}

여기서 \mathbf{R}의 대각 성분은 -\sqrt{66}, -\frac{6}{\sqrt{66}}, 그리고 0이다. 따라서, 이 행렬의 순위는 2이다.

이 예제는 \mathbf{A}의 행렬이 두 개의 선형 독립적인 열(또는 행)만을 가지며, 세 번째 열(또는 행)은 다른 두 열(또는 행)의 선형 결합임을 보여준다.

이와 같은 방식으로 QR 분해를 사용하여 행렬의 순위를 효율적으로 결정할 수 있다. 이는 특히 큰 행렬에 대해 행렬의 성질을 분석하는 데 유용한 도구이다.

다만, QR 분해를 수행할 때 대각 성분이 0에 가까운 수인 경우, 수치적 오류에 주의해야 한다. 이러한 경우, 작은 수치적 잡음을 고려하여 행렬의 순위를 결정해야 한다.

선형 독립성 확인

QR 분해는 행렬의 열 벡터들이 선형 독립인지 확인하는 데 사용할 수 있다. 주어진 행렬 \mathbf{A} \in \mathbb{R}^{m \times n}의 QR 분해를 통해 상삼각 행렬 \mathbf{R}이 얻어지면, 이 행렬의 대각 성분이 모두 0이 아닌 경우 \mathbf{A}의 열 벡터는 선형 독립임을 의미한다.

예제: 선형 독립성 검사

다음 행렬 \mathbf{A}가 주어졌다고 가정한다:

\mathbf{A} = \begin{bmatrix} 1 & 2 & 3 \\ 2 & 4 & 6 \\ 3 & 6 & 9 \end{bmatrix}

이 행렬의 QR 분해를 수행하면 다음과 같이 된다:

\mathbf{A} = \mathbf{Q} \mathbf{R}
\mathbf{R} = \begin{bmatrix} \sqrt{14} & \frac{28}{\sqrt{14}} & \frac{42}{\sqrt{14}} \\ 0 & 0 & 0 \\ 0 & 0 & 0 \end{bmatrix}

여기서 \mathbf{R}의 두 번째와 세 번째 대각 성분이 0이므로, \mathbf{A}의 두 번째 및 세 번째 열 벡터는 선형 종속임을 알 수 있다. 따라서 \mathbf{A}의 열 벡터들은 선형 독립이 아니다.

2. 행렬 순위 계산

QR 분해는 행렬의 순위(rank)를 계산하는 데에도 사용된다. 행렬 \mathbf{A}의 QR 분해에서 상삼각 행렬 \mathbf{R}의 대각 성분 중 0이 아닌 요소의 수가 \mathbf{A}의 순위이다.

예제: 행렬 순위 계산

다음과 같은 행렬 \mathbf{B}가 주어졌다고 가정한다:

\mathbf{B} = \begin{bmatrix} 1 & 2 & 3 \\ 4 & 5 & 6 \\ 7 & 8 & 9 \end{bmatrix}

\mathbf{B}에 대해 QR 분해를 수행하면 다음과 같이 된다:

\mathbf{B} = \mathbf{Q} \mathbf{R}
\mathbf{R} = \begin{bmatrix} -\sqrt{66} & -\frac{32}{\sqrt{66}} & -\frac{48}{\sqrt{66}} \\ 0 & \sqrt{6} & \frac{6}{\sqrt{6}} \\ 0 & 0 & 0 \end{bmatrix}

\mathbf{R}의 대각 성분 중 0이 아닌 두 개의 요소가 있으므로, \mathbf{B}의 순위는 2이다. 즉, \mathbf{B}는 2차원 공간에서 선형적으로 독립적인 열 벡터 두 개를 가지고 있다.

3. 최소 제곱 문제의 정규방정식 유도

QR 분해는 최소 제곱 문제의 정규방정식(normal equation)을 유도하는 데도 활용된다. 주어진 과적정(underdetermined) 시스템에서, 정규방정식 \mathbf{X}^T\mathbf{X}\mathbf{\beta} = \mathbf{X}^T\mathbf{y}를 풀기 위해 QR 분해를 사용하면 계산이 간단해진다.

예제: 정규방정식 유도

다음과 같은 과적정 시스템이 주어졌다고 가정한다:

\mathbf{X}\mathbf{\beta} = \mathbf{y}

여기서 \mathbf{X}는 m \times n 행렬이고, m > n이다. QR 분해를 이용해 \mathbf{X}를 분해하면:

\mathbf{X} = \mathbf{Q}\mathbf{R}

정규방정식을 풀기 위해, QR 분해를 사용하면 다음과 같은 간단한 선형 시스템으로 변환된다:

\mathbf{R}\mathbf{\beta} = \mathbf{Q}^T\mathbf{y}

상삼각 행렬 \mathbf{R}을 이용하여 \mathbf{\beta}를 쉽게 구할 수 있다.

4. 고유값 문제와 QR 알고리즘

QR 알고리즘은 QR 분해를 반복적으로 사용하여 행렬의 고유값을 구하는 방법이다. 이 알고리즘은 대칭 행렬의 고유값을 효율적으로 계산할 수 있다.

예제: 고유값 계산

대칭 행렬 \mathbf{C}가 주어졌다고 가정한다:

\mathbf{C} = \begin{bmatrix} 2 & 1 \\ 1 & 2 \end{bmatrix}

QR 알고리즘을 사용하여 \mathbf{C}의 고유값을 계산한다. 이 행렬의 QR 분해를 반복하여 새로운 행렬을 생성하고, 이 과정이 수렴하면 대각 성분이 고유값에 가까워진다.