수치 선형대수학에서, 수치 안정성은 수행되는 계산의 결과가 얼마나 정확한지를 나타내는 중요한 개념이다. 이는 기본적인 수학적 연산에서 발생할 수 있는 오차를 최소화하고, 계산 과정에서 이러한 오차가 누적되지 않도록 하는 데 중점을 둔다.

수치 불안정성의 원인

수치 불안정성의 주된 원인은 다음과 같다:

• 반올림 오차 (Round-off Error): 컴퓨터는 유한한 자릿수로 숫자를 표현하므로 실제 값과 차이가 생깁니다. 이러한 오차가 여러 번 반복되면 결과에 큰 영향을 미칠 수 있다.
• 근삿값 오차 (Approximation Error): 수치적 방법에서 해를 얻기 위해 근사화를 사용하는 경우 발생한다. 임의의 수를 특정 자릿수로 근사할 때 생기는 오차로, 반복적인 연산 과정에서 누적될 수 있다.

안정성 분석을 위한 개념들

• 조건수 (Condition Number): 조건수는 문제 자체의 감도 (sensitivity)를 나타낸다. 주어진 선형 시스템의 행렬 $\mathbf{A}$에 대해 조건수는 다음과 같이 정의된다.

조건수가 클수록, 시스템은 작은 변화에 대해 매우 민감하게 반응하며 수치적으로 불안정할 가능성이 높다.

• 안정성 (Stability): 알고리즘이 작은 입력 변화에 대해 큰 출력 변화를 나타내지 않도록 설계된 정도이다. 수치적으로 안정적인 알고리즘은 반올림 오차나 근삿값 오차가 커지지 않도록 보장한다.

안정성을 보장하는 테크닉

수치적 안정성을 달성하기 위한 몇 가지 예시적인 방법과 테크닉은 다음과 같다:

• 축소와 확대 방지 (Avoid Unnecessary Scaling): 연산 중 불필요한 확대 및 축소를 피하는 것이 중요하다. 이는 상대적인 오차를 최소화하여 숫자의 정확도를 유지한다.

• 어림차순 (Pivoting): 예를 들어, 가우스 소거법을 사용할 때 피봇팅을 사용하는 것이 좋다. 피봇팅은 행렬의 행이나 열을 재배열하여 연산 중 숫자가 과도하게 커지거나 작아지는 것을 방지한다.

• 정규화 (Normalization): 계산 과정에서 데이터의 크기를 일정하게 유지하여 숫자의 범위가 너무 넓어지지 않도록 한다.

• 부분 피봇팅 (Partial Pivoting)과 전 피봇팅 (Complete Pivoting): 필요한 경우 계산의 정확도를 보장하기 위해 이 방법들을 사용한다. 이는 계산 도중 발생하는 매우 작은 연산이나 매우 큰 연산을 피하기 위해 데이터의 재배열을 의미한다.

Cholesky 분해의 수치 안정성

특히 Cholesky 분해의 경우, 수치적 안정성은 중요한 고려 사항이다. Cholesky 분해는 대칭 양의 정부호 행렬 $\mathbf{A}$를 $\mathbf{A} = \mathbf{L} \mathbf{L}^T$로 표현하는 방법이다. 여기서 $\mathbf{L}$은 하삼각 행렬이다. Cholesky 분해는 수치적으로 안정적이며, 수치적 문제 발생 가능성이 상대적으로 낮다. 아래는 Cholesky 분해의 수치 안정성을 보장하는 주요 이유와 방법들이다.

장점

• Simplicity and Minimal Operations: Cholesky 분해는 대칭 행렬의 양쪽을 모두 고려할 필요가 없으므로, 계산 단계와 연산 횟수가 디렉트 방법 중 가장 적다. 이에 따라 반올림 오차의 누적 가능성이 상대적으로 작아진다.

• Positive Definite property: Cholesky 분해는 오직 양의 정부호 행렬에만 적용된다. 이 속성은 수치 계산에서 매우 중요한 자산이다. 양의 정부호 성질로 인해 행렬의 각 주 대각성분이 모두 양수임을 보장받으며, 이는 계산 과정에서 발생할 수 있는 반올림 오차를 최소화하는 데 도움을 준다.

• Condition Number 적절: Cholesky 분해는 잘 조건화된 행렬에서 더욱 잘 작동한다. 문제가 잘 조건화되어 있으면 수치적 오류의 전파가 크게 줄어든다.

개선과 대응 방법

• 적절한 전처리 (Preconditioning): 행렬이 잘 조건화되지 않은 경우, Preconditioning을 통해 행렬을 더욱 정규화할 수 있다. 이는 행렬의 조건수를 줄이고 수치적 안정성을 높이는 데 기여한다.

• 정확한 조립과 분해 (Accurate assembly and decomposition): 반올림 오차를 피하기 위해 매우 급진적인 데이터 형식 사용이 필요하거나, 제한된 자원의 연산 정확도를 높이기 위한 정밀도 높은 데이터 타입을 사용한다.

수치 안정성 분석

• Backward Stability: 알고리즘은 Backward Stable하면 작은 수치적 오차가 있을 때, 해당 오차를 데이터의 기저 부분 (back)에서만 반영하는 것으로 간주할 수 있다. Cholesky의 경우, 이를 통한 수치적 불안정성을 최소화 할 수 있다.

• Perturbation Analysis: 행렬 요소에 작은 변화를 주었을 때, 그 효과가 분해 결과에 미치는 영향을 분석한다. 이는 계산 과정에서 발생할 수 있는 작은 오차가 시스템 결과에 큰 영향을 미치는지 아닌지를 평가하는 데 도움이 된다.

결론적으로 Cholesky 분해는 수치적으로 매우 안정적인 방법 중 하나로, 대칭성 및 양의 정부호 성질로 인해 주로 선호된다. 그러나 잘 조건화되지 않은 행렬이나 매우 큰 스케일의 문제를 다룰 때는 적절한 수치 방법을 통해 안정성을 보장하는 것이 중요하다.