30.33 일반화된 고유값 문제(Generalized Eigenvalue Problem)의 정의

1. 표준 고유값 문제의 한계

표준 고유값 문제는 $Av = \lambda v$ ( $v \neq 0$ )의 형태로서, 단일 행렬 $A$ 에 대한 고유값과 고유벡터를 구하는 것이다. 그러나 많은 물리적, 공학적 문제에서는 두 행렬이 동시에 관여하는 고유값 문제가 자연스럽게 발생한다. 예를 들어, 진동 해석에서 강성 행렬(stiffness matrix) $K$ 와 질량 행렬(mass matrix) $M$ 이 동시에 나타나는 $Kv = \omega^2 Mv$ 형태의 방정식이 이에 해당한다.

2. 일반화된 고유값 문제의 정의

정의. $n \times n$ 행렬 $A$ 와 $B$ 가 주어졌을 때, **일반화된 고유값 문제(generalized eigenvalue problem)**는 다음을 만족하는 스칼라 $\lambda$ 와 벡터 $v \neq 0$ 을 구하는 것이다:

$Av = \lambda Bv$

이를 만족하는 $\lambda$ 를 일반화된 고유값(generalized eigenvalue), $v$ 를 **일반화된 고유벡터(generalized eigenvector)**라 한다. 행렬 쌍 $(A, B)$ 를 행렬 묶음(matrix pencil) 또는 **행렬 속(matrix pencil)**이라 하며, $A - \lambda B$ 로 표기한다.

$B = I$ 이면 표준 고유값 문제 $Av = \lambda v$ 로 환원된다. 따라서 일반화된 고유값 문제는 표준 문제의 자연스러운 확장이다.

3. 일반화된 특성 다항식

일반화된 고유값은 일반화된 특성 방정식

$\det(A - \lambda B) = 0$

의 근으로 정의된다. $\det(A - \lambda B)$ 는 $\lambda$ 에 대한 $n$ 차 이하의 다항식이다. $B$ 가 가역이면 이 다항식의 차수는 정확히 $n$ 이고, $n$ 개의 유한 일반화된 고유값(중복 포함)이 존재한다. $B$ 가 특이이면 차수가 $n$ 보다 작을 수 있으며, 이 경우 **무한 고유값(infinite eigenvalue)**이 나타난다.

4. $B$ 가 가역인 경우: 표준 문제로의 환원

$B$ 가 가역이면, $Av = \lambda Bv$ 의 양변에 $B^{-1}$ 을 곱하여

$B^{-1} A v = \lambda v$

를 얻는다. 이는 $C = B^{-1}A$ 에 대한 표준 고유값 문제이다. 따라서 일반화된 고유값은 $B^{-1}A$ 의 고유값과 일치한다.

그러나 이 환원은 실용적으로 두 가지 문제를 갖는다:

수치적 불안정성. $B^{-1}$ 의 명시적 계산은 수치 오차를 증폭시킬 수 있다. 특히 $B$ 의 조건수가 클 때 심각하다.

구조 파괴. $A$ 와 $B$ 가 모두 대칭이더라도 $B^{-1}A$ 는 일반적으로 대칭이 아니다. 대칭성은 고유값의 실수성 등 중요한 성질을 보장하므로, 구조의 파괴는 바람직하지 않다.

5. $A$ 와 $B$ 가 모두 대칭이고 $B$ 가 양의 정부호인 경우

이 경우는 물리학과 공학에서 가장 빈번하게 나타나며, 특히 유리한 성질을 갖는다.

정리. $A = A^T$ 이고 $B = B^T \succ 0$ 이면, $Av = \lambda Bv$ 의 모든 일반화된 고유값은 실수이며, 일반화된 고유벡터로 구성된 $B$ -직교 기저가 존재한다. 즉, $v_i^T B v_j = 0$ ( $i \neq j$ )이다.

증명 개요. $B \succ 0$ 이므로 촐레스키 분해 $B = LL^T$ 가 존재한다. $Av = \lambda LL^T v$ 의 양변에 $L^{-1}$ 을 곱하면

$L^{-1} A L^{-T} (L^T v) = \lambda (L^T v)$

$\tilde{A} = L^{-1} A L^{-T}$ 는 대칭 행렬이다 ( $A = A^T$ 이므로). $w = L^T v$ 로 놓으면 $\tilde{A} w = \lambda w$ 는 대칭 행렬의 표준 고유값 문제이다. 따라서 모든 고유값이 실수이고, 고유벡터가 직교한다. $\blacksquare$

이 환원에서는 대칭 구조가 보존되며, $\tilde{A}$ 의 표준 고유값 문제에 기존의 모든 대칭 행렬 알고리즘을 적용할 수 있다.

6. 무한 고유값

$B$ 가 특이( $\det B = 0$ )이면, $\det(A - \lambda B)$ 의 $\lambda$ 에 대한 최고 차수 항이 소멸하여 유한 고유값의 수가 $n$ 보다 작아진다. 이때 “누락된” 고유값을 $\lambda = \infty$ 로 해석한다.

형식적으로, 일반화된 고유값 문제를 $\mu A v = B v$ ( $\mu = 1/\lambda$ )로 변환하면, $\lambda = \infty$ 는 $\mu = 0$ 에 대응한다. 즉, 무한 고유값은 $Bv = 0$ 을 만족하는 벡터 $v \neq 0$ 이 존재하는 것, 즉 $B$ 의 핵 공간이 비자명한 것에 해당한다.

7. 행렬 묶음의 정칙성

정의. 행렬 묶음 $A - \lambda B$ 가 **정칙(regular)**이라 함은 $\det(A - \lambda B)$ 가 $\lambda$ 의 항등적 영(identically zero) 다항식이 아닌 것이다. 즉, $\det(A - \lambda B) \neq 0$ 인 $\lambda$ 가 존재하는 것이다.

정칙 묶음에서는 일반화된 고유값이 유한 개(최대 $n$ 개, 무한 고유값 포함)이며, 잘 정의된 스펙트럼을 갖는다. 비정칙 묶음( $\det(A - \lambda B) \equiv 0$ )에서는 모든 $\lambda$ 가 고유값이며, 이는 특수한 취급을 요한다.

8. 일반화된 고유값 문제의 수치적 해법

8.1 QZ 알고리즘

일반화된 고유값 문제의 표준 수치 해법은 **QZ 알고리즘(QZ algorithm)**이다. QZ 알고리즘은 QR 알고리즘의 일반화로서, $B^{-1}A$ 를 명시적으로 계산하지 않고 행렬 쌍 $(A, B)$ 를 동시에 직교 변환한다.

QZ 알고리즘의 핵심은 직교 행렬 $Q$ 와 $Z$ 를 구하여

$Q^T A Z = T, \quad Q^T B Z = S$

가 모두 상삼각 행렬이 되도록 하는 것이다. 이를 **일반화된 슈르 분해(generalized Schur decomposition)**라 한다. 일반화된 고유값은 $\lambda_i = t_{ii} / s_{ii}$ ( $s_{ii} \neq 0$ )로 구해진다. $s_{ii} = 0$ 이면 $\lambda_i = \infty$ 이다.

QZ 알고리즘의 계산 복잡도는 $O(n^3)$ 이며, 수치적으로 안정하다.

8.2 대칭-양의 정부호 묶음의 특수 해법

$A = A^T$ , $B = B^T \succ 0$ 인 경우에는 촐레스키 분해에 기반한 환원 방법이 효율적이다:

$B = LL^T$ (촐레스키 분해)
$\tilde{A} = L^{-1} A L^{-T}$ 구성
$\tilde{A}$ 에 대칭 QR (또는 분할 정복) 알고리즘 적용

9. 수치 예시

$A = \begin{pmatrix} 5 & 1 \\ 1 & 3 \end{pmatrix}, \quad B = \begin{pmatrix} 2 & 0 \\ 0 & 1 \end{pmatrix}$

$A = A^T$ , $B = B^T \succ 0$ 이므로 일반화된 고유값은 모두 실수이다.

$\det(A - \lambda B) = (5 - 2\lambda)(3 - \lambda) - 1 = 2\lambda^2 - 11\lambda + 14 = 0$

$\lambda = \frac{11 \pm \sqrt{121 - 112}}{4} = \frac{11 \pm 3}{4}$ 이므로 $\lambda_1 = 3.5$ , $\lambda_2 = 2$ 이다.

환원에 의한 확인. $B^{-1}A = \begin{pmatrix} 5/2 & 1/2 \\ 1 & 3 \end{pmatrix}$ 의 고유값: $\lambda^2 - \frac{11}{2}\lambda + 7 = 0$ , $\lambda = \frac{11/2 \pm 3/2}{2}$ . $\lambda_1 = 7/2 = 3.5$ , $\lambda_2 = 4/2 = 2$ . 일치한다.

10. 일반화된 고유값 문제의 응용 분야

구조 진동 해석. $Kx = \omega^2 Mx$ ( $K$ : 강성 행렬, $M$ : 질량 행렬, $\omega$ : 고유 진동수). $K$ 와 $M$ 은 대칭 양의 정부호이며, 일반화된 고유값 $\omega^2$ 이 고유 진동수의 제곱을 결정한다. 이는 유한 요소법(finite element method)에서 핵심적이다.

일반화된 레일리 몫. $A = A^T$ , $B = B^T \succ 0$ 에 대한 일반화된 레일리 몫은

$R(x) = \frac{x^T A x}{x^T B x}$

이며, $\lambda_{\min} \leq R(x) \leq \lambda_{\max}$ 이고, 극값은 일반화된 고유벡터에서 달성된다.

주성분 분석의 일반화. 피셔 판별 분석(Fisher’s discriminant analysis)에서 클래스 간 분산 행렬 $S_B$ 와 클래스 내 분산 행렬 $S_W$ 에 대한 일반화된 고유값 문제 $S_B v = \lambda S_W v$ 를 풀어 최적의 판별 방향을 결정한다. 이는 $S_W^{-1} S_B$ 의 표준 고유값 문제로 환원되나, $S_W$ 가 특이할 수 있으므로 일반화된 형태로 취급하는 것이 안전하다.

안정성 해석. 제어 이론에서 상태 공간 모형 $\dot{x} = Ax + Bu$ 의 안정성 분석은 $A$ 의 표준 고유값 문제이나, 기술자(descriptor) 시스템 $E\dot{x} = Ax + Bu$ ( $E$ 가 특이)에서는 일반화된 고유값 문제 $Av = \lambda Ev$ 를 풀어야 한다.