8.32 공분산 행렬의 양정치성과 기하학적 해석
1. 양정치성의 의미
공분산 행렬 \boldsymbol{\Sigma}가 양정치(positive definite, PD)라 함은, 모든 비영 벡터 \mathbf{a} \neq \mathbf{0}에 대해 다음이 성립하는 것이다.
\mathbf{a}^T\boldsymbol{\Sigma}\mathbf{a} > 0
이는 \text{Var}(\mathbf{a}^T\mathbf{X}) > 0이므로, 어떤 방향으로의 선형 결합도 상수가 아님을 의미한다. 양정치 공분산 행렬의 역행렬 \boldsymbol{\Sigma}^{-1}이 존재하며, 다변량 가우시안 분포의 PDF가 유효하게 정의된다.
양의 반정치(positive semi-definite, PSD)이면 \mathbf{a}^T\boldsymbol{\Sigma}\mathbf{a} \geq 0으로, 일부 방향에서 분산이 영이 될 수 있다. 이 경우 확률 분포가 부분 공간에 집중되는 퇴화(degenerate) 분포이며, 역행렬이 존재하지 않는다.
2. 양정치성의 동치 조건
다음 조건들은 \boldsymbol{\Sigma} \succ 0과 동치이다.
- 모든 고유값이 양수: \lambda_i > 0, \forall i
- 모든 선행 주소행렬식(leading principal minor)이 양수
- 촐레스키 분해 \boldsymbol{\Sigma} = \mathbf{L}\mathbf{L}^T가 존재 (\mathbf{L}은 양의 대각을 갖는 하삼각 행렬)
- \det(\boldsymbol{\Sigma}) > 0이고 \boldsymbol{\Sigma}가 대칭
3. 기하학적 해석: 불확실성 타원체
3.1 등확률 밀도 타원체
다변량 가우시안 \mathbf{X} \sim \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Sigma})의 등밀도 곡면은 마할라노비스 거리가 일정한 타원체이다.
(\mathbf{x} - \boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\mathbf{x} - \boldsymbol{\mu}) = c^2
3.2 고유값 분해와 타원체의 형상
\boldsymbol{\Sigma} = \mathbf{V}\boldsymbol{\Lambda}\mathbf{V}^T에서:
- 주축 방향: 고유벡터 \mathbf{v}_1, \ldots, \mathbf{v}_n이 타원체의 주축 방향을 정의한다.
- 반축 길이: c\sqrt{\lambda_i}가 i번째 주축의 반축 길이이다.
- 체적: 타원체의 체적은 \propto c^n\sqrt{\det(\boldsymbol{\Sigma})} = c^n\prod_i\sqrt{\lambda_i}에 비례한다.
고유값이 모두 같으면(\lambda_1 = \cdots = \lambda_n) 등방성(isotropic) 분포로 타원체가 구가 된다. 고유값의 비율이 크면 타원체가 한 방향으로 길쭉해진다.
3.3 차원 예시
2차원 공분산 행렬:
\boldsymbol{\Sigma} = \begin{bmatrix}\sigma_x^2 & \rho\sigma_x\sigma_y \\ \rho\sigma_x\sigma_y & \sigma_y^2\end{bmatrix}
- \rho = 0: 타원의 주축이 좌표축에 정렬
- \rho > 0: 타원이 1, 3 사분면 방향으로 기울어짐
- \rho < 0: 타원이 2, 4 사분면 방향으로 기울어짐
- \lvert\rho\rvert \to 1: 타원이 직선에 가까워짐 (퇴화)
4. 행렬식의 기하학적 의미
\det(\boldsymbol{\Sigma}) = \prod_{i=1}^{n}\lambda_i
행렬식은 불확실성 타원체의 체적에 비례한다. \det(\boldsymbol{\Sigma})가 클수록 전체 불확실성이 크다. 대수적으로, \log\det(\boldsymbol{\Sigma})는 가우시안 분포의 미분 엔트로피와 비례한다.
h(\mathbf{X}) = \frac{n}{2}\ln(2\pi e) + \frac{1}{2}\ln\det(\boldsymbol{\Sigma})
5. 대각 공분산과 비대각 공분산
5.1 대각 공분산
\boldsymbol{\Sigma} = \text{diag}(\sigma_1^2, \ldots, \sigma_n^2): 변수 간 상관이 없으며, 타원체의 주축이 좌표축에 정렬된다. 독립 가우시안 변수의 경우이다.
5.2 비대각 공분산
비대각 원소가 비영이면 변수 간 상관이 존재하며, 타원체가 좌표축에 대해 회전된다. 상관의 존재는 한 변수의 관측이 다른 변수의 불확실성을 줄여줌을 의미하며, 칼만 필터의 갱신에서 이 효과가 교차 공분산을 통해 반영된다.
6. 로봇 공학에서의 양정치성 관리
6.1 칼만 필터에서의 양정치 유지
수치 연산의 반올림 오차에 의해 공분산 행렬의 양정치성이 위반될 수 있다. 이를 방지하기 위한 방법:
- 조셉 형식: \mathbf{P}^+ = (\mathbf{I} - \mathbf{KH})\mathbf{P}^-(\mathbf{I} - \mathbf{KH})^T + \mathbf{KRK}^T
- 제곱근 필터: 공분산의 촐레스키 인수 \mathbf{L} (\boldsymbol{\Sigma} = \mathbf{L}\mathbf{L}^T)을 직접 갱신
- 대칭화: \boldsymbol{\Sigma} \leftarrow (\boldsymbol{\Sigma} + \boldsymbol{\Sigma}^T)/2
6.2 특이 공분산의 처리
관측에 의해 일부 방향의 불확실성이 완전히 소멸하면 공분산 행렬이 특이(singular)가 된다. 의사 역행렬(pseudoinverse)이나 정규화(\boldsymbol{\Sigma} + \epsilon\mathbf{I})로 처리한다.
7. 참고 문헌
- Barfoot, T. D. (2017). State Estimation for Robotics. Cambridge University Press.
- Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
- Golub, G. H., & Van Loan, C. F. (2013). Matrix Computations (4th ed.). Johns Hopkins University Press.
- Bar-Shalom, Y., Li, X. R., & Kirubarajan, T. (2001). Estimation with Applications to Tracking and Navigation. Wiley.
version: 1.0