8.30 공분산과 상관 계수

1. 공분산의 정의

두 확률 변수 $X$ , $Y$ 의 공분산(covariance)은 두 변수의 선형적 공변동(co-variation)을 측정한다.

$\text{Cov}(X, Y) = \mathbb{E}[(X - \mu_X)(Y - \mu_Y)] = \mathbb{E}[XY] - \mathbb{E}[X]\mathbb{E}[Y]$

$\text{Cov}(X, Y) > 0$ 이면 $X$ 가 증가할 때 $Y$ 도 증가하는 경향, $\text{Cov}(X, Y) < 0$ 이면 반대 방향으로 변하는 경향, $\text{Cov}(X, Y) = 0$ 이면 선형적 공변동이 없음(비상관, uncorrelated)을 나타낸다. $\text{Cov}(X, X) = \text{Var}(X)$ 이다.

2. 공분산의 성질

$\text{Cov}(aX + b, cY + d) = ac \, \text{Cov}(X, Y)$

$\text{Cov}(X + Y, Z) = \text{Cov}(X, Z) + \text{Cov}(Y, Z)$

$\text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y) + 2\text{Cov}(X, Y)$

독립이면 비상관: $X \perp Y \Rightarrow \text{Cov}(X, Y) = 0$ . 그러나 비상관이 독립을 의미하지는 않는다(가우시안 분포에서는 동치).

3. 상관 계수(Correlation Coefficient)

피어슨(Pearson) 상관 계수는 공분산을 각 변수의 표준 편차로 정규화한 것이다.

$\rho_{XY} = \frac{\text{Cov}(X, Y)}{\sigma_X \sigma_Y}$

3.1 범위

$-1 \leq \rho_{XY} \leq 1$

코시-슈바르츠 부등식 $\lvert\mathbb{E}[XY]\rvert \leq \sqrt{\mathbb{E}[X^2]\mathbb{E}[Y^2]}$ 에 의해 보장된다.

3.2 해석

$\rho_{XY} = 1$ : 완전 양의 선형 관계 ( $Y = aX + b$ , $a > 0$ )
$\rho_{XY} = -1$ : 완전 음의 선형 관계 ( $Y = aX + b$ , $a < 0$ )
$\rho_{XY} = 0$ : 선형 상관 없음
$0 < \lvert\rho_{XY}\rvert < 1$ : 부분적 선형 상관

상관 계수는 무차원량(dimensionless)이므로, 변수의 단위에 무관하게 선형 관계의 강도를 비교할 수 있다. 비선형 관계는 $\rho = 0$ 이면서도 강한 종속성을 가질 수 있음에 주의해야 한다.

4. 공분산 행렬(Covariance Matrix)

$n$ 차원 확률 벡터 $\mathbf{X} = [X_1, \ldots, X_n]^T$ 의 공분산 행렬:

$\boldsymbol{\Sigma} = \mathbb{E}[(\mathbf{X} - \boldsymbol{\mu})(\mathbf{X} - \boldsymbol{\mu})^T] \in \mathbb{R}^{n \times n}$

$\Sigma_{ij} = \text{Cov}(X_i, X_j)$

4.1 공분산 행렬의 성질

대칭성: $\boldsymbol{\Sigma} = \boldsymbol{\Sigma}^T$
양의 반정치: $\mathbf{a}^T\boldsymbol{\Sigma}\mathbf{a} = \text{Var}(\mathbf{a}^T\mathbf{X}) \geq 0$ , $\forall \mathbf{a}$
대각 원소: $\Sigma_{ii} = \text{Var}(X_i) \geq 0$
비대각 원소: $\lvert\Sigma_{ij}\rvert \leq \sqrt{\Sigma_{ii}\Sigma_{jj}}$

4.2 상관 행렬(Correlation Matrix)

$\mathbf{R} = \mathbf{D}^{-1}\boldsymbol{\Sigma}\mathbf{D}^{-1}$

여기서 $\mathbf{D} = \text{diag}(\sigma_1, \ldots, \sigma_n)$ . $R_{ij} = \rho_{X_i X_j}$ 이고 $R_{ii} = 1$ 이다.

4.3 선형 변환에서의 공분산

$\mathbf{Y} = \mathbf{A}\mathbf{X} + \mathbf{b}$ 이면:

$\text{Cov}(\mathbf{Y}) = \mathbf{A}\boldsymbol{\Sigma}_X\mathbf{A}^T$

이 공식은 로봇 공학에서 좌표 변환, 순방향 기구학 등에 의한 불확실성 전파의 핵심이다.

5. 교차 공분산(Cross-Covariance)

두 확률 벡터 $\mathbf{X} \in \mathbb{R}^n$ , $\mathbf{Y} \in \mathbb{R}^m$ 사이의 교차 공분산 행렬:

$\boldsymbol{\Sigma}_{XY} = \mathbb{E}[(\mathbf{X} - \boldsymbol{\mu}_X)(\mathbf{Y} - \boldsymbol{\mu}_Y)^T] \in \mathbb{R}^{n \times m}$

칼만 필터에서 상태와 관측의 교차 공분산이 칼만 이득을 결정한다.

$\mathbf{K} = \boldsymbol{\Sigma}_{xz}\boldsymbol{\Sigma}_{zz}^{-1}$

6. 로봇 공학에서의 공분산의 역할

상태 추정의 불확실성: 칼만 필터의 공분산 행렬 $\mathbf{P}$ 가 상태 추정의 불확실성을 정량화한다. 대각 원소는 각 상태 변수의 분산, 비대각 원소는 상태 변수 간 상관을 나타낸다.

센서 융합의 가중치: 다수 센서의 가중 결합에서 공분산의 역행렬(정보 행렬)이 가중치로 사용된다. 분산이 작은 센서에 큰 가중치가 부여된다.

궤적의 불확실성: 시간에 따른 상태 공분산의 전파가 궤적 불확실성의 성장을 기술한다.

7. 표본 공분산

$N$ 개의 관측 $\{(\mathbf{x}_i, \mathbf{y}_i)\}$ 로부터의 표본 공분산:

$\hat{\text{Cov}}(X, Y) = \frac{1}{N-1}\sum_{i=1}^{N}(x_i - \bar{x})(y_i - \bar{y})$

$N - 1$ 로 나누는 것은 비편향(unbiased) 추정을 위한 베셀 보정(Bessel’s correction)이다.

8. 참고 문헌

Papoulis, A., & Pillai, S. U. (2002). Probability, Random Variables, and Stochastic Processes (4th ed.). McGraw-Hill.
Kay, S. M. (1993). Fundamentals of Statistical Signal Processing: Estimation Theory. Prentice Hall.
Barfoot, T. D. (2017). State Estimation for Robotics. Cambridge University Press.

version: 1.0