8.27 조건부 분포와 조건부 기댓값

1. 조건부 분포의 정의

확률 변수 $Y = y$ 가 관측된 조건에서 $X$ 의 조건부 분포(conditional distribution)는 다음과 같다.

$f_{X \vert Y}(x \vert y) = \frac{f_{X,Y}(x, y)}{f_Y(y)}, \quad f_Y(y) > 0$

조건부 분포는 유효한 확률 밀도 함수이다: $\int f_{X \vert Y}(x \vert y) \, dx = 1$ .

2. 조건부 기댓값의 정의

$Y = y$ 가 주어졌을 때 $X$ 의 조건부 기댓값(conditional expectation):

$\mathbb{E}[X \vert Y = y] = \int x \, f_{X \vert Y}(x \vert y) \, dx$

조건부 기댓값은 $y$ 의 함수이다. $Y$ 를 확률 변수로 취급하면, $\mathbb{E}[X \vert Y]$ 도 확률 변수가 된다.

함수 $g(X)$ 의 조건부 기댓값:

$\mathbb{E}[g(X) \vert Y = y] = \int g(x) \, f_{X \vert Y}(x \vert y) \, dx$

3. 반복 기댓값 법칙(Law of Iterated Expectations)

$\mathbb{E}[X] = \mathbb{E}_Y[\mathbb{E}[X \vert Y]]$

즉, 조건부 기댓값의 기댓값이 비조건부 기댓값과 같다. 이 법칙은 복잡한 기댓값 계산을 조건부 기댓값의 분석으로 분해하는 데 유용하다.

전체 분산 법칙(Law of Total Variance):

$\text{Var}(X) = \mathbb{E}[\text{Var}(X \vert Y)] + \text{Var}(\mathbb{E}[X \vert Y])$

전체 분산은 “조건부 분산의 기댓값(설명되지 않은 변동)“과 “조건부 기댓값의 분산(설명된 변동)“의 합이다.

4. 조건부 기댓값의 최적 추정 성질

확률 변수 $Y$ 의 관측으로부터 $X$ 를 추정하는 문제에서, 평균 제곱 오차(MSE)를 최소화하는 추정량은 조건부 기댓값이다.

$\hat{X}_{MMSE} = \arg\min_{g(Y)} \mathbb{E}[(X - g(Y))^2] = \mathbb{E}[X \vert Y]$

이 결과는 최소 평균 제곱 오차(Minimum Mean Square Error, MMSE) 추정의 핵심 정리이다. 조건부 기댓값이 모든 추정량 중 최소 MSE를 달성한다.

5. 가우시안 분포에서의 조건부 기댓값

결합 가우시안 $(\mathbf{X}_1, \mathbf{X}_2)^T \sim \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Sigma})$ 에서:

$\mathbb{E}[\mathbf{X}_1 \vert \mathbf{X}_2 = \mathbf{x}_2] = \boldsymbol{\mu}_1 + \boldsymbol{\Sigma}_{12}\boldsymbol{\Sigma}_{22}^{-1}(\mathbf{x}_2 - \boldsymbol{\mu}_2)$

가우시안에서 조건부 기댓값은 관측값 $\mathbf{x}_2$ 의 아핀(affine) 함수이다. 이 성질이 칼만 필터에서 선형 갱신 법칙의 기반이다. 칼만 이득 $\mathbf{K} = \boldsymbol{\Sigma}_{12}\boldsymbol{\Sigma}_{22}^{-1}$ 이 관측에 의한 상태 추정의 갱신 크기를 결정한다.

6. 조건부 분산

$\text{Var}(X \vert Y = y) = \mathbb{E}[(X - \mathbb{E}[X \vert Y = y])^2 \vert Y = y]$

가우시안에서 조건부 분산은 관측값 $y$ 에 무관하다:

$\text{Var}(\mathbf{X}_1 \vert \mathbf{X}_2) = \boldsymbol{\Sigma}_{11} - \boldsymbol{\Sigma}_{12}\boldsymbol{\Sigma}_{22}^{-1}\boldsymbol{\Sigma}_{21}$

이는 관측 전에 미리 계산 가능하여, 칼만 필터의 사전 공분산 갱신에 사용된다.

7. 로봇 공학에서의 응용

7.1 최적 상태 추정

센서 관측 $\mathbf{z}$ 가 주어졌을 때 상태의 MMSE 추정:

$\hat{\mathbf{x}}_{MMSE} = \mathbb{E}[\mathbf{x} \vert \mathbf{z}] = \int \mathbf{x} \, p(\mathbf{x} \vert \mathbf{z}) \, d\mathbf{x}$

칼만 필터의 상태 추정치가 이 MMSE 추정에 해당한다.

7.2 최대 사후 확률 추정(MAP)

조건부 기댓값 대신 조건부 분포의 최빈값(mode)을 사용하는 MAP 추정:

$\hat{\mathbf{x}}_{MAP} = \arg\max_{\mathbf{x}} p(\mathbf{x} \vert \mathbf{z})$

가우시안 분포에서 MMSE와 MAP가 동치이다.

7.3 회귀 함수

$\mathbb{E}[Y \vert X = x]$ 를 $x$ 의 함수로 본 것이 회귀 함수(regression function)이다. 가우시안 과정(GP) 회귀에서 학습 데이터가 주어졌을 때의 예측 평균이 조건부 기댓값이다.

8. 참고 문헌

Papoulis, A., & Pillai, S. U. (2002). Probability, Random Variables, and Stochastic Processes (4th ed.). McGraw-Hill.
Kay, S. M. (1993). Fundamentals of Statistical Signal Processing: Estimation Theory. Prentice Hall.
Barfoot, T. D. (2017). State Estimation for Robotics. Cambridge University Press.
Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.

version: 1.0