8.28 기댓값의 정의와 계산

1. 기댓값의 정의

기댓값(expectation, expected value)은 확률 변수의 “평균적인 값“을 나타내는 핵심적 통계량이다. 확률 분포의 중심 위치를 특성화하며, $\mathbb{E}[X]$ 또는 $\mu_X$ 로 표기한다.

$\mathbb{E}[X] = \sum_{x \in \mathcal{X}} x \, p_X(x)$

$\mathbb{E}[X] = \int_{-\infty}^{\infty} x \, f_X(x) \, dx$

기댓값이 존재하려면 위의 합 또는 적분이 절대 수렴해야 한다. 코시(Cauchy) 분포와 같이 기댓값이 존재하지 않는 분포도 있다.

확률 변수 $X$ 의 함수 $g(X)$ 의 기댓값은 $X$ 의 분포로부터 직접 계산 가능하다(LOTUS, Law of the Unconscious Statistician).

$\mathbb{E}[g(X)] = \int_{-\infty}^{\infty} g(x) \, f_X(x) \, dx$

$g(X)$ 의 분포를 명시적으로 구할 필요 없이 $X$ 의 분포만으로 계산할 수 있다.

기댓값 연산은 선형이다. 임의의 확률 변수 $X, Y$ 와 상수 $a, b$ 에 대해:

$\mathbb{E}[aX + bY] = a\mathbb{E}[X] + b\mathbb{E}[Y]$

독립성 가정 없이 성립한다.

$\mathbb{E}[c] = c$

$X \geq 0$ 이면 $\mathbb{E}[X] \geq 0$ 이다.

$X$ 와 $Y$ 가 독립이면:

$\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y]$

$n$ 차원 확률 벡터 $\mathbf{X} = [X_1, \ldots, X_n]^T$ 의 기댓값은 성분별 기댓값의 벡터이다.

$\mathbb{E}[\mathbf{X}] = [\mathbb{E}[X_1], \ldots, \mathbb{E}[X_n]]^T = \boldsymbol{\mu}$

행렬 함수의 기댓값도 원소별로 적용된다.

$\mathbb{E}[\mathbf{A}\mathbf{X} + \mathbf{b}] = \mathbf{A}\mathbb{E}[\mathbf{X}] + \mathbf{b}$

조건부 기댓값 $\mathbb{E}[X \vert Y = y]$ 에 대한 반복 기댓값 법칙:

$\mathbb{E}[X] = \mathbb{E}_Y[\mathbb{E}[X \vert Y]]$

이 법칙은 복잡한 기댓값을 조건화에 의해 단순화하는 강력한 도구이다.

$f_X$ 로부터 $N$ 개의 독립 표본 $x_1, \ldots, x_N$ 을 추출하면:

$\mathbb{E}[g(X)] \approx \frac{1}{N}\sum_{i=1}^{N}g(x_i)$

대수의 법칙(law of large numbers)에 의해 $N \to \infty$ 에서 정확한 값에 수렴한다. 추정 오차의 표준 편차는 $O(1/\sqrt{N})$ 이다.

가우시안 확률 변수의 함수의 기댓값은 가우스-에르미트(Gauss-Hermite) 구적법으로 효율적으로 계산된다.

$\mathbb{E}[g(X)] \approx \sum_{i=1}^{m}w_i g(x_i)$

무향 변환(Unscented Transform)은 이 원리에 기반한 시그마 점(sigma point) 방법이다.

MMSE 상태 추정: 사후 분포의 기댓값 $\hat{\mathbf{x}} = \mathbb{E}[\mathbf{x} \vert \mathbf{z}]$ 가 최소 평균 제곱 오차 추정치이다.

비용의 기대값 최적화: 확률적 환경에서의 최적 제어 문제는 비용의 기댓값 $\mathbb{E}[J(\mathbf{x}, \mathbf{u})]$ 을 최소화한다.

불확실성 전파: 비선형 함수를 통과하는 확률 분포의 평균 전파에 기댓값 계산이 필수적이다.

Papoulis, A., & Pillai, S. U. (2002). Probability, Random Variables, and Stochastic Processes (4th ed.). McGraw-Hill.
Ross, S. M. (2014). A First Course in Probability (9th ed.). Pearson.
Barfoot, T. D. (2017). State Estimation for Robotics. Cambridge University Press.

version: 1.0