8.25 결합 확률 분포의 정의와 성질

1. 결합 확률 분포의 정의

두 개 이상의 확률 변수가 동시에 취하는 값의 확률적 관계를 기술하는 분포를 결합 확률 분포(joint probability distribution)라 한다.

1.1 이산 경우

이산 확률 변수 $X$ , $Y$ 의 결합 확률 질량 함수(joint PMF):

$p_{X,Y}(x, y) = P(X = x, Y = y)$

정규화 조건: $\sum_x \sum_y p_{X,Y}(x, y) = 1$

1.2 연속 경우

연속 확률 변수 $X$ , $Y$ 의 결합 확률 밀도 함수(joint PDF) $f_{X,Y}(x, y)$ :

$P((X, Y) \in A) = \iint_A f_{X,Y}(x, y) \, dx \, dy$

정규화 조건: $\int_{-\infty}^{\infty}\int_{-\infty}^{\infty} f_{X,Y}(x, y) \, dx \, dy = 1$

2. 주변 분포(Marginal Distribution)

결합 분포로부터 개별 변수의 분포를 구하는 것을 주변화(marginalization)라 한다.

2.1 이산 경우

$p_X(x) = \sum_y p_{X,Y}(x, y)$

2.2 연속 경우

$f_X(x) = \int_{-\infty}^{\infty} f_{X,Y}(x, y) \, dy$

주변화는 관심 없는 변수를 “합산(또는 적분)하여 제거“하는 연산이다. 로봇 공학에서 관심 상태만의 분포를 구하기 위해 나머지 상태를 주변화하는 것이 베이즈 필터의 핵심 연산이다.

3. 조건부 분포(Conditional Distribution)

$Y = y$ 가 주어졌을 때 $X$ 의 조건부 분포:

$f_{X \vert Y}(x \vert y) = \frac{f_{X,Y}(x, y)}{f_Y(y)}, \quad f_Y(y) > 0$

결합 분포는 조건부 분포와 주변 분포의 곱으로 분해된다.

$f_{X,Y}(x, y) = f_{X \vert Y}(x \vert y) f_Y(y) = f_{Y \vert X}(y \vert x) f_X(x)$

4. 연쇄 법칙(Chain Rule)

$n$ 개의 확률 변수의 결합 분포를 조건부 분포의 곱으로 분해한다.

$p(\mathbf{x}_1, \ldots, \mathbf{x}_n) = p(\mathbf{x}_1)\prod_{i=2}^{n}p(\mathbf{x}_i \vert \mathbf{x}_1, \ldots, \mathbf{x}_{i-1})$

이 분해는 베이즈 네트워크(Bayesian network)의 이론적 기반이다.

5. 독립성과 결합 분포

$X$ 와 $Y$ 가 독립이면 결합 분포가 주변 분포의 곱으로 인수분해된다.

$f_{X,Y}(x, y) = f_X(x) f_Y(y)$

독립성은 결합 분포의 가장 강력한 구조적 단순화이다. $n$ 개의 독립 확률 변수의 결합 분포:

$f_{\mathbf{X}}(\mathbf{x}) = \prod_{i=1}^{n} f_{X_i}(x_i)$

6. 공분산과 상관 계수

6.1 공분산

$\text{Cov}(X, Y) = \mathbb{E}[(X - \mu_X)(Y - \mu_Y)] = \mathbb{E}[XY] - \mu_X\mu_Y$

공분산이 양이면 두 변수가 함께 증가/감소하는 경향, 음이면 반대 방향으로 변하는 경향을 나타낸다. $\text{Cov}(X, Y) = 0$ 이면 비상관(uncorrelated)이다.

6.2 상관 계수

$\rho_{XY} = \frac{\text{Cov}(X, Y)}{\sigma_X \sigma_Y}, \quad -1 \leq \rho_{XY} \leq 1$

$\lvert\rho_{XY}\rvert = 1$ 이면 완전 선형 관계, $\rho_{XY} = 0$ 이면 선형 상관 없음.

6.3 공분산 행렬

$n$ 차원 확률 벡터 $\mathbf{X}$ 의 공분산 행렬:

$\boldsymbol{\Sigma} = \mathbb{E}[(\mathbf{X} - \boldsymbol{\mu})(\mathbf{X} - \boldsymbol{\mu})^T] \in \mathbb{R}^{n \times n}$

대각 원소 $\Sigma_{ii} = \text{Var}(X_i)$ , 비대각 원소 $\Sigma_{ij} = \text{Cov}(X_i, X_j)$ . 공분산 행렬은 대칭 양의 반정치이다.

7. 로봇 공학에서의 결합 분포

상태-관측 결합 분포: 로봇의 상태 $\mathbf{x}$ 와 센서 관측 $\mathbf{z}$ 의 결합 분포 $p(\mathbf{x}, \mathbf{z})$ 가 상태 추정의 기반이다. 관측이 주어지면 상태의 조건부 분포 $p(\mathbf{x} \vert \mathbf{z})$ 를 구한다.

다중 센서의 결합 관측: 여러 센서의 관측 벡터의 결합 분포가 센서 융합에 사용된다. 센서 간 상관이 존재하면 교차 공분산이 비영이다.

시간적 결합 분포: 연속 시간 단계의 상태 $(\mathbf{x}_t, \mathbf{x}_{t+1})$ 의 결합 분포가 마르코프 전이 모델을 정의한다.

8. 참고 문헌

Papoulis, A., & Pillai, S. U. (2002). Probability, Random Variables, and Stochastic Processes (4th ed.). McGraw-Hill.
Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
Barfoot, T. D. (2017). State Estimation for Robotics. Cambridge University Press.

version: 1.0