8.17 가우시안 분포(정규 분포)의 정의와 성질

1. 차원 가우시안 분포

1.1 정의

가우시안 분포(Gaussian distribution) 또는 정규 분포(normal distribution)는 평균 $\mu$ 와 분산 $\sigma^2$ 에 의해 완전히 특성화되는 연속 확률 분포이다.

$f_X(x) = \frac{1}{\sqrt{2\pi}\sigma}\exp\left(-\frac{(x - \mu)^2}{2\sigma^2}\right), \quad -\infty < x < \infty$

$X \sim \mathcal{N}(\mu, \sigma^2)$ 로 표기한다. $\mu = 0$ , $\sigma^2 = 1$ 인 경우를 표준 정규 분포라 하며, $Z \sim \mathcal{N}(0, 1)$ 로 표기한다.

1.2 기본 성질

기대값과 분산: $\mathbb{E}[X] = \mu$ , $\text{Var}(X) = \sigma^2$

적률 생성 함수: $M_X(t) = \exp\left(\mu t + \frac{\sigma^2 t^2}{2}\right)$

대칭성: PDF가 $x = \mu$ 에 대해 좌우 대칭이다.

표준화: $Z = (X - \mu)/\sigma \sim \mathcal{N}(0, 1)$

1.3 확률 구간

$P(\mu - k\sigma \leq X \leq \mu + k\sigma) = \text{erf}\left(\frac{k}{\sqrt{2}}\right)$

$k = 1$ : 68.27%, $k = 2$ : 95.45%, $k = 3$ : 99.73%

2. 가우시안 분포의 핵심 성질

2.1 선형 변환에 대한 닫힘

$X \sim \mathcal{N}(\mu, \sigma^2)$ 이면 $Y = aX + b \sim \mathcal{N}(a\mu + b, a^2\sigma^2)$ 이다. 가우시안 확률 변수의 아핀 변환은 여전히 가우시안이다.

2.2 독립 가우시안의 합

$X_i \sim \mathcal{N}(\mu_i, \sigma_i^2)$ 가 독립이면:

$\sum_{i=1}^{n}X_i \sim \mathcal{N}\left(\sum_i \mu_i, \sum_i \sigma_i^2\right)$

2.3 최대 엔트로피 성질

평균과 분산이 주어졌을 때, 가우시안 분포는 미분 엔트로피(differential entropy)를 최대화하는 분포이다.

$h(X) = \frac{1}{2}\ln(2\pi e\sigma^2)$

이 성질은 잡음 분포에 대한 정보가 평균과 분산뿐일 때, 가우시안 가정이 가장 보수적(최소 구조적)인 모델임을 의미한다.

2.4 중심극한정리(Central Limit Theorem)

동일 분포를 따르는 독립적 확률 변수의 평균은 표본 수가 충분히 크면 정규 분포에 수렴한다.

$\frac{\bar{X}_n - \mu}{\sigma/\sqrt{n}} \xrightarrow{d} \mathcal{N}(0, 1)$

이 정리는 다수의 미소한 독립 잡음원의 합이 가우시안을 따르는 이론적 근거를 제공한다.

3. 다변량 가우시안 분포

3.1 정의

$n$ 차원 확률 벡터 $\mathbf{X} \sim \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\Sigma})$ 의 PDF:

$f_{\mathbf{X}}(\mathbf{x}) = \frac{1}{(2\pi)^{n/2}\lvert\boldsymbol{\Sigma}\rvert^{1/2}}\exp\left(-\frac{1}{2}(\mathbf{x} - \boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\mathbf{x} - \boldsymbol{\mu})\right)$

여기서 $\boldsymbol{\mu} \in \mathbb{R}^n$ 은 평균 벡터, $\boldsymbol{\Sigma} \in \mathbb{R}^{n \times n}$ 은 양정치 대칭 공분산 행렬이다.

3.2 마할라노비스 거리

$(\mathbf{x} - \boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\mathbf{x} - \boldsymbol{\mu})$ 를 마할라노비스 거리(Mahalanobis distance)의 제곱이라 한다. 등확률 밀도 곡면은 타원체이며, 공분산 행렬의 고유벡터가 주축, 고유값이 각 축의 분산에 해당한다.

3.3 선형 변환

$\mathbf{Y} = \mathbf{A}\mathbf{X} + \mathbf{b}$ 이면:

$\mathbf{Y} \sim \mathcal{N}(\mathbf{A}\boldsymbol{\mu} + \mathbf{b}, \mathbf{A}\boldsymbol{\Sigma}\mathbf{A}^T)$

3.4 주변 분포와 조건부 분포

$\mathbf{X} = [\mathbf{X}_1^T, \mathbf{X}_2^T]^T$ 를 분할하면:

$\begin{bmatrix} \mathbf{X}_1 \\ \mathbf{X}_2 \end{bmatrix} \sim \mathcal{N}\left(\begin{bmatrix}\boldsymbol{\mu}_1 \\ \boldsymbol{\mu}_2\end{bmatrix}, \begin{bmatrix}\boldsymbol{\Sigma}_{11} & \boldsymbol{\Sigma}_{12} \\ \boldsymbol{\Sigma}_{21} & \boldsymbol{\Sigma}_{22}\end{bmatrix}\right)$

주변 분포: $\mathbf{X}_1 \sim \mathcal{N}(\boldsymbol{\mu}_1, \boldsymbol{\Sigma}_{11})$

조건부 분포: $\mathbf{X}_1 \vert \mathbf{X}_2 = \mathbf{x}_2 \sim \mathcal{N}(\boldsymbol{\mu}_{1\vert 2}, \boldsymbol{\Sigma}_{1\vert 2})$

$\boldsymbol{\mu}_{1\vert 2} = \boldsymbol{\mu}_1 + \boldsymbol{\Sigma}_{12}\boldsymbol{\Sigma}_{22}^{-1}(\mathbf{x}_2 - \boldsymbol{\mu}_2)$

$\boldsymbol{\Sigma}_{1\vert 2} = \boldsymbol{\Sigma}_{11} - \boldsymbol{\Sigma}_{12}\boldsymbol{\Sigma}_{22}^{-1}\boldsymbol{\Sigma}_{21}$

이 조건부 분포 공식이 칼만 필터의 갱신 단계의 수학적 기반이다.

4. 로봇 공학에서의 가우시안 분포

가우시안 분포는 로봇 공학의 확률론적 모델링에서 가장 기본적이고 널리 사용되는 분포이다.

칼만 필터: 상태와 관측의 가우시안 가정
센서 잡음 모델: 잡음이 가우시안으로 모델링
불확실성 전파: 선형 변환에 의한 가우시안의 닫힘 성질
최소 제곱 추정: 가우시안 잡음에서의 최대 가능도 추정이 최소 제곱 추정과 동치
가우시안 과정(GP) 회귀: 함수 공간에서의 가우시안 확장

5. 참고 문헌

Papoulis, A., & Pillai, S. U. (2002). Probability, Random Variables, and Stochastic Processes (4th ed.). McGraw-Hill.
Barfoot, T. D. (2017). State Estimation for Robotics. Cambridge University Press.
Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
Thrun, S., Burgard, W., & Fox, D. (2005). Probabilistic Robotics. MIT Press.

version: 1.0