8.35 중심 극한 정리의 증명과 의미

1. 중심 극한 정리의 진술

중심 극한 정리(Central Limit Theorem, CLT)는 확률론에서 가장 중요한 정리 중 하나로, 독립 동일 분포(i.i.d.) 확률 변수의 표준화된 합이 표본 수가 증가함에 따라 표준 정규 분포에 분포 수렴함을 보장한다.

린데베르크-레비(Lindeberg-Lévy) 중심 극한 정리: $X_1, X_2, \ldots$ 가 i.i.d.이고 $\mathbb{E}[X_i] = \mu$ , $\text{Var}(X_i) = \sigma^2 < \infty$ 이면:

$Z_n = \frac{\bar{X}_n - \mu}{\sigma/\sqrt{n}} = \frac{\sum_{i=1}^{n}X_i - n\mu}{\sigma\sqrt{n}} \xrightarrow{d} \mathcal{N}(0, 1)$

여기서 $\xrightarrow{d}$ 는 분포 수렴(convergence in distribution)이다. 개별 확률 변수의 분포가 무엇이든(이산, 연속, 비대칭 등), 그 합의 분포는 정규 분포에 접근한다.

2. 특성 함수를 이용한 증명 개요

표준화된 합 $Z_n$ 의 특성 함수가 표준 정규 분포의 특성 함수 $e^{-t^2/2}$ 에 수렴함을 보인다.

$Y_i = (X_i - \mu)/\sigma$ 로 표준화하면 $\mathbb{E}[Y_i] = 0$ , $\text{Var}(Y_i) = 1$ 이다. $Z_n = \frac{1}{\sqrt{n}}\sum Y_i$ 이므로:

$\varphi_{Z_n}(t) = \left[\varphi_Y\left(\frac{t}{\sqrt{n}}\right)\right]^n$

$\varphi_Y(s)$ 를 $s = 0$ 주위에서 테일러 전개:

$\varphi_Y(s) = 1 + is\mathbb{E}[Y] + \frac{(is)^2}{2}\mathbb{E}[Y^2] + o(s^2) = 1 - \frac{s^2}{2} + o(s^2)$

대입하면:

$\varphi_{Z_n}(t) = \left[1 - \frac{t^2}{2n} + o\left(\frac{1}{n}\right)\right]^n \to e^{-t^2/2}$

레비의 연속성 정리에 의해 $Z_n \xrightarrow{d} \mathcal{N}(0, 1)$ 이 성립한다.

3. 중심 극한 정리의 의미

3.1 가우시안 잡음 가정의 정당화

로봇 센서에서 측정 잡음이 다수의 미소한 독립 잡음원의 합으로 구성될 때, CLT에 의해 총 잡음이 근사적으로 가우시안을 따른다. 이는 센서 모델에서 가우시안 잡음 가정의 이론적 근거이다.

3.2 표본 통계량의 분포

표본 평균 $\bar{X}_n$ 의 분포가 $n$ 이 클 때 근사적으로:

$\bar{X}_n \sim \mathcal{N}\left(\mu, \frac{\sigma^2}{n}\right)$

이 근사에 기반하여 신뢰 구간과 가설 검정이 수행된다.

3.3 분포의 보편성

CLT는 원래 분포의 형태에 무관하게 합의 분포가 정규로 수렴함을 보장한다. 이 보편성(universality)이 정규 분포가 통계학과 확률론에서 중심적 위치를 차지하는 근본적 이유이다.

4. 수렴 속도와 베리-에센 정리

CLT의 수렴 속도를 정량화하는 결과로 베리-에센(Berry-Esseen) 정리가 있다.

$\sup_z \lvert P(Z_n \leq z) - \Phi(z) \rvert \leq \frac{C\rho}{\sigma^3\sqrt{n}}$

여기서 $\rho = \mathbb{E}[\lvert X - \mu\rvert^3]$ 은 3차 절대 적률이고 $C \leq 0.4748$ 이다. 수렴 속도가 $O(1/\sqrt{n})$ 이므로, $n = 30$ 정도에서 합리적 근사가 달성되는 경우가 많다.

5. CLT의 확장

5.1 다변량 CLT

i.i.d. 확률 벡터 $\mathbf{X}_i \in \mathbb{R}^d$ ( $\mathbb{E}[\mathbf{X}_i] = \boldsymbol{\mu}$ , $\text{Cov}(\mathbf{X}_i) = \boldsymbol{\Sigma}$ )에 대해:

$\sqrt{n}(\bar{\mathbf{X}}_n - \boldsymbol{\mu}) \xrightarrow{d} \mathcal{N}(\mathbf{0}, \boldsymbol{\Sigma})$

5.2 린데베르크 CLT

동일 분포가 아닌 독립 확률 변수의 합에 대한 CLT이다. 린데베르크 조건이 만족되면 CLT가 성립한다.

5.3 마르팅게일 CLT

독립이 아닌 확률 변수에 대한 CLT로, 마르팅게일(martingale) 구조에서 성립한다.

6. 로봇 공학에서의 응용

잡음 모델의 근거: 센서 잡음, 프로세스 잡음의 가우시안 모델이 CLT에 의해 정당화된다.

몬테카를로 추정의 신뢰 구간: CLT에 의해 몬테카를로 추정치의 95% 신뢰 구간이 $\hat{I}_N \pm 1.96\hat{\sigma}/\sqrt{N}$ 으로 결정된다.

확률적 경사 하강법의 분석: SGD의 반복열이 CLT에 의해 근사적으로 정규 분포를 따르며, 이에 기반한 수렴 분석이 수행된다.

7. 참고 문헌

Papoulis, A., & Pillai, S. U. (2002). Probability, Random Variables, and Stochastic Processes (4th ed.). McGraw-Hill.
Grimmett, G. R., & Stirzaker, D. R. (2001). Probability and Random Processes (3rd ed.). Oxford University Press.
Billingsley, P. (1995). Probability and Measure (3rd ed.). Wiley.
Feller, W. (1971). An Introduction to Probability Theory and Its Applications (Vol. 2, 2nd ed.). Wiley.

version: 1.0