8.34 대수의 법칙과 표본 평균의 수렴

1. 대수의 법칙의 직관적 의미

대수의 법칙(Law of Large Numbers, LLN)은 표본의 수가 증가함에 따라 표본 평균이 모평균에 수렴함을 보장하는 정리이다. 이는 “충분히 많은 관측을 수집하면 평균적 결과를 정확하게 추정할 수 있다“는 통계적 추론의 근본적 정당화를 제공한다.

2. 약대수의 법칙(Weak Law of Large Numbers)

독립 동일 분포(i.i.d.) 확률 변수 $X_1, X_2, \ldots$ 가 $\mathbb{E}[X_i] = \mu$ , $\text{Var}(X_i) = \sigma^2 < \infty$ 를 만족하면, 표본 평균 $\bar{X}_n = \frac{1}{n}\sum_{i=1}^{n}X_i$ 는 모평균 $\mu$ 에 확률 수렴(convergence in probability)한다.

$\bar{X}_n \xrightarrow{P} \mu \quad \text{즉,} \quad \forall \epsilon > 0: \; \lim_{n \to \infty}P(\lvert\bar{X}_n - \mu\rvert > \epsilon) = 0$

체비셰프 부등식에 의해:

$P(\lvert\bar{X}_n - \mu\rvert > \epsilon) \leq \frac{\text{Var}(\bar{X}_n)}{\epsilon^2} = \frac{\sigma^2}{n\epsilon^2} \to 0$

3. 강대수의 법칙(Strong Law of Large Numbers)

보다 강한 결과로, 표본 평균이 거의 확실하게(almost surely) 모평균에 수렴한다.

$P\left(\lim_{n \to \infty}\bar{X}_n = \mu\right) = 1$

강대수의 법칙은 표본 경로(sample path)가 모평균에 수렴함을 보장하며, 약대수의 법칙보다 강한 수렴을 제공한다.

4. 수렴의 유형

수렴 유형	정의	강도
거의 확실한 수렴 (a.s.)	$P(\lim X_n = X) = 1$	가장 강함
확률 수렴 (in probability)	$\forall\epsilon>0: P(\lvert X_n - X\rvert > \epsilon) \to 0$	중간
분포 수렴 (in distribution)	$F_{X_n}(x) \to F_X(x)$	가장 약함
평균 수렴 ( $L^p$ 수렴)	$\mathbb{E}[\lvert X_n - X\rvert^p] \to 0$	$p$ 에 의존

거의 확실한 수렴 $\Rightarrow$ 확률 수렴 $\Rightarrow$ 분포 수렴이지만, 역은 일반적으로 성립하지 않는다.

5. 표본 평균의 수렴 속도

표본 평균 $\bar{X}_n$ 의 분산은 $\text{Var}(\bar{X}_n) = \sigma^2/n$ 이므로, 표준 편차는 $\sigma/\sqrt{n}$ 이다. 이는 추정의 정밀도가 $\sqrt{n}$ 에 비례하여 향상됨을 의미하며, 정밀도를 2배로 높이려면 4배의 표본이 필요하다.

6. 몬테카를로 추정에의 적용

기댓값 $\mathbb{E}[g(X)]$ 를 $N$ 개의 독립 표본으로 추정:

$\hat{I}_N = \frac{1}{N}\sum_{i=1}^{N}g(X_i) \xrightarrow{a.s.} \mathbb{E}[g(X)]$

대수의 법칙에 의해 몬테카를로 추정의 일관성(consistency)이 보장된다. 추정 오차의 표준 편차는 $\sigma_g/\sqrt{N}$ 이며, 이는 피적분 함수의 차원에 무관하므로 고차원 적분에서 몬테카를로 방법이 유리하다.

7. 로봇 공학에서의 대수의 법칙

센서 평균화: 동일 센서의 반복 측정을 평균하면 잡음이 $1/\sqrt{n}$ 으로 감소한다. 이는 센서 잡음이 i.i.d.라는 가정하에 대수의 법칙에 의해 보장된다.

입자 필터의 일관성: 입자 수 $N$ 이 증가하면 입자 기반 분포 근사가 참 분포에 수렴한다.

경험적 빈도의 수렴: 로봇 학습에서 성공/실패의 경험적 빈도가 참 확률에 수렴함이 대수의 법칙에 의해 보장된다.

온라인 학습의 수렴: 확률적 경사 하강법에서 그래디언트 추정의 일관성이 대수의 법칙에 기반한다.

8. 참고 문헌

Papoulis, A., & Pillai, S. U. (2002). Probability, Random Variables, and Stochastic Processes (4th ed.). McGraw-Hill.
Grimmett, G. R., & Stirzaker, D. R. (2001). Probability and Random Processes (3rd ed.). Oxford University Press.
Ross, S. M. (2014). A First Course in Probability (9th ed.). Pearson.
Billingsley, P. (1995). Probability and Measure (3rd ed.). Wiley.

version: 1.0