8.33 적률 생성 함수와 특성 함수
1. 적률 생성 함수의 정의
확률 변수 X의 적률 생성 함수(Moment Generating Function, MGF)는 다음과 같이 정의된다.
M_X(t) = \mathbb{E}[e^{tX}] = \int_{-\infty}^{\infty}e^{tx}f_X(x) \, dx
MGF가 원점의 어떤 근방 \lvert t \rvert < h (h > 0)에서 유한이면, 모든 차수의 적률이 존재하며 t = 0에서의 미분으로 구해진다.
\mathbb{E}[X^n] = M_X^{(n)}(0) = \frac{d^n M_X}{dt^n}\bigg\vert_{t=0}
2. MGF의 주요 성질
2.1 유일성
두 확률 변수의 MGF가 원점의 근방에서 동일하면, 두 분포가 동일하다. 따라서 MGF는 분포를 유일하게 특성화한다.
2.2 독립 확률 변수의 합
X와 Y가 독립이면:
M_{X+Y}(t) = M_X(t)M_Y(t)
이 곱의 성질에 의해 독립 확률 변수 합의 분포를 쉽게 구할 수 있다.
2.3 주요 분포의 MGF
| 분포 | MGF M_X(t) |
|---|---|
| 정규 \mathcal{N}(\mu, \sigma^2) | \exp(\mu t + \sigma^2 t^2/2) |
| 지수 \text{Exp}(\lambda) | \lambda/(\lambda - t), t < \lambda |
| 포아송 \text{Pois}(\lambda) | \exp(\lambda(e^t - 1)) |
| 이항 \text{Bin}(n, p) | (pe^t + 1 - p)^n |
| 감마 \text{Gamma}(k, \lambda) | (\lambda/(\lambda - t))^k, t < \lambda |
3. 특성 함수의 정의
특성 함수(Characteristic Function, CF)는 MGF에서 t를 it (i = \sqrt{-1})로 치환한 것이다.
\varphi_X(t) = \mathbb{E}[e^{itX}] = \int_{-\infty}^{\infty}e^{itx}f_X(x) \, dx
특성 함수는 확률 밀도 함수의 푸리에 변환(Fourier transform)이다. MGF와 달리 모든 확률 분포에 대해 항상 존재한다.
4. 특성 함수의 핵심 성질
4.1 항상 존재
\lvert e^{itx} \rvert = 1이므로, 모든 확률 변수에 대해 \lvert\varphi_X(t)\rvert \leq 1이고 적분이 항상 수렴한다. 코시 분포와 같이 MGF가 존재하지 않는 분포에서도 특성 함수는 존재한다.
4.2 유일성과 역변환
특성 함수가 분포를 유일하게 결정한다. 역변환:
f_X(x) = \frac{1}{2\pi}\int_{-\infty}^{\infty}e^{-itx}\varphi_X(t) \, dt
4.3 적률의 계산
\mathbb{E}[X^n] = \frac{1}{i^n}\varphi_X^{(n)}(0)
4.4 독립 합의 특성 함수
X \perp Y이면: \varphi_{X+Y}(t) = \varphi_X(t)\varphi_Y(t)
4.5 연속성 정리(Lévy’s Continuity Theorem)
\varphi_{X_n}(t) \to \varphi_X(t) (모든 t에서)이면 X_n \xrightarrow{d} X이다. 이 정리는 중심극한정리의 증명에 핵심적으로 사용된다.
5. 큐뮬런트(Cumulant)
큐뮬런트 생성 함수(cumulant generating function)는 MGF의 자연 로그이다.
K_X(t) = \ln M_X(t) = \sum_{n=1}^{\infty}\kappa_n\frac{t^n}{n!}
\kappa_n을 n차 큐뮬런트라 하며: \kappa_1 = \mu (평균), \kappa_2 = \sigma^2 (분산), \kappa_3 = \mu_3 (3차 중심 적률).
독립 확률 변수의 합의 큐뮬런트는 개별 큐뮬런트의 합이다: \kappa_n(X + Y) = \kappa_n(X) + \kappa_n(Y) (X \perp Y).
가우시안 분포는 \kappa_1 = \mu, \kappa_2 = \sigma^2이고 \kappa_n = 0 (n \geq 3)인 유일한 분포이다. 이는 가우시안이 1차와 2차 통계량으로 완전히 결정됨을 의미한다.
6. 로봇 공학에서의 활용
불확실성 전파의 분석적 방법: 선형 시스템에서 독립 잡음원의 합의 분포를 MGF의 곱으로 분석한다.
분포 수렴의 이론적 보장: 중심극한정리에 의한 가우시안 근사의 정당성이 특성 함수의 수렴에 기반한다.
비가우시안 분포의 특성화: 큐뮬런트를 통해 분포의 왜도와 첨도를 체계적으로 기술하고, 가우시안으로부터의 편차를 정량화한다.
7. 참고 문헌
- Papoulis, A., & Pillai, S. U. (2002). Probability, Random Variables, and Stochastic Processes (4th ed.). McGraw-Hill.
- Grimmett, G. R., & Stirzaker, D. R. (2001). Probability and Random Processes (3rd ed.). Oxford University Press.
- Billingsley, P. (1995). Probability and Measure (3rd ed.). Wiley.
version: 1.0