8.22 감마 분포와 베타 분포

1. 감마 분포(Gamma Distribution)

감마 분포는 형상 매개변수(shape parameter) $k > 0$ 과 비율 매개변수(rate parameter) $\lambda > 0$ (또는 스케일 매개변수 $\theta = 1/\lambda$ )로 매개변수화되는 연속 확률 분포이다.

$f_X(x) = \frac{\lambda^k}{\Gamma(k)}x^{k-1}e^{-\lambda x}, \quad x > 0$

$X \sim \text{Gamma}(k, \lambda)$ 로 표기한다. $\Gamma(k) = \int_0^\infty t^{k-1}e^{-t}dt$ 는 감마 함수이다.

$\mathbb{E}[X] = \frac{k}{\lambda}, \quad \text{Var}(X) = \frac{k}{\lambda^2}$

독립인 감마 확률 변수의 합: $X_i \sim \text{Gamma}(k_i, \lambda)$ 가 독립이면 $\sum X_i \sim \text{Gamma}(\sum k_i, \lambda)$ .

분산의 사전 분포: 베이즈 추론에서 가우시안 분포의 정밀도(precision, 분산의 역수) $\tau = 1/\sigma^2$ 의 사전 분포로 감마 분포가 사용된다. 가우시안 가능도와 감마 사전이 켤레 관계이다.

대기 시간 모델: $k$ 개의 독립 지수 대기 시간의 합이 감마 분포를 따른다.

$X \sim \text{Gamma}(k, \lambda)$ 이면 $Y = 1/X \sim \text{InvGamma}(k, \lambda)$ 이다. 가우시안 분포의 분산 $\sigma^2$ 의 켤레 사전으로 사용된다.

$f_Y(y) = \frac{\lambda^k}{\Gamma(k)}y^{-k-1}e^{-\lambda/y}, \quad y > 0$

베타 분포는 구간 $[0, 1]$ 에서 정의되는 유연한 연속 분포로, 형상 매개변수 $\alpha > 0$ , $\beta > 0$ 로 매개변수화된다.

$f_X(x) = \frac{x^{\alpha-1}(1-x)^{\beta-1}}{B(\alpha, \beta)}, \quad 0 \leq x \leq 1$

$B(\alpha, \beta) = \Gamma(\alpha)\Gamma(\beta)/\Gamma(\alpha+\beta)$ 는 베타 함수이다. $X \sim \text{Beta}(\alpha, \beta)$ 로 표기한다.

$\mathbb{E}[X] = \frac{\alpha}{\alpha + \beta}, \quad \text{Var}(X) = \frac{\alpha\beta}{(\alpha + \beta)^2(\alpha + \beta + 1)}$

$\alpha$ 와 $\beta$ 의 값에 따라 다양한 형태를 갖는다.

$\alpha = \beta = 1$ : 균일 분포 $U(0, 1)$
$\alpha > 1, \beta > 1$ : 종형(bell-shaped), 모드 $(\alpha-1)/(\alpha+\beta-2)$ 에서 최대
$\alpha < 1, \beta < 1$ : U자형, 양 끝점에서 밀도 증가
$\alpha = 1, \beta > 1$ 또는 $\alpha > 1, \beta = 1$ : 단조 감소 또는 단조 증가

베르누이/이항 가능도에 대해 베타 분포가 켤레 사전이다.

$\text{사전}: p \sim \text{Beta}(\alpha, \beta)$

$\text{가능도}: k \vert p \sim \text{Bin}(n, p)$

$\text{사후}: p \vert k \sim \text{Beta}(\alpha + k, \beta + n - k)$

$\alpha$ 를 “사전 성공 수”, $\beta$ 를 “사전 실패 수“로 해석하면, 사후 분포는 사전의 가상 관측과 실제 관측을 결합한 결과이다.

성공 확률의 추정: 로봇의 파지 성공률, 센서의 감지 확률 등 $[0, 1]$ 범위의 확률 파라미터에 대한 불확실성을 베타 분포로 모델링한다. 관측이 축적됨에 따라 베타 분포의 매개변수가 갱신되어 불확실성이 줄어든다.

톰슨 샘플링(Thompson Sampling): 다중 행동 선택 문제(multi-armed bandit)에서 각 행동의 성공 확률에 대해 베타 분포를 유지하고, 분포에서 샘플링하여 행동을 선택하는 방법이다.

베타 분포의 다변량 확장이다. $K$ -범주 확률 벡터 $\boldsymbol{\pi} = (\pi_1, \ldots, \pi_K)$ ( $\sum \pi_k = 1$ , $\pi_k \geq 0$ )의 분포이다.

$f(\boldsymbol{\pi}) = \frac{\Gamma(\alpha_0)}{\prod_k\Gamma(\alpha_k)}\prod_{k=1}^{K}\pi_k^{\alpha_k - 1}$

$\alpha_0 = \sum_k \alpha_k$ 이다. 다항 분포의 켤레 사전으로 사용된다.

Papoulis, A., & Pillai, S. U. (2002). Probability, Random Variables, and Stochastic Processes (4th ed.). McGraw-Hill.
Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press.
Ross, S. M. (2014). A First Course in Probability (9th ed.). Pearson.

version: 1.0