8.13 이항 분포와 다항 분포

1. 이항 분포(Binomial Distribution)

1.1 정의와 유도

이항 분포는 성공 확률 $p$ 인 독립적 베르누이 시행을 $n$ 회 반복할 때, 성공 횟수 $X$ 의 분포이다.

$P(X = k) = \binom{n}{k}p^k(1-p)^{n-k}, \quad k = 0, 1, \ldots, n$

여기서 $\binom{n}{k} = \frac{n!}{k!(n-k)!}$ 은 이항 계수이다. $X \sim \text{Bin}(n, p)$ 로 표기한다.

1.2 기본 통계량

$\mathbb{E}[X] = np, \quad \text{Var}(X) = np(1-p)$

1.3 적률 생성 함수

$M_X(t) = \mathbb{E}[e^{tX}] = (pe^t + 1 - p)^n$

1.4 정규 근사

$n$ 이 충분히 크면 중심극한정리에 의해 이항 분포는 정규 분포로 근사된다.

$\frac{X - np}{\sqrt{np(1-p)}} \xrightarrow{d} \mathcal{N}(0, 1)$

통상 $np \geq 5$ 이고 $n(1-p) \geq 5$ 이면 근사가 양호하다.

1.5 로봇 공학에서의 응용

센서 신뢰도 평가: $n$ 개의 독립 센서 중 정상 작동하는 센서의 수가 이항 분포를 따른다.

통신 패킷 손실: $n$ 개 패킷 중 성공적으로 수신된 패킷의 수.

반복 실험의 성공률: $n$ 회 파지(grasp) 시도 중 성공 횟수.

2. 다항 분포(Multinomial Distribution)

2.1 정의

다항 분포는 이항 분포의 $K$ -범주 확장이다. 각 시행에서 $K$ 개의 가능한 결과 중 하나가 확률 $p_1, \ldots, p_K$ ( $\sum p_k = 1$ )로 발생하는 독립 시행을 $n$ 회 반복할 때, 각 범주의 발생 횟수 $\mathbf{X} = (X_1, \ldots, X_K)$ 의 결합 분포이다.

$P(X_1 = x_1, \ldots, X_K = x_K) = \frac{n!}{x_1! \cdots x_K!}p_1^{x_1} \cdots p_K^{x_K}$

제약: $\sum_{k=1}^{K} x_k = n$ , $x_k \geq 0$ .

2.2 기본 통계량

$\mathbb{E}[X_k] = np_k, \quad \text{Var}(X_k) = np_k(1-p_k)$

$\text{Cov}(X_i, X_j) = -np_ip_j, \quad i \neq j$

공분산이 음수인 것은 총 횟수가 $n$ 으로 고정되어 있어 한 범주의 증가가 다른 범주의 감소를 동반하기 때문이다.

2.3 주변 분포

$X_k$ 의 주변 분포는 이항 분포이다: $X_k \sim \text{Bin}(n, p_k)$ .

2.4 로봇 공학에서의 응용

다중 클래스 분류: 물체 인식에서 $n$ 개의 관측에 대해 각 클래스별 분류 결과의 빈도가 다항 분포를 따른다.

히스토그램 기반 분포 표현: 연속 분포를 이산 빈(bin)으로 히스토그램화할 때, 각 빈의 관측 수가 다항 분포를 따른다.

이산 상태 전이 카운트: 마르코프 체인에서 각 상태 전이의 관측 횟수가 다항 분포로 모델링된다.

3. 이항 분포와 다항 분포의 관계

이항 분포는 $K = 2$ 인 다항 분포의 특수한 경우이다. $X_1 = k$ 이면 $X_2 = n - k$ 이므로, 하나의 변수로 완전히 기술된다.

4. 베이즈 추론에서의 켤레 사전

4.1 이항 분포의 켤레 사전: 베타 분포

이항 가능도 $p(k \vert p) = \binom{n}{k}p^k(1-p)^{n-k}$ 에 대해 베타 사전 $p \sim \text{Beta}(\alpha, \beta)$ 을 사용하면, 사후 분포도 베타 분포이다.

$p \vert k \sim \text{Beta}(\alpha + k, \beta + n - k)$

4.2 다항 분포의 켤레 사전: 디리클레 분포

다항 가능도에 대해 디리클레(Dirichlet) 사전 $(p_1, \ldots, p_K) \sim \text{Dir}(\boldsymbol{\alpha})$ 를 사용하면, 사후도 디리클레 분포이다.

$(p_1, \ldots, p_K) \vert \mathbf{x} \sim \text{Dir}(\alpha_1 + x_1, \ldots, \alpha_K + x_K)$

이 켤레 관계는 로봇의 온라인 확률 갱신에서 효율적 베이즈 학습을 가능하게 한다.

5. 참고 문헌

Papoulis, A., & Pillai, S. U. (2002). Probability, Random Variables, and Stochastic Processes (4th ed.). McGraw-Hill.
Ross, S. M. (2014). A First Course in Probability (9th ed.). Pearson.
Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press.

version: 1.0