8.7 베이즈 정리의 유도와 해석

1. 베이즈 정리의 유도

조건부 확률의 정의 P(A \vert B) = P(A \cap B)/P(B)와 P(B \vert A) = P(A \cap B)/P(A)로부터 P(A \cap B)를 소거하면 베이즈 정리(Bayes’ theorem)를 얻는다.

P(A \vert B) = \frac{P(B \vert A)P(A)}{P(B)}

P(B) > 0이어야 하며, 전확률 정리에 의해 P(B) = \sum_i P(B \vert A_i)P(A_i) (\{A_i\}가 분할)로 계산된다.

분할 \{A_1, \ldots, A_n\}에 대한 베이즈 정리의 완전한 형태:

P(A_j \vert B) = \frac{P(B \vert A_j)P(A_j)}{\sum_{i=1}^{n}P(B \vert A_i)P(A_i)}

2. 각 항의 명칭과 역할

베이즈 정리는 사전 확률을 새로운 관측(증거)에 의해 사후 확률로 갱신하는 수학적 기제이다.

\text{사후} \propto \text{가능도} \times \text{사전}

3. 연속 확률 변수에 대한 베이즈 정리

확률 변수 X와 Z에 대해:

f_{X \vert Z}(x \vert z) = \frac{f_{Z \vert X}(z \vert x)f_X(x)}{f_Z(z)} = \frac{f_{Z \vert X}(z \vert x)f_X(x)}{\int f_{Z \vert X}(z \vert x')f_X(x') \, dx'}

여기서 f는 확률 밀도 함수이다. 분모의 적분이 정규화 상수이며, 이를 해석적으로 계산할 수 없는 경우가 많아 수치적 근사가 필요하다.

4. 베이즈 정리의 해석

4.1 인과적 해석

베이즈 정리는 원인에서 결과로의 확률(P(B \vert A), 가능도)을 결과에서 원인으로의 확률(P(A \vert B), 사후 확률)로 전환한다. 이러한 “역확률(inverse probability)“의 계산이 베이즈 정리의 본질이다.

로봇 공학에서:

• 원인: 로봇의 상태 \mathbf{x} (위치, 속도 등)
• 결과: 센서 관측 \mathbf{z}
• 가능도: p(\mathbf{z} \vert \mathbf{x}) (센서 모델, 알려짐)
• 사후: p(\mathbf{x} \vert \mathbf{z}) (관측으로부터의 상태 추정, 구하고자 하는 것)

4.2 정보 갱신의 해석

베이즈 정리는 새로운 정보(관측)를 기존 지식(사전 확률)에 체계적으로 통합하는 최적의 규칙이다. 관측이 가설을 지지하면(높은 가능도) 사후 확률이 증가하고, 반대이면 감소한다.

4.3 순차적 베이즈 갱신

관측이 순차적으로 도착하면, 이전 사후가 다음 갱신의 사전이 되는 재귀적 갱신이 가능하다.

p(\mathbf{x} \vert \mathbf{z}_1, \mathbf{z}_2) = \frac{p(\mathbf{z}_2 \vert \mathbf{x})p(\mathbf{x} \vert \mathbf{z}_1)}{p(\mathbf{z}_2 \vert \mathbf{z}_1)}

이 재귀 구조가 베이즈 필터의 핵심이며, 칼만 필터, 입자 필터 등의 이론적 기반이다.

5. 베이즈 정리와 로봇 상태 추정

5.1 베이즈 필터의 갱신 단계

센서 관측 \mathbf{z}_t가 도착하면 사후 분포를 갱신한다.

\underbrace{p(\mathbf{x}_t \vert \mathbf{z}_{1:t})}_{\text{사후}} = \eta \underbrace{p(\mathbf{z}_t \vert \mathbf{x}_t)}_{\text{가능도}} \underbrace{p(\mathbf{x}_t \vert \mathbf{z}_{1:t-1})}_{\text{사전(예측)}}

여기서 \eta = 1/p(\mathbf{z}_t \vert \mathbf{z}_{1:t-1})은 정규화 상수이다.

5.2 칼만 필터에서의 베이즈 정리

사전과 가능도가 모두 가우시안이면, 사후도 가우시안이다(가우시안의 켤레 성질). 칼만 필터의 갱신 단계는 베이즈 정리의 가우시안 특수화이다.

사전: p(\mathbf{x}) = \mathcal{N}(\hat{\mathbf{x}}^-, \mathbf{P}^-)
가능도: p(\mathbf{z} \vert \mathbf{x}) = \mathcal{N}(\mathbf{H}\mathbf{x}, \mathbf{R})
사후: p(\mathbf{x} \vert \mathbf{z}) = \mathcal{N}(\hat{\mathbf{x}}^+, \mathbf{P}^+)

칼만 이득 \mathbf{K}에 의해 사전과 가능도의 최적 결합이 달성된다.

6. 사전 확률의 선택

6.1 정보적 사전(Informative Prior)

이전 실험이나 도메인 지식에 기반하여 특정 분포를 사전으로 설정한다.

6.2 비정보적 사전(Non-informative Prior)

사전 지식이 없을 때 가능한 한 편향되지 않은 사전을 사용한다. 균일 분포, 제프리스(Jeffreys) 사전이 대표적이다.

6.3 켤레 사전(Conjugate Prior)

가능도와 결합하여 동일한 분포족의 사후를 산출하는 사전 분포이다. 가우시안 가능도에 가우시안 사전, 베르누이 가능도에 베타 사전 등이 켤레 관계이다. 켤레 사전은 사후의 해석적 계산을 가능하게 하여 계산 효율성을 확보한다.

7. 참고 문헌

• Bayes, T. (1763). “An Essay Towards Solving a Problem in the Doctrine of Chances.” Philosophical Transactions of the Royal Society of London, 53, 370–418.
• Thrun, S., Burgard, W., & Fox, D. (2005). Probabilistic Robotics. MIT Press.
• Barfoot, T. D. (2017). State Estimation for Robotics. Cambridge University Press.
• Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.
• Papoulis, A., & Pillai, S. U. (2002). Probability, Random Variables, and Stochastic Processes (4th ed.). McGraw-Hill.

version: 1.0