8.37 점 추정량의 성질과 평가 기준

1. 점 추정의 개념

점 추정(point estimation)은 관측 데이터 $\mathbf{z} = (z_1, \ldots, z_n)$ 로부터 미지의 모수(parameter) $\theta$ 의 단일 값을 추정하는 문제이다. 추정량(estimator) $\hat{\theta} = g(\mathbf{z})$ 는 데이터의 함수이며, 그 자체가 확률 변수이다. 추정량의 품질을 평가하기 위해 다음의 기준이 사용된다.

2. 비편향성(Unbiasedness)

추정량 $\hat{\theta}$ 가 비편향(unbiased)이란, 기댓값이 참 모수와 일치하는 것이다.

$\mathbb{E}[\hat{\theta}] = \theta$

편향(bias)은 $b(\hat{\theta}) = \mathbb{E}[\hat{\theta}] - \theta$ 이다. 편향이 영이면 비편향, 영이 아니면 편향(biased) 추정량이다.

예: 표본 평균 $\bar{X}_n = \frac{1}{n}\sum X_i$ 는 $\mu$ 의 비편향 추정량이다. 표본 분산 $S^2 = \frac{1}{n-1}\sum(X_i - \bar{X})^2$ 은 $\sigma^2$ 의 비편향 추정량이다( $n$ 이 아닌 $n - 1$ 로 나눔).

점근적 비편향(asymptotically unbiased): $\lim_{n \to \infty}\mathbb{E}[\hat{\theta}_n] = \theta$ .

3. 일관성(Consistency)

추정량이 일관적(consistent)이란, 표본 수가 증가함에 따라 참 모수에 확률 수렴하는 것이다.

$\hat{\theta}_n \xrightarrow{P} \theta \quad \text{as} \quad n \to \infty$

비편향이고 분산이 영에 수렴하면( $\text{Var}(\hat{\theta}_n) \to 0$ ) 일관적이다. 대수의 법칙에 의해 표본 평균은 일관적 추정량이다.

4. 효율성(Efficiency)

4.1 평균 제곱 오차(MSE)

$\text{MSE}(\hat{\theta}) = \mathbb{E}[(\hat{\theta} - \theta)^2] = \text{Var}(\hat{\theta}) + b(\hat{\theta})^2$

MSE는 분산과 편향의 제곱의 합으로 분해된다. 비편향 추정량에서 $\text{MSE} = \text{Var}(\hat{\theta})$ 이다.

4.2 크래머-라오 하한(Cramér-Rao Lower Bound, CRLB)

비편향 추정량의 분산에 대한 하한이다.

$\text{Var}(\hat{\theta}) \geq \frac{1}{I(\theta)}$

여기서 $I(\theta)$ 는 피셔 정보(Fisher information)이다.

$I(\theta) = -\mathbb{E}\left[\frac{\partial^2 \ln p(\mathbf{z}; \theta)}{\partial\theta^2}\right] = \mathbb{E}\left[\left(\frac{\partial \ln p(\mathbf{z}; \theta)}{\partial\theta}\right)^2\right]$

CRLB에 도달하는 비편향 추정량을 효율적(efficient) 추정량이라 한다. 최대 가능도 추정량(MLE)은 점근적으로 효율적이다.

4.3 다변량 CRLB

모수 벡터 $\boldsymbol{\theta} \in \mathbb{R}^p$ 에 대해:

$\text{Cov}(\hat{\boldsymbol{\theta}}) \succeq \mathbf{I}(\boldsymbol{\theta})^{-1}$

피셔 정보 행렬(Fisher Information Matrix, FIM):

$[\mathbf{I}(\boldsymbol{\theta})]_{ij} = -\mathbb{E}\left[\frac{\partial^2\ln p(\mathbf{z}; \boldsymbol{\theta})}{\partial\theta_i\partial\theta_j}\right]$

$\mathbf{A} \succeq \mathbf{B}$ 는 $\mathbf{A} - \mathbf{B}$ 가 양의 반정치임을 의미한다.

5. 충분성(Sufficiency)

통계량 $T(\mathbf{z})$ 가 $\theta$ 에 대해 충분(sufficient)이란, $T$ 가 주어지면 데이터의 조건부 분포가 $\theta$ 에 무관한 것이다.

$p(\mathbf{z} \vert T(\mathbf{z}); \theta) = p(\mathbf{z} \vert T(\mathbf{z}))$

충분 통계량은 $\theta$ 에 대한 데이터의 모든 정보를 보존한다. 인수분해 정리(factorization theorem)에 의해 $p(\mathbf{z}; \theta) = g(T(\mathbf{z}), \theta)h(\mathbf{z})$ 이면 $T$ 가 충분하다.

6. 로봇 공학에서의 추정량 평가

센서 캘리브레이션: 캘리브레이션 파라미터 추정량의 편향과 분산을 반복 실험으로 평가한다. CRLB에 의해 달성 가능한 최소 분산을 계산하여 추정 성능의 한계를 파악한다.

SLAM 추정의 일관성: SLAM 추정기가 일관적인지(공분산이 실제 오차를 올바르게 반영하는지)를 정규화된 추정 오차 제곱합(NEES)으로 평가한다.

실험 설계: FIM을 최대화하는 측정 자세(calibration pose)나 센서 배치를 결정하여 추정 정밀도를 향상시킨다.

7. 참고 문헌

Kay, S. M. (1993). Fundamentals of Statistical Signal Processing: Estimation Theory. Prentice Hall.
Lehmann, E. L., & Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer.
Barfoot, T. D. (2017). State Estimation for Robotics. Cambridge University Press.
Bar-Shalom, Y., Li, X. R., & Kirubarajan, T. (2001). Estimation with Applications to Tracking and Navigation. Wiley.

version: 1.0