8.38 불편 추정량과 일치 추정량

1. 불편 추정량(Unbiased Estimator)

1.1 정의

모수 $\theta$ 의 추정량 $\hat{\theta}$ 가 불편(unbiased)이란, 모든 가능한 $\theta$ 값에 대해 기댓값이 참값과 일치하는 것이다.

$\mathbb{E}[\hat{\theta}] = \theta, \quad \forall \theta \in \Theta$

편향(bias)은 $b(\hat{\theta}) = \mathbb{E}[\hat{\theta}] - \theta$ 로 정의되며, 불편 추정량은 $b(\hat{\theta}) = 0$ 을 만족한다.

1.2 대표적 불편 추정량

표본 평균: $\bar{X}_n = \frac{1}{n}\sum_{i=1}^{n}X_i$ 는 $\mu$ 의 불편 추정량이다.

$\mathbb{E}[\bar{X}_n] = \frac{1}{n}\sum_{i=1}^{n}\mathbb{E}[X_i] = \mu$

표본 분산(보정된): $S^2 = \frac{1}{n-1}\sum_{i=1}^{n}(X_i - \bar{X})^2$ 은 $\sigma^2$ 의 불편 추정량이다.

$n$ 이 아닌 $n - 1$ 로 나누는 것을 베셀 보정(Bessel’s correction)이라 하며, 이는 $\bar{X}$ 가 참 평균 $\mu$ 대신 표본으로부터 추정되어 자유도가 1 감소하기 때문이다.

1.3 불편성의 한계

불편성은 절대적 장점이 아니다. 일부 경우 편향 추정량이 MSE 측면에서 불편 추정량보다 우수할 수 있다(편향-분산 상충).

$\text{MSE}(\hat{\theta}) = \text{Var}(\hat{\theta}) + b(\hat{\theta})^2$

편향을 허용하여 분산을 크게 줄이면 MSE를 감소시킬 수 있다. 능선 회귀(ridge regression), 정규화 추정 등이 이 원리를 활용한다.

2. 일치 추정량(Consistent Estimator)

2.1 정의

표본 수 $n$ 에 의존하는 추정량 $\hat{\theta}_n$ 이 일치(consistent)란, $n \to \infty$ 에서 참 모수 $\theta$ 로 확률 수렴하는 것이다.

$\hat{\theta}_n \xrightarrow{P} \theta, \quad \text{즉,} \quad \forall\epsilon > 0: \lim_{n \to \infty}P(\lvert\hat{\theta}_n - \theta\rvert > \epsilon) = 0$

강일치(strongly consistent): $\hat{\theta}_n \xrightarrow{a.s.} \theta$ (거의 확실한 수렴)

2.2 일치성의 충분 조건

정리: $\hat{\theta}_n$ 이 점근적으로 비편향이고( $\lim_{n \to \infty}\mathbb{E}[\hat{\theta}_n] = \theta$ ) 분산이 영에 수렴하면( $\lim_{n \to \infty}\text{Var}(\hat{\theta}_n) = 0$ ), $\hat{\theta}_n$ 은 일치 추정량이다.

증명: 체비셰프 부등식에 의해

$P(\lvert\hat{\theta}_n - \theta\rvert > \epsilon) \leq \frac{\text{MSE}(\hat{\theta}_n)}{\epsilon^2} \to 0$

2.3 대표적 일치 추정량

표본 평균: $\bar{X}_n$ 은 $\mu$ 의 일치 추정량이다. 대수의 법칙에 의해 $\bar{X}_n \xrightarrow{a.s.} \mu$ .

표본 분산: $S^2$ 는 $\sigma^2$ 의 일치 추정량이다.

경험적 분포 함수: $\hat{F}_n(x) = \frac{1}{n}\sum\mathbb{1}(X_i \leq x)$ 는 모든 $x$ 에서 $F(x)$ 에 일치한다(글리벤코-칸텔리 정리).

3. 불편성과 일치성의 관계

불편성은 주어진 표본 크기에서의 성질이고, 일치성은 점근적 성질이다.
불편이지만 일치가 아닌 추정량이 존재한다(예: $\hat{\theta}_n = X_1$ 은 $\mu$ 의 불편 추정량이지만 $n$ 에 무관하므로 일치가 아니다).
편향이지만 일치인 추정량이 존재한다(예: $\hat{\sigma}^2 = \frac{1}{n}\sum(X_i - \bar{X})^2$ 은 편향이지만 일치이다).

두 성질은 독립적이며, 양자를 모두 만족하는 추정량이 이상적이다.

4. 점근적 성질

4.1 점근적 정규성(Asymptotic Normality)

대부분의 일치 추정량은 점근적으로 정규 분포를 따른다.

$\sqrt{n}(\hat{\theta}_n - \theta) \xrightarrow{d} \mathcal{N}(0, \Sigma)$

점근적 분산 $\Sigma$ 는 추정량의 효율성을 비교하는 척도이다. 최대 가능도 추정량(MLE)은 점근적으로 정규이며 점근적 분산이 CRLB $I(\theta)^{-1}$ 에 도달하는 점근적으로 효율적인 추정량이다.

4.2 델타 방법(Delta Method)

점근적 정규성을 함수 변환에 전파하는 기법이다. $\sqrt{n}(\hat{\theta}_n - \theta) \xrightarrow{d} \mathcal{N}(0, \sigma^2)$ 이고 $g$ 가 미분 가능하면:

$\sqrt{n}(g(\hat{\theta}_n) - g(\theta)) \xrightarrow{d} \mathcal{N}(0, (g'(\theta))^2\sigma^2)$

이 결과는 로봇 공학에서 추정된 파라미터의 함수(예: 기구학 관계를 통해 도출되는 작업 공간 좌표)의 불확실성 계산에 사용된다.

5. 로봇 공학에서의 응용

센서 캘리브레이션의 일치성: 캘리브레이션 관측이 증가함에 따라 추정 파라미터가 참값에 수렴하는지 검증한다.

온라인 학습: 경사 하강법 등의 반복적 파라미터 갱신이 일치 추정량으로 해석된다.

표본 통계량의 신뢰 구간: 점근적 정규성에 기반하여 표본 평균의 신뢰 구간을 구성한다.

6. 참고 문헌

Kay, S. M. (1993). Fundamentals of Statistical Signal Processing: Estimation Theory. Prentice Hall.
Lehmann, E. L., & Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer.
Barfoot, T. D. (2017). State Estimation for Robotics. Cambridge University Press.
Casella, G., & Berger, R. L. (2002). Statistical Inference (2nd ed.). Duxbury.

version: 1.0