8.39 유효 추정량과 크라메르-라오 하한

1. 유효 추정량(Efficient Estimator)의 정의

불편 추정량 $\hat{\theta}$ 의 분산이 크라메르-라오 하한(Cramér-Rao Lower Bound, CRLB)에 도달하면, $\hat{\theta}$ 를 유효(efficient) 추정량이라 한다.

$\text{Var}(\hat{\theta}) = \text{CRLB} = \frac{1}{I(\theta)}$

유효 추정량은 모든 불편 추정량 중 최소 분산을 달성하는 최적 추정량이다.

2. 피셔 정보(Fisher Information)

2.1 차원 피셔 정보

스코어 함수(score function) $\frac{\partial\ln p(\mathbf{z};\theta)}{\partial\theta}$ 의 분산이 피셔 정보이다.

$I(\theta) = \mathbb{E}\left[\left(\frac{\partial\ln p(\mathbf{z};\theta)}{\partial\theta}\right)^2\right] = -\mathbb{E}\left[\frac{\partial^2\ln p(\mathbf{z};\theta)}{\partial\theta^2}\right]$

두 번째 등식은 정규성 조건(regularity condition)하에서 성립한다. 피셔 정보는 데이터가 모수에 대해 제공하는 “정보의 양“을 정량화한다.

2.2 독립 관측의 피셔 정보

$n$ 개의 독립 동일 분포 관측이 있으면 피셔 정보가 가산된다.

$I_n(\theta) = nI_1(\theta)$

따라서 CRLB는 $1/(nI_1(\theta))$ 로 표본 수에 반비례하여 감소한다.

3. 크라메르-라오 부등식의 유도

3.1 조건

가능도 $p(\mathbf{z}; \theta)$ 가 $\theta$ 에 대해 미분 가능하고, 적분과 미분의 교환이 허용되는 정규성 조건을 만족한다고 가정한다.

3.2 스칼라 경우의 CRLB

불편 추정량 $\hat{\theta}$ ( $\mathbb{E}[\hat{\theta}] = \theta$ )에 대해:

$\text{Var}(\hat{\theta}) \geq \frac{1}{I(\theta)}$

증명 개요: 코시-슈바르츠 부등식

$\text{Cov}^2(\hat{\theta}, U)^2 \leq \text{Var}(\hat{\theta})\text{Var}(U)$

여기서 $U = \frac{\partial\ln p}{\partial\theta}$ 는 스코어 함수이다. $\text{Cov}(\hat{\theta}, U) = 1$ , $\text{Var}(U) = I(\theta)$ 를 이용하면 부등식이 얻어진다.

3.3 다변량 CRLB

모수 벡터 $\boldsymbol{\theta} \in \mathbb{R}^p$ 에 대해:

$\text{Cov}(\hat{\boldsymbol{\theta}}) \succeq \mathbf{I}(\boldsymbol{\theta})^{-1}$

피셔 정보 행렬(Fisher Information Matrix, FIM):

$[\mathbf{I}(\boldsymbol{\theta})]_{ij} = -\mathbb{E}\left[\frac{\partial^2\ln p(\mathbf{z};\boldsymbol{\theta})}{\partial\theta_i\partial\theta_j}\right]$

$\mathbf{A} \succeq \mathbf{B}$ 는 $\mathbf{A} - \mathbf{B}$ 가 양의 반정치임을 의미한다.

4. 유효 추정량이 존재하는 경우

가능도 함수가 다음의 형태로 인수분해되면 유효 추정량이 존재한다.

$\frac{\partial\ln p(\mathbf{z};\theta)}{\partial\theta} = I(\theta)(\hat{\theta}(\mathbf{z}) - \theta)$

이 조건이 만족되면 $\hat{\theta}(\mathbf{z})$ 가 $\theta$ 의 유효 추정량이다.

예: $X_i \sim \mathcal{N}(\mu, \sigma^2)$ ( $\sigma^2$ 알려짐)일 때, 표본 평균 $\bar{X}$ 는 $\mu$ 의 유효 추정량이다.

$I(\mu) = \frac{n}{\sigma^2}, \quad \text{Var}(\bar{X}) = \frac{\sigma^2}{n}$

$\text{Var}(\bar{X}) = 1/I(\mu)$ 이므로 CRLB에 도달한다.

5. 점근적 효율성

점근적으로 효율적(asymptotically efficient) 추정량이란, $n \to \infty$ 에서 CRLB에 도달하는 추정량이다.

$\lim_{n \to \infty}\frac{\text{Var}(\hat{\theta}_n)}{1/I_n(\theta)} = 1$

최대 가능도 추정량(MLE)은 정규성 조건하에서 점근적으로 효율적이다.

6. 로봇 공학에서의 CRLB 응용

6.1 최적 실험 설계

측정 자세(calibration pose)나 센서 배치를 결정할 때, FIM의 행렬식을 최대화(D-최적성)하거나 최대 고유값을 최소화(E-최적성)하여 CRLB를 최소화한다.

$\max_{\text{실험 조건}} \det(\mathbf{I}(\boldsymbol{\theta}))$

D-최적 설계는 불확실성 타원체의 체적을 최소화한다.

6.2 위치 추정의 정밀도 한계

센서 네트워크에서의 위치 추정 정밀도의 하한이 CRLB로 주어진다. GPS 신호의 기하학적 배치에 의한 정밀도 저하 인자(Geometric Dilution of Precision, GDOP)가 CRLB에 기반한 개념이다.

6.3 파라미터 식별성

FIM이 특이(singular)이면 해당 모수가 식별 불가능하다. FIM의 영공간은 식별 불가능 방향을 나타내며, 로봇 캘리브레이션에서 식별 가능 파라미터의 결정에 사용된다.

6.4 추정기 성능의 평가

칼만 필터나 SLAM 추정기의 실제 오차 분산을 CRLB와 비교하여 추정기의 효율성을 평가한다. 실제 분산이 CRLB에 가까우면 추정기가 최적에 근접한 것이다.

7. 참고 문헌

Kay, S. M. (1993). Fundamentals of Statistical Signal Processing: Estimation Theory. Prentice Hall.
Lehmann, E. L., & Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer.
Van Trees, H. L. (2001). Detection, Estimation, and Modulation Theory, Part I (2nd ed.). Wiley.
Bar-Shalom, Y., Li, X. R., & Kirubarajan, T. (2001). Estimation with Applications to Tracking and Navigation. Wiley.

version: 1.0