검증 지표와 분석 도구 - 소프트웨어 융합

추정 오차 공분산 (Estimation Error Covariance)

칼만 필터의 성능을 평가하기 위한 가장 기본적인 지표 중 하나는 추정 오차 공분산이다. 추정 오차는 필터에서 계산된 상태 추정치와 실제 상태 간의 차이로 정의된다. 이를 수식으로 표현하면 다음과 같다:

$\mathbf{e}_k = \mathbf{x}_k - \hat{\mathbf{x}}_k$

여기서,
- $\mathbf{x}_k$ 는 실제 상태 벡터,
- $\hat{\mathbf{x}}_k$ 는 추정된 상태 벡터,
- $\mathbf{e}_k$ 는 오차 벡터이다.

추정 오차 공분산은 다음과 같이 정의된다:

$\mathbf{P}_e = \mathbb{E}[\mathbf{e}_k \mathbf{e}_k^\top]$

이 공분산 행렬 $\mathbf{P}_e$ 는 상태 추정의 불확실성을 나타내며, 이 값이 작을수록 필터의 추정 성능이 좋음을 의미한다. 일반적으로 $\mathbf{P}_e$ 는 필터의 이론적 성능을 예측하기 위해 필터 설계 과정에서 계산되며, 실제 적용 과정에서도 이 값이 가능한 한 작도록 필터를 조정한다.

혁신 (Innovation) 및 혁신 공분산

칼만 필터에서 또 다른 중요한 분석 도구는 혁신 벡터(또는 잔차) $\mathbf{v}_k$ 와 혁신 공분산 행렬 $\mathbf{S}_k$ 이다. 혁신 벡터는 다음과 같이 정의된다:

$\mathbf{v}_k = \mathbf{z}_k - \mathbf{H}_k \hat{\mathbf{x}}_{k|k-1}$

여기서,
- $\mathbf{z}_k$ 는 관측된 측정치 벡터,
- $\mathbf{H}_k$ 는 측정 행렬,
- $\hat{\mathbf{x}}_{k|k-1}$ 는 시간 갱신 후의 상태 추정치이다.

혁신 벡터는 측정치와 예상 측정치 간의 차이를 나타내며, 이 값이 작을수록 필터의 상태 추정이 정확함을 의미한다.

혁신 공분산은 다음과 같이 정의된다:

$\mathbf{S}_k = \mathbf{H}_k \mathbf{P}_{k|k-1} \mathbf{H}_k^\top + \mathbf{R}_k$

여기서,
- $\mathbf{P}_{k|k-1}$ 는 시간 갱신 후의 추정 오차 공분산,
- $\mathbf{R}_k$ 는 측정 잡음 공분산이다.

혁신 공분산 $\mathbf{S}_k$ 는 혁신 벡터의 불확실성을 나타내며, 이 값이 실제 데이터에서 측정된 혁신 벡터와 잘 일치해야 필터가 올바르게 작동하고 있음을 시사한다.

평균 제곱 오차 (Mean Squared Error, MSE)

평균 제곱 오차는 추정치의 정확성을 평가하는 일반적인 방법이다. 필터가 여러 시간 단계에 걸쳐 생성한 추정치의 오차의 제곱을 평균 내어 계산한다. 수식으로는 다음과 같이 표현된다:

$\text{MSE} = \frac{1}{N} \sum_{k=1}^{N} \|\mathbf{x}_k - \hat{\mathbf{x}}_k\|^2$

여기서,
- $N$ 은 총 시간 단계 수,
- $\|\cdot\|$ 는 벡터의 유클리드 노름이다.

MSE는 오차 벡터의 제곱 합의 평균으로, 이 값이 작을수록 필터의 성능이 우수함을 의미한다. MSE는 단일 지표로 필터의 성능을 쉽게 비교할 수 있는 장점이 있다.

정규화 혁신 제곱 (Normalized Innovation Squared, NIS)

NIS는 혁신 벡터의 크기가 정상적으로 분포하는지 여부를 판단하는 데 사용되는 지표이다. 이는 다음과 같이 계산된다:

$\text{NIS} = \mathbf{v}_k^\top \mathbf{S}_k^{-1} \mathbf{v}_k$

NIS는 분포 검정(statistical test)의 형태로 사용될 수 있으며, 일반적으로 $\chi^2$ 분포를 따르는지 여부를 통해 필터의 적합성을 평가한다. 기대값에서 벗어난 NIS 값은 필터가 잘못된 가정을 하고 있거나 모델이 실제 시스템을 잘 나타내지 못하는 신호일 수 있다.

실시간 트래킹 오차 (Real-Time Tracking Error)

실제 시스템에서 칼만 필터의 성능을 평가할 때, 필터가 실시간으로 생성하는 상태 추정치와 실제 상태 간의 오차를 모니터링하는 것이 중요하다. 이 오차는 다음과 같이 계산된다:

$\text{Tracking Error}_k = \|\mathbf{x}_k - \hat{\mathbf{x}}_k\|$

Tracking Error는 필터의 상태 추정이 시간에 따라 어떻게 변화하는지 실시간으로 평가할 수 있는 도구이다. 특히, 시스템의 동적 환경에서 필터의 적응성을 평가하는 데 유용하다.

칼만 필터의 성능을 평가하고 검증하기 위해서는 다양한 지표와 분석 도구를 활용하여 추정 결과의 정확도와 신뢰성을 판단해야 한다. 이 섹션에서는 칼만 필터의 성능을 평가하는 데 사용되는 주요 지표와 이를 분석하기 위한 도구들에 대해 상세히 설명하겠다.

추정 오차(Eestimation Error)

칼만 필터의 핵심 목표는 시스템의 상태를 가능한 정확하게 추정하는 것이다. 따라서 추정 오차는 성능 평가의 중요한 기준이 된다.

추정 오차 정의: 추정 오차는 실제 상태 $\mathbf{x}_t$ 와 필터가 추정한 상태 $\hat{\mathbf{x}}_t$ 사이의 차이로 정의된다.

$\mathbf{e}_t = \mathbf{x}_t - \hat{\mathbf{x}}_t$

여기서, $\mathbf{e}_t$ 는 시간 $t$ 에서의 추정 오차를 나타낸다.

평균 추정 오차(Mean Estimation Error):

$\mathbf{\bar{e}} = \frac{1}{N} \sum_{t=1}^{N} \mathbf{e}_t$

필터의 오차가 평균적으로 0에 가까운지를 확인함으로써, 필터가 바이어스 없는 추정을 하고 있는지 판단할 수 있다.

추정 오차 공분산(Eestimation Error Covariance)

추정 오차 공분산 정의: 추정 오차의 공분산 행렬 $\mathbf{P}_t$ 는 다음과 같이 정의된다.

$\mathbf{P}_t = \mathbb{E}[\mathbf{e}_t \mathbf{e}_t^T]$

이 행렬은 추정 오차의 분산과 상태 변수 간의 공분산을 나타낸다.

필터 성능 평가: $\mathbf{P}_t$ 가 작을수록 필터가 상태를 정확하게 추정하고 있음을 의미한다. 특히, $\mathbf{P}_t$ 는 필터의 불확실성을 나타내는 지표로도 사용되며, 시스템의 불확실성에 대해 필터가 어떻게 반응하는지를 평가할 수 있다.

혁신(Innovation) 분석

혁신(Innovation): 혁신 $\mathbf{v}_t$ 는 예측된 관측치와 실제 관측치 간의 차이로 정의된다.

$\mathbf{v}_t = \mathbf{z}_t - \mathbf{H}_t \hat{\mathbf{x}}_{t|t-1}$

여기서, $\mathbf{z}_t$ 는 시간 $t$ 에서의 실제 관측치, $\mathbf{H}_t$ 는 관측 행렬, $\hat{\mathbf{x}}_{t|t-1}$ 는 시간 $t-1$ 에서 예측한 상태이다.

혁신 공분산(Innovation Covariance): 혁신의 공분산 $\mathbf{S}_t$ 는 다음과 같이 정의된다.

$\mathbf{S}_t = \mathbf{H}_t \mathbf{P}_{t|t-1} \mathbf{H}_t^T + \mathbf{R}_t$

여기서, $\mathbf{P}_{t|t-1}$ 는 예측된 오차 공분산, $\mathbf{R}_t$ 는 측정 노이즈 공분산이다.

혁신 분석의 중요성: 혁신이 가우시안 분포를 따르며, 평균이 0에 가까워야 필터가 잘 동작하고 있음을 의미한다. 만약 혁신의 평균이 0에서 크게 벗어나거나, 혁신 공분산이 예상보다 크거나 작다면, 이는 모델의 오류, 초기 조건의 부정확성, 혹은 노이즈 모델의 부정확성 등을 시사할 수 있다.

로그 가능도 함수(Log-Likelihood Function)

로그 가능도 함수는 주어진 관측치 시퀀스에 대해 모델의 성능을 평가할 수 있는 또 다른 지표이다.

로그 가능도 정의: 칼만 필터에서 로그 가능도 함수 $L(\mathbf{z}_{1:T})$ 는 다음과 같이 정의된다.

$L(\mathbf{z}_{1:T}) = -\frac{1}{2} \sum_{t=1}^{T} \left(\ln(\det(\mathbf{S}_t)) + \mathbf{v}_t^T \mathbf{S}_t^{-1} \mathbf{v}_t \right)$

여기서 $\mathbf{z}_{1:T}$ 는 전체 관측치 시퀀스, $\det(\mathbf{S}_t)$ 는 혁신 공분산의 행렬식을 의미한다.

로그 가능도의 역할: 로그 가능도는 필터가 주어진 관측치에 얼마나 잘 맞는지를 평가한다. 이 값이 높을수록 필터의 예측이 관측과 잘 일치함을 의미한다. 이는 주로 모델 파라미터 최적화 및 모델 검증에 사용된다.

누적 혁신 제곱합(Cumulative Sum of Squared Innovations, CSSI)

CSSI 정의: 누적 혁신 제곱합(CSSI)은 혁신의 제곱을 누적한 값으로, 다음과 같이 정의된다.

$\text{CSSI}(t) = \sum_{i=1}^{t} \mathbf{v}_i^T \mathbf{v}_i$

CSSI 분석: 이 값이 시간에 따라 급격히 증가하는 경우, 이는 필터가 모델링 오류나 변화하는 시스템 동역학에 대해 적절하게 대응하지 못하고 있음을 나타낼 수 있다. 따라서 CSSI는 필터의 안정성과 성능을 장기적으로 평가하는 데 유용하다.

잔차 분석(Residual Analysis)

잔차 분석은 필터의 성능을 평가하는 또 다른 방법으로, 주로 모델링 오류를 탐지하고 필터의 조정이 필요한 경우를 파악하는 데 사용된다.

잔차 정의: 잔차는 필터의 혁신과 비교하여 추가적인 분석을 통해 모델과 관측 간의 차이를 분석하는 도구이다.
잔차의 자기상관(Autocorrelation of Residuals): 이상적인 경우, 잔차는 시간에 대해 상관성이 없어야 한다. 즉, 잔차의 자기상관 함수(ACF)가 0에 가까워야 하며, 이는 필터가 모델에 대한 정확한 추정을 하고 있음을 시사한다.
잔차의 정규성 검정(Test for Normality): 잔차가 정규 분포를 따르는지 검정함으로써, 필터의 예측이 적절한지 평가할 수 있다. 비정규성은 모델링 오류를 나타낼 수 있다.

다양한 성능 지표의 종합 분석

지금까지 소개한 지표들은 칼만 필터의 성능을 다각도로 평가하는 데 중요한 역할을 한다. 각 지표가 필터의 성능을 평가하는 특정 측면을 나타내므로, 이들을 종합적으로 분석함으로써 필터의 전체적인 성능을 더욱 정확하게 판단할 수 있다. 이를 통해 필터의 튜닝, 모델의 개선, 혹은 보다 복잡한 필터링 방법으로의 전환 여부를 결정할 수 있다.

데이터 시각화 도구

지표들의 결과를 직관적으로 이해하기 위해서는 시각화가 필수적이다. 대표적인 시각화 방법에는 다음이 포함된다.

시간에 따른 추정 오차와 오차 공분산의 변화 그래프
혁신과 잔차의 시간적 변화 그래프
혁신 공분산의 행렬식 변화 그래프
로그 가능도 함수의 변화 그래프
잔차의 자기상관 함수 그래프

이러한 그래프들은 필터가 시간에 따라 어떻게 동작하는지를 시각적으로 보여주며, 잠재적인 문제점을 빠르게 파악할 수 있도록 도와준다.

로그 가능도 함수 (Log-Likelihood Function)

로그 가능도 함수는 칼만 필터가 주어진 데이터에 얼마나 잘 맞는지를 측정하는 지표로 사용된다. 가능도 함수는 관측된 데이터가 주어진 모델 및 필터 설정에서 발생할 확률을 나타내며, 그 로그 값을 통해 최적화를 용이하게 한다. 로그 가능도는 다음과 같이 정의된다:

$\log L(\theta) = -\frac{1}{2} \sum_{k=1}^{N} \left( \log \det(\mathbf{S}_k) + \mathbf{v}_k^\top \mathbf{S}_k^{-1} \mathbf{v}_k + m \log(2\pi) \right)$

여기서,
- $\theta$ 는 필터 및 모델 파라미터,
- $m$ 은 관측치 벡터 $\mathbf{z}_k$ 의 차원이다.

로그 가능도 함수의 값을 최대화하는 파라미터 $\theta$ 를 찾는 것은 필터의 최적화 문제와 직결된다. 높은 로그 가능도 값은 필터가 주어진 데이터에 잘 맞는다는 것을 의미하며, 이를 통해 필터의 적합성을 평가할 수 있다.

잔차 분석 (Residual Analysis)

잔차 분석은 필터의 예측 성능을 평가하기 위한 또 다른 방법이다. 잔차(또는 혁신) 벡터 $\mathbf{v}_k$ 의 통계적 특성을 분석함으로써 필터가 제대로 작동하고 있는지 확인할 수 있다. 이상적인 경우, 잔차 벡터는 평균이 0이고, 공분산이 $\mathbf{S}_k$ 인 가우시안 분포를 따라야 한다.

잔차의 주요 분석 항목은 다음과 같다: - 평균: 잔차의 평균이 0에 가까워야 한다. - 분산: 잔차의 분산이 혁신 공분산 $\mathbf{S}_k$ 와 일치해야 한다. - 자기상관: 잔차 벡터 간의 자기상관(Autocorrelation)이 없어야 한다.

잔차 분석 결과는 필터의 모델링 정확도를 평가하는 데 중요한 역할을 하며, 필터의 성능을 향상시키기 위해 필요한 조정을 파악하는 데 유용하다.

차분 시퀀스의 통계적 분석 (Statistical Analysis of Difference Sequences)

차분 시퀀스는 연속된 상태 추정치 간의 차이를 나타내며, 이를 통해 필터가 얼마나 잘 수렴하고 있는지 평가할 수 있다. 차분 시퀀스는 다음과 같이 정의된다:

$\Delta \hat{\mathbf{x}}_k = \hat{\mathbf{x}}_k - \hat{\mathbf{x}}_{k-1}$

차분 시퀀스의 통계적 분석은 필터의 상태 추정치가 시간에 따라 안정적으로 변화하는지, 혹은 과도한 진동이나 드리프트가 있는지 확인하는 데 유용하다. 이 분석은 다음과 같은 지표를 포함한다: - 평균: 차분 시퀀스의 평균이 0에 가까운지 확인한다. - 분산: 차분 시퀀스의 분산이 특정 임계값 이하인지 평가한다. - 자기상관: 연속된 차분 시퀀스 간의 상관 관계를 평가하여 필터의 안정성을 분석한다.

시각화 도구 (Visualization Tools)

필터 성능을 평가할 때, 다양한 시각화 도구를 활용하는 것이 중요하다. 시각적 표현은 수치적 지표가 제공하지 못하는 직관적인 이해를 도울 수 있다. 주요 시각화 도구는 다음과 같다: - 추정치와 실제 값의 비교 그래프: 시간에 따른 필터의 상태 추정치와 실제 상태 간의 차이를 그래프로 표시하여 필터의 성능을 직관적으로 평가할 수 있다. - 오차의 히스토그램: 추정 오차 벡터의 분포를 히스토그램으로 나타내어, 오차의 통계적 특성을 시각적으로 분석할 수 있다. - 잔차 플롯: 혁신 벡터 $\mathbf{v}_k$ 의 시간에 따른 변화를 플롯하여, 잔차의 패턴을 분석할 수 있다. - NIS 값의 시계열 플롯: 시간에 따른 NIS 값을 플롯하여, 필터의 가정이 얼마나 잘 유지되고 있는지 시각적으로 평가할 수 있다.

이러한 시각화 도구는 필터의 설계 및 조정 과정에서 필수적인 역할을 하며, 필터의 성능을 직관적으로 이해하고 개선할 수 있는 정보를 제공한다.

잔차 분석 (Residual Analysis)

잔차 분석은 칼만 필터의 성능을 검증하는 또 다른 방법이다. 잔차는 혁신 벡터와 유사하지만, 주로 추정된 측정치와 실제 측정치 간의 차이를 나타낸다. 잔차 벡터는 다음과 같이 정의된다:

$\mathbf{r}_k = \mathbf{z}_k - \mathbf{H}_k \hat{\mathbf{x}}_k$

여기서,
- $\mathbf{r}_k$ 는 잔차 벡터,
- $\hat{\mathbf{x}}_k$ 는 측정 갱신 후의 상태 추정치이다.

잔차 벡터의 통계적 성질을 분석함으로써 필터의 성능을 평가할 수 있다. 잔차가 평균이 0이고, 공분산이 $\mathbf{R}_k$ 에 가까운지를 확인하여 필터가 정상적으로 작동하고 있는지를 판단한다. 잔차의 이상한 패턴(예: 지속적인 편향 또는 예상치 못한 변동성)은 필터 모델에 문제가 있을 가능성을 시사할 수 있다.

로그 우도 (Log-Likelihood)

로그 우도는 관측된 데이터를 기반으로 필터의 성능을 정량화하는 강력한 방법이다. 칼만 필터에서, 시간 단계 $k$ 에서의 로그 우도는 다음과 같이 계산된다:

$\log p(\mathbf{z}_k | \mathbf{Z}_{k-1}) = -\frac{1}{2} \left( \log \det \mathbf{S}_k + \mathbf{v}_k^\top \mathbf{S}_k^{-1} \mathbf{v}_k + n \log(2\pi) \right)$

여기서,
- $\mathbf{Z}_{k-1}$ 는 이전 시간 단계까지의 모든 측정치,
- $n$ 은 측정 벡터의 차원이다.

로그 우도는 필터가 특정 데이터 집합을 얼마나 잘 설명하는지를 나타내며, 필터의 성능을 비교하는 데 사용될 수 있다. 여러 시점에서의 로그 우도를 합산하여 전체 필터 성능을 평가할 수 있다. 이 값이 크면 클수록 필터가 데이터에 잘 맞는다는 것을 의미한다.

자가 상관 (Autocorrelation) 검정

자가 상관 검정은 잔차가 시간에 따라 독립적인지를 평가하는 방법이다. 자가 상관이 있다면, 이는 필터가 시스템의 동적 특성을 제대로 포착하지 못하고 있음을 나타낼 수 있다. 자가 상관 함수는 다음과 같이 정의된다:

$\rho(\tau) = \frac{\mathbb{E}[(\mathbf{r}_k - \mathbb{E}[\mathbf{r}_k])^\top (\mathbf{r}_{k+\tau} - \mathbb{E}[\mathbf{r}_{k+\tau}])]}{\mathbb{E}[(\mathbf{r}_k - \mathbb{E}[\mathbf{r}_k])^\top (\mathbf{r}_k - \mathbb{E}[\mathbf{r}_k])]}$

여기서,
- $\tau$ 는 시간 지연(lag)을 의미한다.

자가 상관 함수 $\rho(\tau)$ 가 $0$ 에 가까운 경우 잔차는 시간적으로 독립적임을 의미하며, 이는 필터가 적절히 설계되었음을 시사한다. 반면, 유의미한 자가 상관이 발견되면 필터 모델이 수정되어야 할 필요가 있을 수 있다.

몬테카를로 시뮬레이션 (Monte Carlo Simulation)

몬테카를로 시뮬레이션은 칼만 필터의 성능을 다양한 시나리오에서 평가하는 데 사용되는 방법이다. 이 방법은 다양한 초기 조건, 시스템 노이즈, 측정 노이즈 조건 하에서 필터를 반복적으로 실행하여 성능을 평가한다. 몬테카를로 시뮬레이션의 기본 단계는 다음과 같다:

필터에 적용할 다양한 시나리오를 정의한다.
각 시나리오에 대해 필터를 반복적으로 실행한다.
각 반복 실행에서 발생하는 상태 추정 오차, 혁신, 로그 우도 등을 기록한다.
반복 실행 결과를 통계적으로 분석하여 필터의 성능을 평가한다.

이 방법을 통해 칼만 필터가 다양한 환경에서 얼마나 일관되게 작동하는지, 그리고 특정 조건 하에서 성능이 어떻게 변하는지를 평가할 수 있다.

차이 분석 (Difference Analysis)

차이 분석은 필터의 출력이 이전 시간 단계의 예측과 얼마나 일치하는지를 평가하는 방법이다. 필터의 시간 갱신 단계에서 예측된 상태와 실제 관측치를 비교하여, 다음의 차이를 분석한다:

$\Delta_k = \mathbf{H}_k \mathbf{x}_k - \mathbf{z}_k$

이 차이가 시스템 노이즈 공분산 $\mathbf{R}_k$ 와 일치하는지를 평가하여 필터가 적절히 동작하고 있는지를 확인한다. 큰 차이가 지속적으로 발생하는 경우, 필터가 시스템 동작을 제대로 반영하지 못하는 신호일 수 있다.

실시간 성능 모니터링 도구

실제 시스템에서 칼만 필터를 사용하는 경우, 실시간 성능 모니터링 도구를 구축하는 것이 중요하다. 이러한 도구는 다음과 같은 기능을 포함할 수 있다:

실시간으로 혁신 벡터, 잔차, 추정 오차 공분산 등을 시각화하여 필터의 성능을 모니터링.
혁신 공분산과 잔차의 자가 상관을 계산하여 필터의 안정성을 평가.
예기치 않은 상황 발생 시 경고를 생성하여 필터의 조정이 필요함을 알림.

이러한 도구는 필터의 실시간 성능을 지속적으로 평가하고, 필터가 기대한 대로 작동하지 않을 경우 신속하게 조치를 취할 수 있게 해준다.