최소 제곱 추정법과 칼만 필터의 관계

최소 제곱 추정법의 개요

최소 제곱 추정법(Least Squares Estimation, LSE)은 주어진 데이터 세트에 대해 가장 잘 맞는 추정치를 계산하기 위한 방법이다. 이 기법은 주로 회귀 분석에서 사용되며, 관측된 데이터와 모델 간의 오차를 최소화하는 파라미터를 찾는 데 중점을 둔다. 구체적으로, 오차 제곱의 합을 최소화하는 것이 목표이다.

주어진 데이터 세트가 있고, 모델이 $y = X\beta + \epsilon$ 으로 표현될 수 있다고 가정해 봅시다. 여기서 $y$ 는 종속 변수, $X$ 는 독립 변수의 행렬, $\beta$ 는 추정해야 할 파라미터, $\epsilon$ 은 오차이다. 최소 제곱 추정법에서는 $\beta$ 를 다음과 같이 계산한다.

$\hat{\beta} = (X^TX)^{-1}X^Ty$

이 방법은 오차의 제곱합을 최소화하는 파라미터 벡터 $\beta$ 를 찾기 위한 표준적인 방법이다.

칼만 필터와 최소 제곱 추정법의 연결

칼만 필터는 본질적으로 연속적인 최소 제곱 문제를 해결하는 과정으로 볼 수 있다. 칼만 필터는 시스템이 시간에 따라 변할 때 매 시간 단계마다 새로운 관측 데이터를 사용하여 상태를 업데이트한다. 이는 새로운 데이터가 들어올 때마다 시스템 상태를 예측하고, 이 예측을 바탕으로 현재 상태에 대한 가장 정확한 추정을 수행하는 반복적인 과정이다.

칼만 필터에서 상태 추정은 다음과 같은 형태로 표현된다:

$\hat{\mathbf{x}}_{k|k} = \hat{\mathbf{x}}_{k|k-1} + \mathbf{K}_k (\mathbf{z}_k - \mathbf{H}_k \hat{\mathbf{x}}_{k|k-1})$

여기서 $\hat{\mathbf{x}}_{k|k}$ 는 $k$ 번째 시점에서의 상태 추정치이며, $\mathbf{K}_k$ 는 칼만 이득(Kalman Gain), $\mathbf{z}_k$ 는 관측된 데이터, $\mathbf{H}_k$ 는 관측 모델이다. 이 과정은 관측된 데이터와 예측된 상태 간의 차이, 즉 잔차(residual)를 최소화하는 방향으로 작동한다.

반복적인 최소 제곱 문제로서의 칼만 필터

칼만 필터는 이전 시간 단계에서의 상태 추정을 바탕으로 현재 시간 단계에서의 상태를 예측한다. 이 예측은 다음과 같이 표현된다:

$\hat{\mathbf{x}}_{k|k-1} = \mathbf{F}_{k-1} \hat{\mathbf{x}}_{k-1|k-1} + \mathbf{B}_{k-1} \mathbf{u}_{k-1}$

여기서 $\mathbf{F}_{k-1}$ 는 상태 전이 행렬, $\mathbf{u}_{k-1}$ 는 제어 입력이다. 이 예측은 시스템의 상태가 시간에 따라 어떻게 변화하는지를 반영한다.

새로운 관측치 $\mathbf{z}_k$ 가 도착하면, 칼만 필터는 이 관측치를 이용해 예측된 상태를 수정한다. 이 수정 과정은 최소 제곱 추정법의 잔차 최소화와 유사한다. 잔차 $\mathbf{r}_k = \mathbf{z}_k - \mathbf{H}_k \hat{\mathbf{x}}_{k|k-1}$ 는 관측된 데이터와 예측된 상태 간의 차이이며, 이 차이를 최소화하는 방향으로 상태 추정이 이루어진다.

칼만 이득의 역할

칼만 이득 $\mathbf{K}_k$ 는 최소 제곱 추정법의 가중치 역할을 한다. 이는 예측된 상태와 실제 관측치 간의 신뢰도를 반영하여 상태 추정치가 어느 쪽으로 더 많이 조정될지를 결정한다. 칼만 이득은 다음과 같이 계산된다:

$\mathbf{K}_k = \mathbf{P}_{k|k-1} \mathbf{H}_k^T (\mathbf{H}_k \mathbf{P}_{k|k-1} \mathbf{H}_k^T + \mathbf{R}_k)^{-1}$

여기서 $\mathbf{P}_{k|k-1}$ 는 예측 오차 공분산, $\mathbf{R}_k$ 는 관측 노이즈의 공분산이다. 칼만 이득은 잔차의 크기에 따라 상태 추정치가 어떻게 조정될지를 결정하며, 이는 최소 제곱 추정법에서 오차를 최소화하는 가중치의 역할과 일치한다.

칼만 필터의 최적성

칼만 필터는 가우시안 분포를 따르는 시스템에서 최소 제곱 추정법과 같은 의미에서 최적의 상태 추정을 제공한다. 필터링 과정에서 예측과 관측을 조합하여 최적의 상태를 추정하는 것은 최소 제곱 추정법의 기본 원리와 정확히 일치한다. 즉, 칼만 필터는 잔차를 최소화하는 방향으로 상태를 업데이트하며, 이 과정에서 최적의 상태 추정치를 도출한다.

칼만 필터와 가중 최소 제곱 추정법

가중 최소 제곱 추정법(Weighted Least Squares Estimation, WLSE)은 데이터에 대한 신뢰도에 차이가 있을 때 사용되는 기법이다. 칼만 필터에서는 이 개념이 필터링 과정에 자연스럽게 통합된다. 예측된 상태와 관측된 데이터 각각의 신뢰도가 다를 수 있기 때문에, 칼만 필터는 이러한 가중치를 고려하여 상태 추정을 수행한다.

칼만 필터의 경우, 예측된 상태의 오차 공분산 $\mathbf{P}_{k|k-1}$ 와 관측 노이즈의 공분산 $\mathbf{R}_k$ 가 가중치 역할을 한다. 이 두 값은 각각 예측과 관측의 신뢰도를 나타내며, 칼만 이득 $\mathbf{K}_k$ 를 통해 상태 추정치에 반영된다. 특히, 관측 노이즈가 클수록 관측치의 신뢰도가 낮아지므로, 칼만 필터는 예측된 상태에 더 많은 가중치를 부여한다. 반대로, 관측 노이즈가 작을수록 관측치의 신뢰도가 높아지며, 필터는 관측치에 더 많은 가중치를 부여한다.

이 과정은 가중 최소 제곱 추정법의 원리와 일치한다. 가중 최소 제곱 추정법에서는 각 데이터 포인트에 가중치를 부여하여 전체 오차 제곱합을 최소화한다. 칼만 필터에서도 관측과 예측의 오차를 각각의 신뢰도에 따라 다르게 취급하며, 이는 결국 전체 상태 추정의 정확도를 높이는 역할을 한다.

동적 시스템에서의 최소 제곱 추정법과 칼만 필터

동적 시스템에서는 시간에 따라 상태가 변하며, 이 변화는 시스템의 상태 전이 행렬 $\mathbf{F}_k$ 와 제어 입력 $\mathbf{B}_k \mathbf{u}_k$ 에 의해 모델링된다. 최소 제곱 추정법은 고정된 데이터 세트에 대해서만 적용되지만, 칼만 필터는 시간에 따라 변화하는 동적 시스템에서도 동일한 원리를 적용하여 상태 추정을 수행한다.

예를 들어, 시간 $k-1$ 에서의 상태 $\mathbf{x}_{k-1}$ 에 대한 최소 제곱 추정값이 있다면, 이 값을 이용하여 시간 $k$ 에서의 상태를 예측할 수 있다. 칼만 필터에서는 이 예측값에 새로운 관측치를 반영하여 상태 추정을 갱신한다. 이 과정은 시간에 따라 연속적으로 이루어지며, 각 시간 단계에서 최소 제곱 추정법의 원리가 적용된다.

특히, 동적 시스템에서는 이전의 상태 추정치와 현재의 관측치 간의 상관관계가 중요하게 작용한다. 칼만 필터는 이 상관관계를 이용하여 상태 추정을 업데이트하며, 이는 고정된 데이터 세트에서 단순히 오차를 최소화하는 최소 제곱 추정법과는 달리, 시간에 따라 변하는 시스템에서도 최적의 상태 추정을 가능하게 한다.

노이즈 모델과 칼만 필터의 최소 제곱적 해석

칼만 필터에서의 상태 추정은 노이즈가 포함된 시스템을 가정한다. 이 노이즈는 시스템 노이즈와 관측 노이즈로 나뉘며, 각각이 가우시안 분포를 따른다고 가정된다. 이러한 가정 하에서, 칼만 필터는 최소 제곱 추정법을 확장하여 노이즈의 영향을 최소화하는 방향으로 상태를 추정한다.

시스템 노이즈 $\mathbf{Q}_k$ 와 관측 노이즈 $\mathbf{R}_k$ 는 각각 시스템의 불확실성과 관측의 불확실성을 나타내며, 칼만 필터의 상태 추정 과정에서 중요한 역할을 한다. 최소 제곱 추정법의 관점에서 볼 때, 이 노이즈들은 상태 추정 문제에서 오차 항으로 작용한다. 칼만 필터는 이러한 오차를 최소화하기 위해 노이즈 모델을 고려하며, 이는 결과적으로 시스템 상태의 최적 추정을 가능하게 한다.

노이즈 모델이 잘못되었을 경우, 즉 실제 노이즈가 가우시안 분포를 따르지 않거나 노이즈 공분산이 정확하지 않을 경우, 칼만 필터의 성능은 크게 저하될 수 있다. 이 때문에 칼만 필터는 최소 제곱 추정법과 유사하게, 노이즈 특성에 대한 정확한 이해와 모델링이 필요하다. 노이즈 모델이 정확하다면, 칼만 필터는 최소 제곱 추정법을 통해 얻을 수 있는 최적의 상태 추정치를 제공할 수 있다.

결합된 시스템의 최소 제곱 문제로서의 칼만 필터

칼만 필터는 복잡한 결합 시스템에서도 최적의 상태 추정을 수행할 수 있는 도구이다. 결합 시스템은 여러 하위 시스템이 서로 상호작용하며 동작하는 시스템으로, 각 하위 시스템의 상태는 다른 하위 시스템의 상태에 영향을 받는다. 이러한 시스템에서의 상태 추정 문제는 단순한 최소 제곱 추정법으로 해결하기 어려운 경우가 많다.

칼만 필터는 이러한 복잡한 결합 시스템에서도 각각의 하위 시스템에 대한 상태 추정을 수행하면서, 전체 시스템의 상태를 추정할 수 있다. 이 과정에서 칼만 필터는 최소 제곱 추정법의 원리를 활용하여 각 하위 시스템의 상태를 개별적으로 추정한 후, 이들을 결합하여 전체 시스템의 상태를 추정한다. 이는 특히 네트워크 시스템, 다중 센서 시스템 등에서 효과적으로 적용될 수 있다.

칼만 필터의 이러한 특성은 복잡한 결합 시스템에서도 최적의 상태 추정을 가능하게 하며, 최소 제곱 추정법을 시간적, 공간적으로 확장한 형태로 이해할 수 있다.

예측 오차 공분산과 최소 제곱 추정법의 관계

칼만 필터에서 중요한 역할을 하는 예측 오차 공분산 $\mathbf{P}_{k|k-1}$ 는 상태 추정의 불확실성을 나타내는 중요한 매개변수이다. 이 공분산 행렬은 시스템의 상태가 시간에 따라 변할 때, 그 예측된 상태에 대한 불확실성을 정량화하는 데 사용된다. 예측 오차 공분산은 상태 추정의 정확도를 평가하는 기준으로 사용되며, 최소 제곱 추정법의 관점에서 이는 추정 오차의 분산을 의미한다.

예측 오차 공분산 $\mathbf{P}_{k|k-1}$ 는 다음과 같이 갱신된다:

$\mathbf{P}_{k|k-1} = \mathbf{F}_{k-1} \mathbf{P}_{k-1|k-1} \mathbf{F}_{k-1}^T + \mathbf{Q}_{k-1}$

여기서 $\mathbf{F}_{k-1}$ 는 상태 전이 행렬이고, $\mathbf{Q}_{k-1}$ 는 시스템 노이즈 공분산이다. 이 식은 현재 상태 추정에 대한 불확실성을 이전 상태의 불확실성과 시스템 노이즈를 바탕으로 갱신하는 방법을 보여준다.

최소 제곱 추정법에서는 오차의 제곱합을 최소화하기 위해 추정값의 분산을 고려한다. 칼만 필터에서는 이 과정이 예측 오차 공분산의 갱신을 통해 수행된다. 다시 말해, 예측 오차 공분산은 상태 추정의 신뢰도를 나타내며, 이는 최소 제곱 추정법에서 오차의 분산을 최소화하려는 시도와 유사한다.

상태 추정 갱신과 최소 제곱 추정법의 실시간 적용

칼만 필터는 예측된 상태와 새로운 관측치를 결합하여 상태 추정을 갱신한다. 이 과정에서 관측치와 예측된 상태 사이의 차이인 잔차를 이용하여 상태를 조정한다. 최소 제곱 추정법의 관점에서 볼 때, 이 과정은 실시간으로 데이터를 받아들이면서 오차를 최소화하려는 시도와 동일한다.

칼만 필터의 상태 추정 갱신은 다음과 같은 형태로 이루어진다:

$\hat{\mathbf{x}}_{k|k} = \hat{\mathbf{x}}_{k|k-1} + \mathbf{K}_k (\mathbf{z}_k - \mathbf{H}_k \hat{\mathbf{x}}_{k|k-1})$

이 식에서 잔차 $\mathbf{z}_k - \mathbf{H}_k \hat{\mathbf{x}}_{k|k-1}$ 는 예측된 상태와 실제 관측된 값 사이의 차이를 나타내며, 이는 최소 제곱 추정법에서 오차 항과 동일한 역할을 한다. 칼만 필터는 이 잔차를 최소화하기 위해 상태 추정치를 조정한다.

실시간으로 데이터가 들어올 때마다 상태를 갱신하는 이 과정은 최소 제곱 추정법의 실시간 적용과 유사한다. 일반적인 최소 제곱 추정법은 고정된 데이터 세트를 바탕으로 추정값을 계산하지만, 칼만 필터는 동적으로 변화하는 데이터를 실시간으로 처리하면서 상태 추정을 수행한다. 이는 동적 시스템에서의 상태 추정에 매우 유용하며, 실제 시스템의 다양한 불확실성에 대해 신속하게 반응할 수 있도록 한다.

칼만 필터의 수렴성

칼만 필터가 지속적으로 새로운 관측 데이터를 처리하면서 상태 추정을 갱신할 때, 중요한 질문 중 하나는 필터가 수렴하는가이다. 수렴성은 필터가 시간이 지남에 따라 특정 값으로 안정화되는지를 의미한다. 최소 제곱 추정법에서도 마찬가지로, 반복적인 데이터 처리 후 추정값이 수렴해야 추정 결과를 신뢰할 수 있다.

칼만 필터의 수렴성은 시스템의 모델링 정확도, 노이즈 특성, 초기 조건 등에 의해 크게 좌우된다. 이론적으로, 시스템이 안정적이고 관측 노이즈 및 시스템 노이즈가 적절하게 모델링된 경우, 칼만 필터는 최적의 상태 추정치로 수렴하게 된다. 이 과정에서 예측 오차 공분산 $\mathbf{P}_k$ 는 점차 감소하며, 상태 추정치는 참 상태에 근접하게 된다.

이러한 수렴성은 최소 제곱 추정법의 반복 계산에서 잔차가 점차 감소하여 추정값이 일정 값에 수렴하는 과정과 유사한다. 칼만 필터는 반복적인 갱신을 통해 잔차를 줄여가며 상태 추정을 개선해 나가고, 최종적으로 안정된 상태 추정치를 제공한다.

최소 제곱 추정법과 칼만 필터의 통합적 이해

최소 제곱 추정법은 데이터의 오차를 최소화하는 데 중점을 둔 기법이며, 칼만 필터는 이를 실시간으로 동적 시스템에 적용하는 방법이라고 할 수 있다. 칼만 필터는 각 시간 단계에서 최소 제곱 추정법을 반복적으로 적용하여 상태 추정을 갱신하며, 이를 통해 실시간으로 변화하는 시스템에서도 최적의 상태 추정을 제공한다.

이 책의 이 장에서 논의된 바와 같이, 칼만 필터는 최소 제곱 추정법의 확장된 형태로 이해할 수 있다. 특히, 노이즈 모델링, 상태 전이 행렬, 예측 오차 공분산 등과 같은 개념들이 결합되어, 복잡한 동적 시스템에서도 상태 추정 문제를 효과적으로 해결할 수 있게 된다.

칼만 필터의 이러한 특성은 다양한 실세계 응용 분야에서 널리 사용되며, 복잡한 시스템의 상태 추정을 위한 강력한 도구로 자리잡고 있다.

칼만 필터의 실질적인 예: 최소 제곱 추정법의 실시간 적용

실제 시스템에서 칼만 필터를 적용하는 예는 최소 제곱 추정법을 실시간으로 구현하는 좋은 사례가 된다. 여기서는 GPS 기반의 위치 추정 시스템을 예로 들어보겠다. 이 시스템에서 목표는 이동체의 위치를 실시간으로 추정하는 것이다.

GPS 수신기는 여러 위성으로부터 신호를 받아 자신의 위치를 계산한다. 이 신호에는 노이즈가 포함될 수 있으며, 위성 신호 자체에도 오차가 존재할 수 있다. 따라서, 이러한 데이터만을 바탕으로 정확한 위치를 추정하는 것은 어려울 수 있다. 여기서 칼만 필터가 중요한 역할을 한다.

시스템 모델링

이 시스템을 모델링하기 위해, 이동체의 위치와 속도를 상태 변수로 정의할 수 있다. 상태 전이 방정식은 이동체가 일정한 속도로 움직이는 것으로 가정하고 다음과 같이 설정할 수 있다:

$\begin{bmatrix} x_{k+1} \\ v_{k+1} \end{bmatrix} = \begin{bmatrix} 1 & \Delta t \\ 0 & 1 \end{bmatrix} \begin{bmatrix} x_k \\ v_k \end{bmatrix} + \begin{bmatrix} \frac{\Delta t^2}{2} \\ \Delta t \end{bmatrix} a_k + w_k$

여기서 $x_k$ 는 위치, $v_k$ 는 속도, $a_k$ 는 가속도, $\Delta t$ 는 시간 간격, $w_k$ 는 시스템 노이즈를 나타낸다.

측정 방정식은 GPS로부터 얻은 측정값을 바탕으로 다음과 같이 표현할 수 있다:

$\mathbf{z}_k = \mathbf{H}_k \mathbf{x}_k + \mathbf{v}_k$

여기서 $\mathbf{z}_k$ 는 관측된 위치, $\mathbf{H}_k$ 는 관측 행렬, $\mathbf{v}_k$ 는 관측 노이즈를 나타낸다.

실시간 최소 제곱 추정과 필터링

이 시스템에서 칼만 필터는 실시간으로 위치와 속도를 추정한다. 필터는 다음과 같은 단계로 작동한다:

예측 단계: 이전 상태 $\mathbf{x}_{k-1}$ 와 시스템 모델을 이용하여 다음 상태 $\mathbf{x}_k$ 를 예측한다. 예측 오차 공분산 $\mathbf{P}_k$ 도 갱신된다.
관측 단계: 새로운 GPS 측정값 $\mathbf{z}_k$ 를 받아들이고, 이를 바탕으로 잔차 $\mathbf{r}_k = \mathbf{z}_k - \mathbf{H}_k \hat{\mathbf{x}}_{k|k-1}$ 를 계산한다.
업데이트 단계: 잔차와 칼만 이득 $\mathbf{K}_k$ 를 이용하여 상태 추정치 $\hat{\mathbf{x}}_{k|k}$ 를 갱신한다. 이 과정에서 예측 오차 공분산 $\mathbf{P}_k$ 도 갱신된다.

이 과정은 GPS 신호가 계속해서 들어오는 동안 반복된다. 칼만 필터는 이러한 실시간 데이터 스트림을 처리하면서 위치와 속도를 지속적으로 추정한다. 이와 같은 실시간 처리 방식은 최소 제곱 추정법을 단일 데이터 세트가 아닌 연속적인 데이터에 적용하는 방식과 같다.

칼만 필터의 견고성: 노이즈 및 모델 불확실성에 대한 대응

칼만 필터는 최소 제곱 추정법의 확장된 형태로, 특히 노이즈가 존재하는 환경에서 견고한 성능을 발휘한다. 노이즈 모델이 정확하다면, 칼만 필터는 가우시안 노이즈 하에서 최적의 상태 추정을 제공한다. 그러나 실제 시스템에서는 노이즈 특성이 항상 정확하게 알려져 있지 않으며, 시스템 모델도 불완전할 수 있다.

칼만 필터는 이러한 불확실성에 대해 상대적으로 강인한 방법론이다. 시스템 노이즈 $\mathbf{Q}_k$ 와 관측 노이즈 $\mathbf{R}_k$ 의 공분산 행렬을 적절히 조정함으로써, 필터가 노이즈 및 모델 불확실성에 어떻게 반응할지를 제어할 수 있다. 예를 들어, 시스템 노이즈를 과소평가하면 필터가 시스템 모델에 과도하게 의존하게 되어, 노이즈에 민감하게 반응할 수 있다. 반면, 관측 노이즈를 과대평가하면 필터가 관측 데이터를 무시하고 예측된 상태에 더 큰 가중치를 부여하게 된다.

이러한 상황에서 칼만 필터는 예측된 상태와 관측된 데이터를 조화롭게 결합하여 가능한 최적의 상태 추정을 제공한다. 이는 최소 제곱 추정법의 원리를 확장하여, 불확실한 환경에서도 높은 성능을 유지할 수 있는 중요한 특징이다.

---에 이르는 준비

이 장에서 다룬 내용은 칼만 필터가 어떻게 최소 제곱 추정법의 원리를 활용하여 동적 시스템에서 최적의 상태 추정을 수행하는지를 설명하는 데 중점을 두었다. 최소 제곱 추정법은 칼만 필터의 핵심적인 수학적 기초이며, 실시간 데이터 처리 및 노이즈가 있는 환경에서도 효과적으로 적용될 수 있도록 확장되었다.

이후의 논의에서는 칼만 필터의 이론적 기초를 바탕으로, 실제 응용 사례와 더욱 복잡한 시스템에서의 활용 방법을 다루게 된다.

이로써 "최소 제곱 추정법과 칼만 필터의 관계"에 대한 설명을 마치겠다.