동적 시스템에서의 상태 추정은 공학 및 과학의 여러 분야에서 핵심적인 과제이다. 이는 시간에 따라 변화하는 시스템의 내부 상태(예: 위치, 속도, 자세)를 일련의 잡음이 섞인 측정값으로부터 추정하는 과정을 의미한다.1 근본적으로 상태 추정은 시스템의 상태가 어떻게 변화하는지를 기술하는 ‘프로세스 모델’과, 현재 상태가 센서 측정값과 어떻게 관련되는지를 설명하는 ‘측정 모델’로 구성된 상태 공간 모델에 기반한다.4 칼만 필터와 같은 추정 기법의 목표는 단일 측정값만 사용하는 것보다 더 정확하고 신뢰할 수 있는 추정치를 생성하는 것이다.2
이러한 필터링 기법의 핵심적인 특징 중 하나는 재귀적(recursive) 특성이다. 필터는 새로운 상태를 계산하기 위해 과거의 모든 데이터 이력을 필요로 하는 것이 아니라, 오직 직전 시간 단계의 ‘최선의 추정치’만을 요구한다.2 이 특성 덕분에 실시간 시스템에서 매우 높은 계산 효율성을 달성할 수 있으며, 이는 자율 로봇, 항공우주 시스템, 내비게이션 등 다양한 응용 분야에서 필수적이다. 필터는 센서 데이터에 포함된 잡음을 효과적으로 제거하고, 시스템의 불확실성을 줄여줌으로써, 궁극적으로 더 정밀하고 안정적인 상태 추정을 가능하게 한다.1
상태 추정 논의의 출발점은 선형 칼만 필터(KF)이다. 시스템의 동역학과 측정 모델이 모두 선형이고, 프로세스 및 측정 잡음이 가우시안 분포를 따른다고 가정할 때, 칼만 필터는 평균 제곱 오차(Minimum Mean-Square-Error, MMSE)를 최소화하는 최적의 선형 추정기이다.2 이는 선형-가우시안 시스템에 한해서는 이론적으로 칼만 필터보다 더 나은 성능을 내는 추정기가 존재할 수 없음을 의미하며, 이로 인해 칼만 필터는 비선형 필터를 평가하고 개발하는 데 있어 중요한 이론적 ‘황금 표준(gold standard)’으로 자리매김한다.
그러나 현실 세계의 대부분 시스템은 비선형적이다. 이러한 비선형 시스템에 칼만 필터를 적용하기 위해 가장 널리 사용되는 기법이 바로 확장 칼만 필터(Extended Kalman Filter, EKF)이다.12 EKF의 핵심 아이디어는 비선형적인 프로세스 및 측정 함수를 현재 상태 추정치 주변에서 1차 테일러 급수 전개를 통해 선형화하는 것이다. 즉, 자코비안 행렬을 계산하여 비선형 함수를 국소적으로 선형 함수로 근사하는 방식을 취한다.5
이러한 선형화 근사는 EKF의 가장 큰 강점이자 동시에 치명적인 약점이다. 시스템의 비선형성이 강할 경우, 1차 근사는 실제 비선형 함수를 제대로 표현하지 못하여 큰 오차를 유발한다.12 이 ‘선형화 오차’는 EKF의 성능을 저하하는 주된 원인이며, 다음과 같은 심각한 문제들을 야기한다.
EKF의 근본적인 문제는 단순히 근사를 사용한다는 점을 넘어선다. EKF는 가우시안 분포를 ‘선형화된 모델’을 통해 전파시키지만, 실제 상태는 ‘참 비선형 모델’을 통해 전파된다. 비선형 변환을 거친 가우시안 분포의 평균은 원래 평균을 비선형 변환한 값과 일반적으로 일치하지 않는다 ($E[f(x)] \neq f(E[x])$). 따라서 EKF가 예측하는 평균과 공분산은 실제 사후 분포(posterior distribution)에 대한 1차 근사일 뿐이며, 이 사후 분포는 더 이상 가우시안이 아닐 가능성이 높다.16 EKF의 예측과 실제 시스템의 거동 사이의 이러한 근본적인 불일치가 발산과 불일치성의 근본 원인이며, 본 보고서에서 다룰 모든 진보된 필터들의 개발 동기가 된다.
EKF의 근본적인 한계를 극복하기 위해 제안된 강력한 대안 중 하나가 오차 상태 칼만 필터(Error-State Kalman Filter, ESKF)이다. ESKF의 핵심 철학은 ‘참 상태(true state)’ $x_{true}$를 두 부분으로 분리하는 것이다: 하나는 시스템의 동역학을 따라 움직이는 크고 비선형적인 ‘공칭 상태(nominal state)’ $x_{nom}$이고, 다른 하나는 이 공칭 상태로부터의 작은 편차를 나타내는 ‘오차 상태(error state)’ $\delta x$이다. 이 관계는 $x_{true} = x_{nom} \oplus \delta x$ 와 같이 표현된다.19 여기서
$\oplus$ 연산자는 일반화된 합성을 의미하며, 벡터 공간에서는 단순 덧셈이지만 회전과 같은 매니폴드(manifold) 상에서는 더 복잡한 연산(예: 쿼터니언 곱셈)이 된다.
ESKF의 핵심 아이디어는 공칭 상태는 완전한 비선형 동역학 모델을 사용하여 전파하고, 칼만 필터는 오직 오차 상태 $\delta x$에만 적용하는 것이다. 이 오차 상태는 항상 0에 가깝다고 가정되므로, 그 동역학은 선형 모델로 매우 정확하게 근사할 수 있다.19
이러한 접근 방식은 EKF에 비해 몇 가지 중요한 장점을 제공한다.
이처럼 ESKF는 비선형성 문제를 해결하기 위해 ‘분할 정복(divide and conquer)’ 전략을 사용한다고 볼 수 있다. 즉, 전체 비선형 문제를 필터 내에서 한 번에 해결하려 하지 않고, 문제를 두 부분으로 전략적으로 분할한다: 하나는 큰 신호의 비선형 궤적 적분(공칭 상태)이고, 다른 하나는 작은 신호의 선형 확률적 추정(오차 상태 필터)이다. 표준 EKF는 복잡한 궤적 전파와 그로부터의 편차 추정이라는 두 가지 어려운 작업을 하나의 선형화된 프레임워크 안에 혼합한다. 반면, ESKF는 이들이 서로 다른 문제임을 인식한다. 공칭 상태 전파 $x_{nom}(t) = \int f(x_{nom}(\tau), u(\tau)) d\tau$는 결정론적 적분 문제로, 필터링 가정 없이 시스템의 거시적인 움직임을 포착한다.23 그 후 칼만 필터는 이 공칭 궤적으로부터의 ‘작은 편차’(
$\delta x$)를 추정하는 훨씬 간단한 작업을 맡는다. $\delta x$가 작기 때문에 그 동역학 $\delta\dot{x} = F \delta x + G w$는 거의 선형에 가깝다.22 이러한 분리는 특히 회전에서 강력하다. 공칭 상태(쿼터니언 또는 회전 행렬)는 $SO(3)$ 매니폴드 위에서 기하학적 속성을 완벽하게 보존하며 적분될 수 있다. 필터는 단지 접선 공간의 간단한 3차원 벡터만 다루면 된다.19 이는 $SO(3)$ 자체를 선형화하려는 시도에서 발생하는 어색함과 오차를 피하게 해주며, 이것이 바로 내비게이션에서 표준 EKF의 주요 실패 지점 중 하나이다. 따라서 ESKF의 진정한 혁신은 오차 상태 자체라기보다는, 결정론적 비선형 적분과 선형 확률적 추정을 철학적으로 분리한 데 있다.
ESKF 알고리즘은 다음과 같은 재귀적 주기로 동작한다.
ESKF가 프로세스 모델의 비선형성을 효과적으로 다루는 반면, 측정 모델의 비선형성으로 인한 오차는 여전히 남을 수 있다. 이 문제를 해결하기 위해 반복 확장 칼만 필터(Iterated Extended Kalman Filter, IEKF)의 개념이 도입되었다.25 IEKF가 해결하고자 하는 핵심 문제는 측정 선형화 오차이다. 표준 EKF(및 비반복 ESKF)는 측정 함수 $h(x)$를 사전(a priori) 상태 추정치 $x̂⁻$에서 단 한 번만 선형화한다. 만약 이 사전 추정치가 실제 상태와 멀리 떨어져 있다면, 이 선형화는 매우 부정확할 수 있다.
IEKF의 해법은 업데이트 단계를 ‘반복적으로’ 수행하는 것이다. 단일 시간 단계 내에서, IEKF는 가장 최근에 개선된 상태 추정치를 중심으로 측정 함수를 반복적으로 재선형화한다.21
IEKF의 업데이트 과정은 다음과 같이 설명될 수 있다.
이 반복적인 과정은 실제 사후 상태에 더 가까운, 더 나은 선형화 지점을 효과적으로 찾아내며, 이를 통해 선형화 오차를 줄이고 훨씬 더 정확한 상태 추정치를 산출한다.27
IEKF의 반복적 업데이트 과정은 상태의 최대 사후 확률(Maximum A Posteriori, MAP) 추정치를 찾기 위해 가우스-뉴턴(Gauss-Newton) 최적화 방법을 사용하는 것으로 해석될 수 있다.21 각 시간 단계에서 IEKF는 사전 정보(예측된 상태)와 새로운 측정값 사이의 균형을 맞추는 가중 최소 제곱(weighted least squares) 문제를 반복적으로 푼다.26 이는 IEKF의 효과에 대한 강력한 이론적 근거를 제공한다.
ESKF와 IEKF는 서로 다른 오차의 원인을 해결한다는 점에서 상호 보완적인 관계에 있다. ESKF는 주로 프로세스 모델의 비선형성, 특히 기하학적 제약 조건에 초점을 맞추는 반면, IEKF는 배타적으로 측정 모델의 비선형성을 목표로 한다. 예를 들어, 거의 선형적인 운동 동역학(예: 등속도 운동)을 가지지만 매우 비선형적인 측정 센서(예: 랜드마크를 관측하는 카메라)를 가진 로봇을 생각해보자. 이 경우, 프로세스 모델 $f(x)$가 이미 선형에 가깝기 때문에 ESKF는 EKF에 비해 큰 이점을 제공하지 못할 수 있다. 주요 오차의 원인은 $h(x)$의 선형화일 것이다. 그러나 IEKF는 이 상황에서 매우 효과적일 것이다. IEKF는 비선형적인 카메라 투영 모델에 더 잘 부합하도록 상태 추정치를 반복적으로 개선하여 훨씬 더 정확한 업데이트를 이끌어낼 것이다. 반대로, 매우 비선형적인 동역학(예: 빠르게 회전하는 우주선)을 가지지만 선형적인 측정(예: 각속도의 직접 측정)을 하는 시스템의 경우, ESKF는 $SO(3)$ 기하학을 다루는 데 필수적이지만 IEKF는 아무런 이점을 제공하지 못할 것이다. 이는 ESKF와 IEKF가 경쟁적인 아이디어가 아니라, 전체 문제의 서로 다른 측면을 해결하는 직교적인 개선책임을 보여준다. 이러한 통찰은 두 기법을 결합하여 두 종류의 비선형성 문제를 동시에 해결하고자 하는 ESIKF의 등장을 직접적으로 동기 부여한다.
오차 상태 반복 칼만 필터(Error-State Iterated Kalman Filter, ESIKF)는 앞서 논의된 두 개념의 논리적 통합체이다. ESIKF는 프로세스 모델의 비선형성과 기하학적 제약 조건을 처리하기 위해 오차 상태 공식(ESKF)을 사용하고, 측정 모델의 비선형성을 처리하기 위해 반복적 업데이트 루프(IEKF)를 통합한다.19
여기서 핵심적인 차이점은 반복이 ‘오차 상태’ $\delta x$에 대해 이루어진다는 것이다. 즉, 최적화 과정이 제약 조건이 없고 수학적으로 잘 정의된 유클리드 접선 공간에서 수행된다. 이는 전체 상태 매니폴드 위에서 직접 반복을 수행하는 것보다 훨씬 안정적이고 수학적으로 견고한 접근 방식이다.
이 절은 ESIKF 알고리즘 전체를 상세한 수식과 함께 제시하는 본 보고서의 기술적 핵심이다.19
측정값 $z_k$가 주어지면, 최적의 오차 보정치 $\delta x$를 찾기 위해 다음 과정을 $j=1, \dots, N$회 반복한다. 이 과정은 본질적으로 가우스-뉴턴 최적화를 통해 사후 확률을 최대화하는 $\delta x$를 찾는 것이다.26
초기화: 반복을 위한 초기 오차 상태를 0으로 설정한다: $\delta x_0 = \mathbf{0}$.
반복 루프 ($j=1, \dots, N$):
오차 주입: 반복이 종료된 후, 최종적으로 계산된 최적의 오차 상태 $\delta x_N$을 사전 공칭 상태에 주입하여 사후 공칭 상태 $x_k^+$를 얻는다.19 \(x_k^+ = x_k^- \oplus \delta x_N\) 공분산 업데이트: 최종 칼만 이득 $K_N$과 자코비안 $H_N$을 사용하여 사후 공분산 $P_k^+$를 계산한다. \(P_k^+ = (I - K_N H_N) P_k^-\) 오차 상태 리셋: 다음 시간 단계를 위해 오차 상태의 평균은 다시 $\mathbf{0}$으로 리셋된다.
| ESIKF 업데이트 과정은 단순한 보정이 아니라, 지역적 최적화 문제의 해를 구하는 과정이다. 각 측정 업데이트는 사전 확률과 측정 가능도(likelihood)의 곱으로 정의되는 사후 확률을 최대화하는, 즉 지역적인 비용 함수 $J(\delta x) = | \delta x_{prior} - \delta x | ^2_{P^{-1}} + | z - h(x \oplus \delta x) | ^2_{R^{-1}}$를 최소화하는 오차 상태 $\delta x$를 찾는 과정으로 볼 수 있다. 가우스-뉴턴 방법은 이 비선형 최소 제곱 문제의 해를 구하기 위해 사용되며, 각 반복은 이 문제의 선형화된 버전을 푸는 것과 같다. 따라서 ESIKF는 종종 별개의 접근법으로 여겨지는 필터링(칼만)과 최적화(번들 조정)의 세계를 잇는 다리 역할을 한다.29 ESIKF는 본질적으로 각 단계에서 ‘지연 없는(zero-lag)’ 최적화를 수행하는 것으로 볼 수 있으며, 이는 최첨단 VIO 시스템에서 사용되는 최적화 기반의 ‘슬라이딩 윈도우’ 기법과 개념적으로 연결된다.29 |
ESIKF가 자세와 같은 매니폴드 상의 상태를 우아하게 처리할 수 있는 비결은 리 이론(Lie Theory)에 기반한 연산자를 사용하는 데 있다.19
박스플러스 연산자 (Boxplus, $\oplus$): 이 연산은 매니폴드 상의 상태(리 그룹 원소)를 접선 공간의 작은 벡터(리 대수 원소)로 업데이트하는 과정을 나타낸다. 예를 들어, 회전 행렬 $R_{old} \in SO(3)$를 오차 회전 벡터 $\delta \theta \in \mathfrak{so}(3)$로 업데이트하는 것은 다음과 같이 표현된다. \(R_{new} = R_{old} \otimes \text{Exp}(\delta \theta)\) 여기서 $\text{Exp}(\cdot)$는 리 대수에서 리 그룹으로의 지수 사상(exponential map)이며, 회전 벡터를 회전 행렬로 변환한다.21
박스마이너스 연산자 (Boxminus, $\ominus$): 이 연산은 두 매니폴드 상태 간의 차이를 접선 공간의 최소 표현 벡터로 계산한다. 예를 들어, 두 회전 행렬 $R_1, R_2$ 사이의 차이는 다음과 같다. \(\delta \theta = \text{Log}(R_1^T R_2)\) 여기서 $\text{Log}(\cdot)$는 리 그룹에서 리 대수로의 로그 사상(logarithm map)이다.
이러한 연산자를 사용함으로써, 상태 추정치는 항상 올바른 매니폴드 상에 머무르게 된다 (예: 회전 행렬은 항상 직교성을 유지하고 행렬식이 +1이 됨). 이는 표준 EKF가 보장할 수 없는 중요한 속성이다.19
필터의 계산 복잡도는 실시간 적용 가능성을 결정하는 중요한 요소이다.
시스템 설계자는 “계산 예산” 내에서 필터의 복잡도와 반복 횟수 사이의 트레이드오프를 고려해야 한다. 예를 들어, 200Hz IMU에 대해 업데이트 단계당 5ms의 고정된 시간 예산이 있다고 가정해보자. 한 가지 선택지는 $O(n^3)$의 비용이 드는 UKF를 사용하는 것이다.34 이는 예산을 모두 소진할 수 있지만, 자코비안 계산을 피하고 더 나은 통계적 근사를 통해 한 번에 좋은 추정치를 제공한다. 다른 선택지는 $k \cdot O(n^2)$ 비용의 ESIKF를 사용하는 것이다. 상태 차원 $n$이 매우 크다면 $n^2$은 $n^3$보다 훨씬 작으므로, 동일한 5ms 예산 내에서 여러 번의 반복($k > 1$)이 가능할 수 있다. 이 선택은 비선형성의 ‘근원’에 따라 달라진다. 비선형성이 부드럽고 2차 다항식으로 잘 근사된다면 UKF의 통계적 접근 방식이 더 효율적일 수 있다.15 만약 비선형성이 급격하지만 상태 차원 $n$이 매우 크다면(예: 많은 랜드마크를 포함하는 SLAM), ESIKF의 $O(n^2)$ 스케일링이 더 매력적이며, 몇 번 반복하는 것이 UKF의 $O(n^3)$ 비용보다 저렴할 수 있다.33 이는 필터 선택이 단지 정확도 문제가 아니라, 문제의 ‘구조’와 알고리즘의 계산 스케일링 법칙에 관한 문제임을 보여준다. ESIKF는 UKF와 달리 정확도와 계산량 사이의 균형을 조절할 수 있는 튜닝 노브($k$)를 제공한다.
수렴성: ESIKF의 반복 과정은 항상 수렴이 보장되지는 않는다. 특히 초기 추정치가 매우 나쁘거나 시스템이 극도로 비선형적인 경우 발산할 수 있다.12 하지만 ESIKF는 일반적으로 EKF보다 더 정확한 ESKF의 예측 상태에서 시작하기 때문에, 수렴 영역(basin of attraction) 내에 있을 가능성이 더 높다.
안정성: ESIKF는 반복적인 개선 과정을 통해 선형화 오차를 줄여주기 때문에 EKF나 ESKF보다 발산에 대해 일반적으로 더 강건하다.12 선형화 오차는 필터 불안정성의 주요 원인 중 하나이기 때문이다. 그러나 모든 필터와 마찬가지로, 부정확한 모델 파라미터와 잡음 공분산 행렬(
$Q$와 $R$)에 민감하다.12 이러한 행렬을 정밀하게 튜닝하는 것은 필터 성능에 매우 중요하다. 또한, 필터에 좋은 시작점을 제공하기 위한 강건한 초기화 절차는 수렴에 필수적이다.37
이는 ESIKF의 핵심 강점이다. 측정 함수를 반복적으로 재선형화함으로써, ESIKF는 EKF나 ESKF와 같은 단일 선형화 필터보다 훨씬 강한 비선형성을 처리할 수 있다.21 구체적인 예로, 로봇이 특정 특징점(feature)에 매우 가깝게 이동하는 VIO 시스템을 들 수 있다. 이 경우, 원근 투영(perspective projection) 모델은 매우 비선형적이 된다. EKF/ESKF는 부정확한 초기 선형화로 인해 발산할 수 있지만, ESIKF는 측정을 올바르게 설명하는 상태를 찾기 위해 반복적으로 추정치를 개선함으로써 우수한 강건성을 보인다.28
이는 비선형성을 다루는 두 가지 다른 철학 간의 미묘한 비교이다.
다음 표는 주요 비선형 칼만 필터 변종들의 핵심적인 특징을 요약하여 비교한다. 상태 추정 실무자나 연구자는 어떤 필터를 구현할지 결정해야 하는 상황에 끊임없이 직면한다. 이 표는 가장 일반적인 비선형 필터링 옵션 간의 중요한 트레이드오프를 한눈에 파악할 수 있는 밀도 높은 요약을 제공하며, 보고서 전체의 복잡한 논의를 실용적인 의사결정 도구로 압축한다.
| 특징 | 확장 칼만 필터 (EKF) | 오차 상태 칼만 필터 (ESKF) | 무향 칼만 필터 (UKF) | 오차 상태 반복 칼만 필터 (ESIKF) |
|---|---|---|---|---|
| 선형화 방식 | 1차 테일러 (전체 상태) | 1차 테일러 (오차 상태) | 무향 변환 (통계적) | 반복적 1차 테일러 (오차 상태) |
| 상태 표현 | 전체 상태 (벡터 공간) | 공칭 (매니폴드) + 오차 (벡터) | 전체 상태 (벡터/매니폴드) | 공칭 (매니폴드) + 오차 (벡터) |
| 정확도 (고 비선형성) | 낮음 | 중간 | 높음 | 매우 높음 |
| 계산 비용 | $O(n^2)$ | $O(n^2)$ | $O(n^3)$ 또는 $O(n^2L^2)$ | $O(k \cdot n^2)$ (k=반복 횟수) |
| 구현 난이도 | 중간 (자코비안 필요) | 복잡 (매니폴드 연산) | 중간 (자코비안 불필요) | 매우 복잡 (반복 + 매니폴드) |
| 강건성 | 발산 경향 있음 | EKF보다 강건함 | 일반적으로 강건함 | 측정 비선형성에 매우 강건함 |
VIO는 ESIKF의 주요 응용 분야 중 하나이다. 관성 측정 장치(IMU)는 고주파의 프로세스 모델을 제공하고, 카메라는 비선형적인 측정값을 제공한다. 이 두 센서의 융합은 일반적으로 ‘강결합(tightly-coupled)’ 방식으로 이루어지는데, 이는 원시 특징점 측정값이 필터 업데이트 단계에 직접 사용됨을 의미한다.19 카메라 투영 모델은 매우 비선형적이므로, ESIKF의 반복적 업데이트는 높은 정확도를 달성하는 데 매우 유용하다.28
주요 오픈소스 VIO 프레임워크에서의 필터 선택은 ESIKF의 위치를 이해하는 데 중요한 통찰을 제공한다.
필터링(ESIKF 등)과 최적화(VINS-Mono 등) 사이의 선택은 이분법적인 것이 아니라 스펙트럼 상의 문제이다. ESIKF는 이 스펙트럼 위에서 두 세계의 장점, 즉 필터의 재귀적 효율성과 최적화기의 재선형화 정확도를 모두 얻으려는 지점을 대표한다. 순수 필터(EKF)는 측정값을 한 번 처리하고 버리므로 빠르지만, 선형화와 정보 손실로 인해 차선책이 된다. 반면, 전체 배치 최적화기(오프라인 SLAM)는 모든 측정값을 유지하고 거대한 비선형 최소 제곱 문제를 풀므로 가장 정확하지만 실시간이 아니다. 슬라이딩 윈도우 최적화기(VINS-Mono, OKVIS)는 이 둘의 타협점으로, 최근의 키프레임과 측정값 윈도우에 대해 최적화를 수행하고 오래된 정보를 주변화하여 유한한 복잡도를 유지한다.29 ESIKF는 ‘크기 1의 슬라이딩 윈도우’로 볼 수 있다. 각 시간 단계에서 사전 정보와 현재 측정값을 포함하는 작은 지역적 최적화(반복 루프)를 수행한다. 이러한 관점은 ESIKF가 현대적인 최적화 방법에 비해 ‘오래된’ 기술이 아님을 보여준다. 오히려, 재귀적이고 지연 없는 비선형 최소 제곱 추정기의 매우 효율적인 구현이다. 이는 더 큰 최적화 윈도우를 관리하는 계산 오버헤드가 감당하기 어려운 시스템에서 ESIKF가 계속해서 중요하게 사용되는 이유를 설명한다.28
ESKF/ESIKF는 자율주행차에서 라이다 기반 위치 측정 결과와 IMU 및 차량 상태 측정을 융합하여 강건하고 정밀한 위치를 추정하는 데 사용된다.48 IMU 전파는 고품질의 모션 사전 정보를 제공하여 라이다 스캔 매칭 알고리즘을 돕고, 라이다는 절대적인 드리프트 보정을 제공한다. ESKF 프레임워크는 이러한 상호 보완적인 센서 양식을 융합하는 데 이상적이다.48
이러한 원리는 GPS, 휠 인코더, 지자기 센서 등 다양한 센서의 융합으로 확장될 수 있다.1 필터는 각 정보 소스를 불확실성($R$ 행렬)에 따라 가중치를 부여하여 결합하는 원칙적인 방법을 제공한다.51
또한, ESIKF는 센서 외부 파라미터(예: 카메라와 IMU 간의 변환)의 온라인 추정에도 사용될 수 있다. 이러한 파라미터는 상태 벡터에 추가되어 내비게이션 상태와 함께 추정된다. 이를 위해서는 관측 가능성(observability)을 보장하기 위한 충분한 센서 움직임이 필요하다.19 유명한 오프라인 보정 도구인 Kalibr는 종종 배치 최적화를 사용하는데, 이 또한 ESIKF와 원리를 공유한다.54
약점: 높은 구현 복잡도, 비반복 필터보다 높은 계산 비용, 엄밀한 의미에서 수렴이 보장되지 않음.
대안 고려 시점: (1) 시스템이 약한 비선형성만 가질 때 (EKF/ESKF로 충분), (2) 자코비안을 사용할 수 없거나 유도하기 어려울 때 (UKF가 더 나음), (3) 상태 차원이 작고 프로세스 모델이 매우 비선형적일 때 (UKF가 더 간단하고 효과적인 선택일 수 있음), (4) 완전한 최적화 기반 접근이 가능하고 선호될 때 (VINS-Mono/OKVIS 등).