Booil Jung

RF-LIO

동시적 위치 추정 및 지도 작성(Simultaneous Localization and Mapping, SLAM)은 로봇 공학 및 자율주행 기술의 핵심적인 역량으로, 로봇이 사전 정보가 없는 미지의 환경에서 자신의 위치와 방향(pose)을 추정하면서 동시에 주변 환경의 지도를 구축하는 문제를 다룬다. 이 기술은 GPS 신호가 도달하지 않는 실내나 지하 환경에서 자율 이동 로봇의 항법을 가능하게 하는 기반을 제공한다.

초기 SLAM 연구는 단일 센서에 의존하는 경향이 있었으나, 이는 본질적인 한계를 내포한다. 예를 들어, 시각 센서(카메라)를 사용하는 Visual SLAM(VSLAM)은 풍부한 색상과 텍스처 정보를 제공하지만, 조명 변화가 심하거나 텍스처가 부족한 환경(예: 흰 벽)에서는 성능이 급격히 저하된다. 반면, 라이다(LiDAR) 센서를 사용하는 LiDAR SLAM은 레이저를 이용하여 주변 환경의 3차원 기하학적 구조를 정밀하게 측정하므로 조명 변화에 강건하지만, 특징이 부족한 퇴화 환경(degenerate environment)이나 동적 객체가 많은 환경에서는 데이터 연관(data association)의 모호성으로 인해 위치 추정 정확도가 떨어진다.

이러한 단일 센서의 한계를 극복하기 위해, 서로 다른 종류의 센서 정보를 상호 보완적으로 활용하는 다중 센서 융합(multi-sensor fusion)이 필수적인 해결책으로 부상했다. 특히 라이다와 관성 측정 장치(Inertial Measurement Unit, IMU)의 융합은 현대 SLAM 시스템에서 가장 강력하고 널리 사용되는 조합 중 하나가 되었다. 라이다는 저주파(low-frequency, 통상 10-20 Hz)로 주변 환경의 정밀한 3차원 포인트 클라우드를 제공하는 반면, IMU는 고주파(high-frequency, 수백 Hz 이상)로 로봇의 가속도와 각속도를 측정한다. 이 두 센서의 융합은 단순히 정확도를 높이는 것을 넘어, 각 센서의 근본적인 약점을 보완하는 시너지를 창출한다. 구체적으로, IMU의 고주파 측정값은 라이다 스캔이 진행되는 짧은 시간 동안 발생하는 로봇의 움직임을 보상하여 포인트 클라우드의 모션 왜곡(motion distortion)을 제거하고, 라이다 스캔 정합(scan matching)을 위한 정확한 초기 추정치를 제공하는 데 결정적인 역할을 한다.

이러한 융합의 필요성은 라이다 센서의 물리적 작동 방식에서 기인한다. 회전형 라이다는 한 번의 스캔(e.g., 10Hz 스캐너의 경우 100ms) 동안 순차적으로 포인트를 획득한다. 만약 이 시간 동안 로봇이 움직이거나 회전하면, 각 포인트는 약간씩 다른 위치에서 측정되므로 결과적으로 포인트 클라우드는 실제 환경과 다르게 “휘어지거나” “왜곡된” 형태로 나타난다. 이 왜곡은 스캔 정합 알고리즘의 기본 가정인 ‘강체 변환(rigid body assumption)’을 위배하여, 특히 로봇의 움직임이 격렬할 때 심각한 오차를 유발한다. IMU는 바로 이 문제를 해결하는 열쇠다. 수백 Hz로 측정된 IMU 데이터를 라이다 스캔 시간 동안 적분(pre-integration)함으로써, 각 포인트가 측정된 순간의 정확한 포즈를 보간(interpolate)하고 왜곡을 보정할 수 있다. 따라서 IMU와의 강결합은 단순한 성능 향상을 위한 추가 기능이 아니라, 이동 플랫폼에서 라이다 센서를 안정적으로 사용하기 위한 근본적인 필수 요건이라 할 수 있다.

센서 융합 방식은 크게 느슨한 결합(loosely-coupled)과 강결합(tightly-coupled)으로 나뉜다. 느슨한 결합 방식은 각 센서 시스템이 독립적으로 위치를 추정한 뒤, 그 추정 결과를 융합하는 방식이다. 예를 들어, 라이다 시스템이 독자적으로 주행계(odometry)를 계산하고, IMU 시스템도 독자적으로 계산한 뒤, 이 두 결과를 칼만 필터 등으로 결합하는 것이다. 반면, 강결합 방식은 각 센서의 원시 측정값(raw measurements)을 하나의 통합된 상태 추정 문제(state estimation problem) 내에서 직접 융합한다. 이 방식은 센서 간의 상호 의존성을 최대한 활용하여 더 높은 정확도와 강건성을 제공하며, 현대 고성능 LIO 시스템의 표준으로 자리 잡았다.

LIO-SAM(Tightly-coupled Lidar Inertial Odometry via Smoothing and Mapping)은 이러한 강결합 LIO의 대표적인 프레임워크로, 그 이름에서 알 수 있듯이 평활화 및 매핑(smoothing and mapping) 기법을 통해 라이다와 IMU 데이터를 긴밀하게 결합한다. LIO-SAM의 핵심 아키텍처는 팩터 그래프 최적화(Factor Graph Optimization)에 기반한다. 팩터 그래프는 로봇의 상태 변수(state variables, 예: 시간대별 포즈, 속도, IMU 바이어스)를 노드(node)로, 센서 측정값으로부터 파생된 제약 조건(constraints)을 팩터(factor)로 표현하는 확률적 그래프 모델이다. 이 구조는 다양한 종류의 측정값을 팩터 형태로 유연하게 통합할 수 있다는 큰 장점을 가진다. LIO-SAM은 IMU 예비적분 팩터, 라이다 주행계 팩터, 그리고 선택적으로 GPS 팩터와 루프 클로저(loop closure) 팩터를 그래프에 추가하여 전체 시스템의 상태를 최적화한다.

실시간 성능을 보장하기 위해 LIO-SAM은 독창적으로 두 개의 독립적인 팩터 그래프를 유지하는 전략을 사용한다. 첫 번째 그래프는 IMU 예비적분 모듈(imuPreintegration.cpp)에서 관리되며, 최근의 라이다 스캔과 IMU 측정값만을 포함하는 작은 규모의 그래프다. 이 그래프는 주기적으로 리셋되면서 IMU 바이어스를 추정하고 IMU 주파수에 맞춰 고속의 실시간 주행계를 제공하는 역할을 한다. 두 번째 그래프는 지도 최적화 모듈(mapOptimization.cpp)에서 관리되며, 라이다 주행계 팩터, GPS 팩터, 루프 클로저 팩터 등을 지속적으로 누적하여 전역 지도와 궤적의 일관성을 유지하는 역할을 한다. 또한, 모든 라이다 스캔을 처리하는 대신, 시스템의 변화가 충분히 클 때만 키프레임(keyframe)을 선택적으로 생성하고, 새로운 키프레임을 고정된 크기의 이전 ‘서브-키프레임’ 집합에 정합하는 슬라이딩 윈도우(sliding window) 방식을 채택하여 계산 부담을 크게 줄였다. 이러한 구조적 특징 덕분에 LIO-SAM은 높은 정확도와 실시간 성능을 동시에 달성하며 강결합 LIO 시스템의 대표 주자로 자리매김할 수 있었다.

LIO-SAM을 포함한 대부분의 전통적인 라이다 SLAM 알고리즘은 ‘세상은 정적이다(static world assumption)’라는 강력한 가정 위에 구축되었다. 이 가정은 실험실이나 인적이 드문 환경에서는 유효할 수 있으나, 자율주행 자동차나 서비스 로봇이 실제로 운용되는 도시 환경, 쇼핑몰, 공항 등에서는 현실과 동떨어진다. 이러한 실제 환경은 수많은 동적 객체(dynamic objects)들-움직이는 차량, 보행자, 자전거 등-로 가득 차 있다.

이러한 동적 객체들은 SLAM 시스템에 심각한 문제를 야기한다. 스캔 정합 과정에서 동적 객체의 포인트들은 정적 배경의 포인트들과 함께 처리되는데, 이는 잘못된 데이터 연관(incorrect data association)을 유발한다. 예를 들어, 알고리즘은 정지해 있는 로봇 옆을 지나가는 자동차를, 로봇이 반대 방향으로 움직인 것으로 오인할 수 있다. 이러한 오인은 위치 추정 정확도를 심각하게 저하시키고, 누적된 오차는 로봇이 자신의 위치를 완전히 잃어버리게 만들 수 있다. 또한, 동적 객체들이 지나간 자리는 지도상에 ‘유령’ 흔적(ghost trails)으로 남아 지도의 품질을 저하시키고, 추후 위치 재인식(re-localization)이나 경로 계획에 혼란을 초래한다. 따라서 실제 환경에서 강건하게 작동하는 자율 시스템을 구현하기 위해서는, 이러한 동적 객체들의 영향을 효과적으로 처리할 수 있는 동적 SLAM(Dynamic SLAM) 프레임워크가 필수적으로 요구된다.

RF-LIO(Removal-First Tightly-coupled Lidar Inertial Odometry)는 이러한 동적 환경 문제를 해결하기 위해 제안된 혁신적인 프레임워크다. RF-LIO는 검증된 강결합 LIO 프레임워크인 LIO-SAM을 기반으로 구축되어, IMU와 라이다 데이터의 긴밀한 결합을 통한 높은 주행계 성능의 장점을 그대로 계승한다.

RF-LIO의 이름에 명시된 ‘Removal-First’, 즉 ‘선-제거’가 이 시스템의 핵심 철학이자 LIO-SAM과의 가장 큰 차별점이다. 기존의 많은 동적 SLAM 시스템들이 스캔 정합을 수행한 후에 이상치(outlier) 제거 기법 등을 통해 동적 객체의 영향을 완화하려 시도하는 반면, RF-LIO는 이 순서를 뒤집었다. 즉, 현재의 라이다 스캔을 서브맵(submap)에 정합하여 포즈를 최적화하기 전에, 먼저 동적 객체로 의심되는 포인트들을 식별하고 제거하는 단계를 수행한다. 이 ‘선-제거, 후-정합(Removal-First, Match-Later)’ 접근법은 동적 객체들이 스캔 정합 과정 자체를 오염시키는 것을 원천적으로 방지하려는 목적을 가진다. 입력 데이터 자체를 정적인 부분만 남도록 “정화”함으로써, 후속되는 최적화 과정이 안정적인 정적 구조물에만 기반하여 정확한 포즈를 추정할 수 있도록 보장하는 것이다.

RF-LIO가 동적 객체를 제거하기 위해 사용하는 핵심 메커니즘은 거리 이미지(range image)의 가시성(visibility)을 비교하는 기하학적 방법이다. 이는 Removert 알고리즘에서 영감을 받은 접근법으로, 딥러닝과 같은 무거운 계산 없이 효율적으로 동적 요소를 탐지할 수 있다.

프로세스는 다음과 같이 진행된다:

  1. 거리 이미지 생성: 현재 프레임의 라이다 포인트 클라우드를 2D 거리 이미지로 투영한다. 거리 이미지는 각 픽셀이 라이다 센서로부터의 거리를 값으로 가지는 이미지다. 동시에, 로봇의 현재 추정 포즈를 기준으로 로컬 서브맵(local submap)의 포인트 클라우드 또한 거리 이미지로 투영한다.
  2. 가시성 비교: 현재 스캔의 시점(viewpoint)에서 서브맵을 바라본다고 가정한다. 만약 서브맵에 존재하던 포인트가 현재 스캔에서 획득된 새로운 포인트에 의해 가려진다면(occluded), 이 새로운 포인트는 이전에 그 자리에 없던 무언가, 즉 동적 객체일 가능성이 매우 높다. 반대로, 현재 스캔의 포인트 뒤에 있어야 할 서브맵 포인트가 보인다면, 현재 스캔의 포인트는 동적 객체가 사라지면서 드러난 배경일 수 있다. RF-LIO는 이러한 가시성 불일치를 이용하여 동적 포인트를 식별한다.
  3. 적응형 다중 해상도: 이 과정을 더 효율적이고 정확하게 만들기 위해, RF-LIO는 적응형 다중 해상도(adaptive multi-resolution) 기법을 도입한다. 이는 단일 고해상도 이미지 대신 여러 해상도의 거리 이미지를 사용하여, 계산 복잡성과 탐지 정확도 사이의 균형을 맞추는 전략이다.
  4. 정적 포인트 기반 정합: 위 과정을 통해 동적 객체로 식별된 포인트 클러스터들을 제거한다. 그 후, 남아있는 정적인 포인트 클라우드만을 사용하여 서브맵과의 정합(scan-to-static-submap matching)을 수행한다.

이러한 ‘선-제거’ 과정을 통해 RF-LIO는 동적 객체가 많은 환경에서도 스캔 정합의 정확도를 유지하며, 결과적으로 강건하고 정밀한 위치 추정을 달성할 수 있다.

RF-LIO의 ‘선-제거’ 철학은 동적 객체를 다루는 기존 패러다임에 대한 근본적인 전환을 의미한다. 이는 프론트엔드에서 환경 표현의 완전성(completeness)보다 주행계 추정의 무결성(integrity)을 우선시하는 전략적 선택이다.

이러한 접근법의 중요성을 이해하기 위해 다른 방법들과의 인과 관계를 분석해 볼 수 있다.

  1. 근본 문제: 동적 객체는 스캔 정합 과정에서 잘못된 대응점(correspondence)을 만들어내고, 이는 부정확한 포즈 추정으로 이어진다. 잘못된 포즈 추정은 다시 지도 업데이트를 오염시켜, 다음 스캔 정합을 더욱 악화시키는 악순환을 만든다.
  2. 시맨틱 접근법 (예: SuMa++): 딥러닝 네트워크를 사용하여 포인트 클라우드를 ‘정적’(건물, 도로)과 ‘동적’(자동차, 보행자) 클래스로 분할하고, 정적 클래스 포인트만으로 정합을 수행한다. 이 방법은 강력하지만, 높은 계산 비용과 학습 데이터의 품질 및 도메인에 대한 의존성이라는 명확한 한계를 가진다. 즉, 학습되지 않은 객체나 환경에서는 성능이 저하될 수 있다.
  3. ‘정합 후 필터링’ 접근법: 전체 포인트 클라우드로 스캔 정합을 수행한 후, RANSAC과 같은 일관성 검사나 이상치 제거 기법을 통해 결과 변환에 맞지 않는 포인트들을 동적 객체로 간주하고 버린다. 이 접근법은 근본적인 결함을 가지고 있다. 동적 객체들이 이미 초기 변환 추정 자체를 편향시켰을 수 있기 때문이다. 이 경우, 알고리즘은 오히려 유효한 정적 포인트를 이상치로 판단하고 동적 포인트를 유지하는 오류를 범할 수 있다.
  4. RF-LIO의 ‘선-제거’ 접근법: RF-LIO는 계산적으로 가벼운 기하학적 휴리스틱(거리 이미지를 통한 가시성 검사)을 사용하여, 핵심적인 스캔 정합 단계 이전에 동적 포인트에 대한 “최선의 추측” 필터를 적용한다. 이 방법이 모든 동적 포인트를 완벽하게 식별할 필요는 없다. 스캔 정합기를 심하게 편향시킬 가장 큰 동적 객체들만 제거해도 충분하다. 스캔 정합기의 입력을 “정화”함으로써, 초기 포즈 추정이 주로 안정적인 정적 기하 구조에서 파생되도록 보장한다. 이것이 바로 앞서 언급된 악순환을 끊는 핵심적인 메커니즘이다. 이 과정에서 일부 정적 포인트가 실수로 필터링되거나 일부 동적 포인트가 남을 수 있지만, 훨씬 더 안정적인 주행계 추정이라는 이점이 이러한 비용을 상쇄하고도 남는다. 이는 실험적으로 입증된 극적인 정확도 향상으로 증명된다. RF-LIO의 혁신은 단순히 동적 객체 제거 기법 자체가 아니라, 이 필터링 단계를 최적화 이전에 전략적으로 배치했다는 점에 있다.

RF-LIO의 성능은 다양한 실험을 통해 정량적으로 입증되었다. 특히 동적 객체가 많은 실제 도시 환경에서 그 효과가 두드러진다.

가장 대표적인 비교 대상은 선행 연구인 LOAM과 LIO-SAM이다. 높은 동적 환경에서 수행된 실험 결과에 따르면, RF-LIO는 절대 궤적 정확도(Absolute Trajectory Error, ATE) 측면에서 LOAM 대비 90%, 그리고 직접적인 기반 기술인 LIO-SAM 대비 70%의 정확도 향상을 달성했다. 이 수치는 RF-LIO의 핵심 아이디어인 ‘선-제거, 후-정합’ 모듈이 동적 객체로 인한 오차를 얼마나 효과적으로 줄이는지를 명확하게 보여주는 증거다. LIO-SAM조차도 동적 객체에 의해 성능이 저하되는 반면, RF-LIO는 이를 성공적으로 극복하여 훨씬 더 정확한 궤적을 추정할 수 있었다.

이러한 성능 평가는 자체적으로 수집한 데이터셋뿐만 아니라, 공개적으로 사용 가능한 UrbanLoco 데이터셋을 통해서도 검증되었다. UrbanLoco 데이터셋은 미국 캘리포니아의 실제 도심에서 수집된 것으로, 수많은 차량과 보행자를 포함하고 있어 동적 SLAM 알고리즘의 강건성을 평가하기에 매우 적합한 벤치마크다.

동적 객체 제거 모듈 자체의 성능 또한 주목할 만하다. RF-LIO의 동적 타겟 탐지 정확도는 92.41%에 달하며, 정적 타겟을 동적으로 오탐지하는 비율은 1.43%에 불과했다. 또한 이 탐지 과정은 프레임당 평균 0.0299초 만에 완료되어, 실시간 시스템에 적용 가능한 높은 효율성을 보여주었다.

RF-LIO 외에도 동적 환경에서의 LIO-SLAM 성능을 개선하려는 여러 연구가 존재한다. 이들과의 개념적 비교를 통해 RF-LIO의 특징을 더 명확히 이해할 수 있다.

LIO 시스템의 성능을 평가할 때, 또 다른 주요 SLAM 갈래인 시각-관성 주행계(Visual-Inertial Odometry, VIO)와의 비교는 필수적이다.

RF-LIO가 LIO-SAM에 비해 70%라는 극적인 정확도 향상을 보인다는 사실은 최적화 기반 LIO 시스템의 치명적인 취약점을 드러낸다. 바로 프론트엔드의 데이터 연관(data association) 오류에 대한 민감성이다. 팩터 그래프와 같은 백엔드 최적화기는 주어진 입력에 대해서만 최적화를 수행할 수 있다. 만약 동적 객체에 의해 오염된 입력, 즉 잘못된 스캔 정합 제약 조건(scan-matching constraints)이 제공된다면, 아무리 뛰어난 최적화기라도 실제 궤적을 복원할 수 없다.

이 인과 관계는 다음과 같이 설명될 수 있다.

  1. LIO-SAM의 팩터 그래프는 IMU, 라이다, GPS 등 다양한 팩터로부터 계산된 잔차(residual)의 합을 최소화하는 방식으로 작동한다.
  2. 이 중 라이다 팩터는 현재 스캔의 특징점(점/평면)을 서브맵의 특징점과 정합하여 생성된다.
  3. 매우 동적인 환경에서는 이러한 특징점의 상당 부분이 움직이는 차량이나 사람에 속할 수 있다.
  4. 스캔 정합 알고리즘은 점-대-평면 또는 점-대-점 거리를 최소화하려 시도하면서, 로봇의 포즈를 이 움직이는 객체들에 잘못 정렬하는 “최적해”를 찾게 된다.
  5. 이는 결함이 있는 라이다 주행계 팩터를 생성하고, 이 팩터는 팩터 그래프로 전달된다.
  6. 팩터 그래프 최적화기는 이 결함 있는 팩터를 유효한 정보로 간주하고, 전체 상태 추정치를 이 잘못된 해답 쪽으로 끌어당긴다. IMU 팩터가 어느 정도 이를 완화할 수 있지만, 강력하고 잘못된 라이다 팩터의 영향력을 압도하기는 어렵다.
  7. RF-LIO의 ‘선-제거’ 접근법은 여기서 문지기(gatekeeper) 역할을 한다. 라이다 팩터가 생성되기 에 포인트 클라우드를 정화한다. 이는 팩터 그래프에 공급되는 팩터의 품질을 훨씬 높이고, 실제 정적 환경을 올바르게 표현하도록 보장한다.
  8. 따라서 70%의 성능 향상은 단순히 점진적인 개선이 아니라, 최적화 파이프라인의 입력 단계에서 발생하는 근본적인 “쓰레기 입력, 쓰레기 출력(garbage in, garbage out)” 문제를 해결한 결과다. 이는 동적인 환경에서 강건성을 확보하기 위해서는 백엔드 최적화기의 정교함보다 프론트엔드 데이터 연관의 품질이 훨씬 더 중요할 수 있음을 시사한다.
프레임워크 기반 알고리즘 상태 추정기 동적 객체 처리 핵심 혁신 장점 단점
LOAM N/A Scan Matching 없음 고속 특징점 기반 Scan-to-Map 실시간 성능, 높은 정확도(정적 환경) IMU 융합 부재, 모션 왜곡 및 동적 객체에 취약
LIO-SAM LOAM 팩터 그래프 최적화 없음 (이상치 제거) 강결합 LIO, GPS 융합, 팩터 그래프 IMU 융합으로 모션 왜곡 보정, 드리프트 감소 동적 환경 가정, 동적 객체에 의한 성능 저하
FAST-LIO2 N/A 반복 칼만 필터 없음 원시 포인트 사용, ikd-Tree 고속, 고효율, 최적화 기반 대비 가벼움 동적 객체 처리 부재, F2M 방식의 한계
RF-LIO LIO-SAM 팩터 그래프 최적화 선-제거 (가시성 기반) ‘선-제거, 후-정합’ 패러다임 높은 동적 환경에서 매우 높은 정확도와 강건성 동적 객체 제거 모듈의 추가 계산, 퇴화 환경에는 여전히 취약

RF-LIO가 동적 환경 문제에 대한 효과적인 해결책을 제시했지만, LIO-SLAM 시스템은 여전히 ‘퇴화 환경(degenerate environments)’이라는 또 다른 근본적인 도전에 직면해 있다. 퇴화 환경이란, 특정 방향으로 기하학적 특징이 부족하여 센서 측정만으로는 로봇의 6-DOF(자유도) 포즈를 모두 유일하게(uniquely) 결정할 수 없는 환경을 의미한다.

대표적인 퇴화 환경의 예는 다음과 같다.

이러한 퇴화 환경은 SLAM 시스템에 치명적인 영향을 미친다. 구속 조건이 부족한 ‘퇴화 방향(degenerate direction)’으로의 상태 추정에는 매우 큰 불확실성이 발생하며, 이는 시간이 지남에 따라 심각한 궤적 드리프트(trajectory drift)로 이어진다. 최악의 경우, ICP(Iterative Closest Point)와 같은 스캔 정합 알고리즘이 완전히 잘못된 해(solution)로 수렴하여 시스템 전체가 실패할 수도 있다.

퇴화 문제에 대응하기 위한 연구는 크게 ‘감지’와 ‘완화’ 두 단계로 나뉜다.

퇴화 감지(Degeneracy Detection): 가장 널리 사용되는 방법은 최적화 문제의 정보 행렬(Information Matrix) 또는 헤시안 행렬(Hessian Matrix)에 대한 고유값 분석(eigenvalue analysis)이다. 정보 행렬은 각 상태 변수에 대한 측정값의 정보량을 나타낸다. 이 행렬을 고유값 분해했을 때, 특정 고유값이 다른 고유값들에 비해 매우 작다면, 이는 해당 고유벡터(eigenvector)가 가리키는 방향으로 정보가 거의 없다는 것, 즉 시스템이 그 방향으로 퇴화되었음을 의미한다.

수학적으로, 측정 잔차(residual)의 자코비안을 J라고 할 때, 정보 행렬은 H=JTJ로 근사할 수 있다. H의 고유값 분해를 $H = V \Lambda V^{-1}$라 하면, 대각 행렬 Λ의 대각 원소 λi들이 고유값이다. 만약 특정 λi가 미리 정의된 임계값보다 작으면, 이에 해당하는 고유벡터 vi가 퇴화 방향을 나타낸다.

퇴화 완화(Degeneracy Mitigation):

  1. 제약 조건 조정: 퇴화가 감지되면, 해당 방향의 불확실성을 최적화 과정에 명시적으로 반영한다. 예를 들어, 퇴화 방향에 해당하는 측정 공분산(measurement covariance)을 매우 크게 설정하여, 해당 방향으로는 최적화가 거의 이루어지지 않도록 한다. 이렇게 하면 잘못된 정보가 전체 포즈 추정에 과도한 영향을 미치는 것을 방지할 수 있다.
  2. 센서 스위칭: Switch-SLAM과 같은 시스템은 LiDAR 퇴화가 감지되면, 일시적으로 시각 주행계(Visual Odometry)의 추정치를 사용하는 방식으로 전환한다. 카메라는 기하학적으로는 특징이 없지만 텍스처가 풍부한 환경(예: 포스터가 붙은 긴 복도 벽)에서 강점을 보일 수 있으므로, 이는 매우 효과적인 전략이다. 이 방식은 실패 정보가 시스템 전체로 전파되는 것을 막는다.
  3. 다중 센서 융합: 가장 근본적인 해결책은 LiDAR가 제공하지 못하는 제약 조건을 다른 센서로부터 보완하는 것이다. IMU는 외부 환경과 무관하게 모션을 측정하므로 퇴화 환경에서 단기적인 드리프트를 억제하는 데 큰 도움이 된다. 카메라, UWB, GPS 등 다른 센서들을 융합하는 것 역시 퇴화 문제를 완화하는 핵심 전략이다.

퇴화 환경이 아니더라도, 주행계(odometry)는 본질적으로 상대적인 움직임을 연속적으로 적분해 나가는 과정이기 때문에 시간이 지남에 따라 작은 오차들이 필연적으로 누적된다. 이를 누적 오차 또는 드리프트(drift)라고 한다.

이 문제를 해결하는 가장 핵심적인 기술이 바로 루프 클로저(Loop Closure) 또는 루프 탐지(loop detection)이다. 루프 클로저는 로봇이 이전에 방문했던 장소를 다시 방문했을 때 이를 재인식하고, 과거의 포즈와 현재의 포즈 사이에 새로운 제약 조건(루프 클로저 팩터)을 추가하는 과정이다. 이 새로운 제약 조건은 그동안 누적된 전체 궤적의 오차를 전역적으로(globally) 보정하고, 일관성 있는 지도를 생성하는 데 결정적인 역할을 한다.

LIO-SAM과 같은 팩터 그래프 기반 시스템은 이러한 루프 클로저 팩터를 기존의 IMU 및 라이다 팩터와 함께 자연스럽게 통합하여 최적화할 수 있다는 큰 장점을 가진다. 하지만 퇴화 환경에서는 장소 인식 알고리즘이 잘못된 장소를 같은 곳으로 오인하여 잘못된 루프 클로저(false positive)를 생성할 위험이 커진다. 따라서 퇴화 상황을 감지하고, 퇴화가 심한 경우에는 루프 클로저 팩터를 추가하지 않는 등 강건한 전략이 필요하다.

‘동적 환경’과 ‘퇴화 환경’이라는 두 가지 문제는 SLAM 알고리즘의 관점에서 볼 때 정보 오염(information corruption)이라는 동일한 문제의 다른 두 얼굴이다. 동적 객체는 거짓 정보(false information)를 제공하고, 퇴화 환경은 불충분한 정보(insufficient information)를 제공한다. RF-LIO는 전자에 특화된 해결책이지만, 두 문제를 해결하는 원리는 결국 다중 센서 융합과 정보 이론적 검증으로 수렴하고 있다.

이 관계를 단계적으로 살펴보면 다음과 같다.

  1. 핵심 문제: SLAM 시스템의 상태 추정기는 라이다 스캔에서 파생된 기하학적 제약 조건을 사용하여 IMU 드리프트를 보정한다.
  2. 사례 1: 동적 환경 (거짓 정보): 움직이는 자동차는 강력하지만 잘못된 기하학적 제약 조건을 제공한다. 스캔 정합기는 여기에 현혹되어 신뢰도는 높지만 실제와는 다른 잘못된 포즈 업데이트를 생성한다. RF-LIO는 이러한 거짓 정보를 사전 필터링함으로써 이 문제를 해결한다.
  3. 사례 2: 퇴화 환경 (불충분한 정보): 긴 복도는 벽에 수직인 두 방향으로는 강력한 제약 조건을 제공하지만, 복도 축 방향으로는 거의 제로에 가까운 제약 조건을 제공한다. 스캔 정합기는 이 축을 따라 무한히 많은, 동등하게 좋은 해를 가지게 되므로 드리프트가 발생한다.
  4. 공통점: 두 경우 모두, 라이다의 기하학적 정보에만 의존하는 것은 신뢰할 수 없다. 해결책은 동일한 실패 모드에 취약하지 않은, 독립적인 두 번째 정보 소스를 도입하는 것이다.
  5. 동적 문제에 대한 RF-LIO의 해결책: RF-LIO는 시간적 일관성 검사(현재 스캔과 과거 지도의 가시성 차이)를 사용하여 공간적 데이터를 필터링한다.
  6. 퇴화 문제에 대한 해결책: 다른 센서를 사용한다. 예를 들어, IMU는 외부 기하 구조와 독립적으로 모션을 추정한다. 카메라는 기하학적으로는 균일하지만 텍스처가 있는 복도에서 제약 조건을 제공할 수 있다. UWB나 GPS와 같은 절대 위치 센서는 드리프트를 직접적으로 구속한다.
  7. 메타 패턴: SLAM 기술은 단순히 데이터를 맹목적으로 융합하는 것을 넘어, 최종 상태 추정에 통합하기 전에 각 센서 정보의 품질신뢰도를 능동적으로 평가하는 방향으로 발전하고 있다. 고유값 분석을 통한 퇴화 감지는 이러한 정보 품질 평가를 수학적으로 공식화한 것이다. 이는 미래의 진보된 시스템이 고정된 융합 전략을 사용하는 대신, 현재의 맥락(동적인지, 퇴화되었는지 등)에 따라 데이터를 어떻게 융합할지 결정하는 “메타-레이어(meta-layer)”를 가질 것임을 시사한다.

LIO 시스템은 IMU와 라이다의 강결합을 통해 매우 정확한 상대적 움직임을 추정하는 주행계(odometry)를 제공하지만, 근본적으로 상대 위치만을 추정하기 때문에 장시간 운용 시 오차가 누적되는 드리프트 문제에서 자유로울 수 없다. 이 문제는 GPS(Global Positioning System)를 통해 해결할 수 있지만, GPS는 실외 개활지에서만 사용 가능하며 실내, 지하, 터널, 고층 빌딩 사이 등 GNSS(Global Navigation Satellite System) 음영 지역에서는 무용지물이다.

이러한 GNSS 음영 환경에서 드리프트 문제를 해결할 강력한 대안으로 UWB(Ultra-Wideband) 기술이 주목받고 있다. UWB는 매우 짧은 펄스를 사용하여 cm 수준의 정밀한 거리 측정이 가능하며, 넓은 대역폭 덕분에 다중 경로(multipath) 효과에 강하고, 저렴한 비용으로 절대적인 위치 정보를 제공할 수 있다. 환경에 몇 개의 UWB 앵커(anchor)를 설치하고 로봇에 UWB 태그(tag)를 부착하면, 태그와 앵커 간의 거리 측정을 통해 로봇의 전역 좌표계 기준 절대 위치를 계산할 수 있다.

LIO 시스템에 UWB를 융합하면, LIO가 제공하는 정밀한 단기 궤적과 UWB가 제공하는 전역 절대 위치 정보를 결합하여 LIO의 누적 오차를 지속적으로 보정할 수 있다. 그 결과, 장시간 운용에도 드리프트가 발생하지 않는, 전역적으로 정확한 궤적을 획득하는 것이 가능해진다.

UWB-LIO 융합 시스템은 크게 최적화 기반 방식과 필터 기반 방식으로 나눌 수 있으며, LIRO와 MR-ULINS가 각각의 대표적인 예이다.

UWB 기반 측위 시스템의 성능을 저하하는 가장 큰 요인은 신호가 장애물에 의해 가려지거나 반사되어 직접 도달하지 못하는 NLOS(Non-Line-of-Sight) 환경이다. NLOS는 신호의 전달 경로를 길게 만들어 실제 거리보다 더 긴 거리가 측정되는 양의 편향(positive bias)을 유발하며, 이는 위치 추정의 정확도를 심각하게 떨어뜨린다. 따라서 UWB를 SLAM에 안정적으로 사용하기 위해서는 NLOS를 효과적으로 식별하고 그 영향을 완화하는 기술이 필수적이다.

LIO-SLAM의 강건성을 높이기 위한 또 다른 차세대 기술로 5G mmWave(밀리미터파) 통신 신호를 활용하는 연구가 부상하고 있다. 5G NR(New Radio) 시스템, 특히 28GHz 이상의 mmWave 대역은 수백 MHz에서 GHz에 이르는 넓은 대역폭과 대규모 안테나 어레이(MIMO)를 특징으로 한다. 이는 초고속 통신뿐만 아니라, 높은 해상도의 환경 감지(sensing) 잠재력을 가지고 있음을 의미한다.

능동 감지(Active Sensing) 방식의 5G SLAM은 5G 단말기나 기지국이 능동적으로 mmWave 신호를 방출하고, 주변 환경에서 반사되어 돌아오는 신호를 수신하여 마치 레이더나 라이다처럼 주변 환경의 포인트 클라우드를 생성하는 개념이다.4

UWB-LIO 융합에서 최적화 기반(LIRO)과 필터 기반(MR-ULINS)의 아키텍처 선택은 전역 일관성(global consistency)과 온라인 적응성(online adaptability) 사이의 근본적인 트레이드오프를 반영한다. 특히 MR-ULINS의 MSCKF 접근법은 UWB가 가진 독특한 오차 특성을 처리하는 데 매우 적합한 구조를 보여준다.

이 아키텍처 선택의 인과 관계를 분석해 보면 다음과 같다.

  1. LIRO의 목표 (최적화 기반): 슬라이딩 윈도우 또는 전체 이력에 걸쳐 주어진 모든 측정값(LiDAR, IMU, UWB)에 대해 수학적으로 가장 최적인 궤적을 찾는 것이다. 이를 위해 모든 상태 변수를 반복적으로 재선형화하고 함께 풀어낸다.1 이는 UWB를 추가하는 주된 동기인 장기적 드리프트를 보정하고 전역 지도의 일관성을 달성하는 데 매우 탁월하다.
  2. UWB의 문제점: UWB 측정값은 단순한 가우시안 노이즈를 넘어서는 오차를 포함한다. 시계 드리프트나 안테나 오프셋과 같은 시스템적 오차와, NLOS와 같은 상태 의존적인 치명적 오류가 바로 그것이다. 이러한 오차들은 단순한 노이즈 모델로 처리하기 어렵다.
  3. MR-ULINS의 목표 (필터 기반): 새로운 측정값으로 상태를 보정하고 효율적으로 전파함으로써 강건한 실시간 상태 추정치를 유지하는 것이다. 여기서 MSCKF 프레임워크가 핵심적인 역할을 한다.
  4. MSCKF가 UWB에 적합한 이유:
    • 온라인 상태 추정: 칼만 필터 프레임워크는 본질적으로 온라인 추정을 위해 설계되었다. 이는 UWB의 시스템적 오차(바이어스 bu, 스케일 su)를 상태 벡터에 직접 포함시켜 매 타임 스텝마다 추정하는 것을 자연스럽게 만든다. 최적화 프레임워크도 이를 수행할 수 있지만, 필터링 방식이 구조적으로 더 적합하다.
    • 이상치 처리: 고주파 IMU에 의해 예측되고 LiDAR에 의해 보정되는 필터의 예측 단계는 매우 정확한 단기 궤적을 제공한다.2 이 예측된 궤적은 새로 들어오는 UWB 측정값을 검증하는 강력한 기준선 역할을 한다. “다중-에포크 이상치 제거”는 바로 이 아키텍처의 직접적인 결과물이다. 이는 필터의 강건한 예측을 사용하여 시간 경과에 따른 UWB 데이터의 일관성을 검사하는데, 이는 NLOS 이상치를 제거하기 위해 단일 에포크 카이제곱 검정을 사용하는 것보다 훨씬 강력하다.
  5. 결론: LIRO가 UWB를 사용하여 LIO의 드리프트 문제를 해결하는 반면, MR-ULINS는 한 걸음 더 나아가 LIO를 사용하여 UWB의 신뢰성 문제(NLOS, 시스템 오차)를 해결한다. MSCKF 프레임워크에 의해 가능해진 이러한 공생 관계는, 특히 앵커가 부족하거나 NLOS가 심한 까다로운 UWB 조건에서 실험 결과가 보여주듯이 2 더 강건한 시스템으로 이어진다.
융합 유형 핵심 센서 상태 추정기 핵심 장점 주요 과제 대표 시스템
LIO LiDAR, IMU 최적화/필터 모션 왜곡 보정, 단기 드리프트 억제 장기 드리프트, 퇴화 환경 LIO-SAM, FAST-LIO2
VIO Camera, IMU 최적화/필터 저비용, 소형, 저전력 조명, 텍스처, 빠른 모션에 취약 VINS-Mono, ORB-SLAM3
LVI-SLAM LiDAR, Visual, IMU 최적화/필터 상호 보완을 통한 최고의 강건성 시스템 복잡도, 계산 비용 증가 LVI-SAM, R3Live
LIO+GPS LiDAR, IMU, GPS 팩터 그래프 최적화 실외에서 드리프트 없는 전역 위치 GNSS 음영 지역에서 무용지물 LIO-SAM (GPS 모드)
UWB-LIO (최적화) LiDAR, IMU, UWB 팩터 그래프 최적화 전역 일관성, 드리프트 없는 궤적 UWB 이상치(NLOS)에 민감 LIRO
UWB-LIO (필터) LiDAR, IMU, UWB 확장/반복 칼만 필터 (MSCKF) UWB 오차(NLOS, 시스템)에 강건 최적화 기반 대비 전역 최적성 보장 어려움 MR-ULINS

RF-LIO는 현대 LIO-SLAM 기술의 중요한 진일보를 상징한다. 이 시스템은 기존의 강력한 강결합 LIO 프레임워크인 LIO-SAM이 직면했던 ‘정적 환경 가정’이라는 근본적인 한계를, ‘선-제거, 후-정합’이라는 우아하고 효율적인 아이디어로 극복했다.

RF-LIO의 핵심 기술적 기여는, 고가의 딥러닝 연산이나 복잡한 모델에 의존하지 않고 순수 기하학적 가시성 정보에 기반한 방법으로 동적 객체를 효과적으로 제거했다는 점이다. 이로 인해 실제 자율주행 차량이나 서비스 로봇이 마주하는 도시와 같이 복잡하고 동적인 환경에서 위치 추정의 정확도와 강건성을 전례 없는 수준으로 향상시켰다. 이는 LIO-SLAM 기술을 통제된 실험실 환경에서 벗어나 실제 산업 현장으로 한 단계 더 나아가게 하는 중요한 실용적 가치를 지닌다. RF-LIO는 동적 환경이 더 이상 SLAM의 실패 요인이 아니라 극복 가능한 문제임을 입증했다.

RF-LIO와 같은 진보에도 불구하고, 현재의 LIO-SLAM 기술은 여전히 몇 가지 중요한 한계를 가지고 있다.

이상의 분석을 바탕으로, LIO-SLAM 분야의 유망한 향후 연구 방향을 다음과 같이 제언한다.

  1. LIRO: Tightly Coupled Lidar-Inertia-Ranging Odometry, accessed July 24, 2025, https://arxiv.org/abs/2010.13072
  2. MR-ULINS: A Tightly-Coupled UWB-LiDAR-Inertial Estimator With …, accessed July 24, 2025, http://i2nav.cn/ueditor/jsp/upload/file/20241126/1732622538933063283.pdf
  3. NLOS Ranging Mitigation with Neural Network Model for UWB …, accessed July 24, 2025, https://arxiv.org/abs/2206.09607
  4. Simultaneous Localization and Mapping Using Active … - arXiv, accessed July 24, 2025, https://arxiv.org/abs/2507.04662