Chapter 7. 자율주행 센서 기술: 카메라, LiDAR, 레이더

자율주행 시스템의 인지(Perception) 모듈은 주변 환경에 대한 정보를 획득하기 위하여 다양한 센서에 의존한다. 카메라, LiDAR(Light Detection and Ranging), 레이더(Radar)는 자율주행에서 가장 핵심적인 세 가지 센서 양식(sensor modality)으로, 각각 고유한 물리적 원리, 장점, 그리고 한계를 가진다. 본 장에서는 이 세 가지 센서의 동작 원리, 데이터 특성, 성능 지표, 자율주행에서의 역할, 그리고 각 센서의 상대적 장단점을 기술한다.

1. 카메라(Camera)

1.1 동작 원리

카메라는 가시광선(visible light) 또는 근적외선(near-infrared) 영역의 전자기파를 이미지 센서(CMOS 또는 CCD)를 통하여 2차원 영상으로 변환하는 수동형(passive) 센서이다. 외부 광원(태양광 또는 인공 조명)에 의하여 물체에서 반사된 빛을 수광하므로, 별도의 에너지 방출 장치가 필요하지 않다.

카메라의 영상 형성(image formation)은 핀홀 카메라 모델(pinhole camera model)로 기술된다. 3차원 공간의 점 (X, Y, Z)가 2차원 영상 평면의 점 (u, v)로 투영되는 관계는 다음과 같다.

s \begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = K \begin{bmatrix} R & \mathbf{t} \end{bmatrix} \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix}

여기서 s는 스케일 팩터, K는 내부 파라미터 행렬(intrinsic matrix), R은 회전 행렬, \mathbf{t}는 병진 벡터이다. 내부 파라미터 행렬 K는 다음과 같이 구성된다.

K = \begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix}

여기서 f_x, f_y는 초점 거리(focal length)의 픽셀 단위 표현, (c_x, c_y)는 주점(principal point)의 좌표이다.

1.2 카메라의 유형

자율주행에서 사용되는 카메라의 주요 유형은 다음과 같다.

1.3 카메라의 장점과 한계

장점:

• 풍부한 시각 정보(색상, 질감, 형태)를 제공하여 객체 분류와 차선 인식에 탁월하다.
• 교통 표지판, 신호등 등의 의미론적(semantic) 정보를 인식할 수 있다.
• 센서 단가가 LiDAR에 비하여 현저히 낮다.
• 높은 공간 해상도(spatial resolution)를 제공한다.

한계:

• 단안 카메라는 직접적인 깊이(depth) 정보를 제공하지 못한다. 깊이 추정에는 별도의 알고리즘(단안 깊이 추정, 스테레오 매칭 등)이 필요하다.
• 조명 조건(역광, 야간, 터널 진출입 등)에 민감하다.
• 악천후(폭우, 안개, 눈)에서 성능이 저하된다.
• 렌즈의 오염(먼지, 물방울)에 취약하다.

1.4 주요 성능 지표

2. LiDAR(Light Detection and Ranging)

2.1 동작 원리

LiDAR는 레이저 펄스를 방출하고 물체에서 반사되어 돌아오는 빛을 수광하여 거리를 측정하는 능동형(active) 센서이다. 거리는 빛의 왕복 비행 시간(Time of Flight, ToF)으로부터 산출된다.

d = \frac{c \cdot \Delta t}{2}

여기서 d는 대상까지의 거리, c는 빛의 속도 (\approx 3 \times 10^8 m/s), \Delta t는 왕복 비행 시간이다.

LiDAR는 레이저 빔을 다양한 방향으로 조사하여 주변 환경의 3차원 점군(point cloud) 데이터를 생성한다. 각 점은 3차원 좌표 (x, y, z)와 반사 강도(reflectivity intensity)를 포함한다.

2.2 LiDAR의 유형

기계식 회전형 LiDAR는 Velodyne사의 제품이 대표적이며, 자율주행 연구 및 개발에서 광범위하게 사용되어 왔다. 최근에는 양산성과 비용 절감을 위하여 솔리드 스테이트 및 MEMS 기반 LiDAR로의 전환이 진행되고 있다.

2.3 LiDAR 점군 데이터의 특성

LiDAR가 생성하는 점군 데이터는 다음과 같은 특성을 가진다.

• 3차원 기하 정보: 각 점이 정밀한 3차원 좌표를 가지므로, 객체의 크기, 형상, 거리를 직접적으로 파악할 수 있다.
• 희소성(Sparsity): 원거리에서는 점 간 간격이 넓어져 객체를 구성하는 점의 수가 감소한다.
• 비정형 구조: 영상과 달리 격자(grid) 구조가 아닌 비정형 데이터이므로, 전용 처리 알고리즘(예: PointNet, VoxelNet)이 필요하다.

2.4 LiDAR의 장점과 한계

장점:

• 정밀한 3차원 거리 측정이 가능하다 (정확도 \pm 2~5 cm).
• 조명 조건에 독립적으로 동작한다 (야간 포함).
• 360° 전방위 측정이 가능하다 (기계식 회전형).
• 객체의 3차원 형상을 직접 획득할 수 있다.

한계:

• 센서 단가가 높다 (기계식 회전형 기준).
• 악천후(폭우, 안개, 눈)에서 레이저 산란에 의한 성능 저하가 발생한다.
• 색상, 질감 등의 의미론적 정보를 제공하지 못한다.
• 원거리에서 점군의 밀도가 감소한다.

2.5 주요 성능 지표

3. 레이더(Radar)

3.1 동작 원리

레이더(Radio Detection and Ranging)는 전파(radio wave)를 방출하고 물체에서 반사된 신호를 수신하여 대상의 거리, 속도, 방위각을 측정하는 능동형 센서이다. 자율주행에서는 주로 밀리미터파(mmWave, 76~81 GHz) 대역의 레이더가 사용된다.

레이더의 거리 측정은 LiDAR와 유사하게 전파의 왕복 시간에 기반한다.

d = \frac{c \cdot \Delta t}{2}

레이더의 고유한 특성 중 하나는 도플러 효과(Doppler effect)를 이용하여 대상의 상대 속도(radial velocity)를 직접 측정할 수 있다는 것이다.

v_r = \frac{f_d \cdot c}{2 f_0}

여기서 f_d는 도플러 주파수 편이(Doppler frequency shift), f_0는 송신 주파수이다.

3.2 레이더의 유형

자율주행에서 사용되는 레이더는 탐지 범위와 용도에 따라 다음과 같이 분류된다.

최근에는 4D 이미징 레이더가 자율주행 분야에서 주목받고 있다. 4D 이미징 레이더는 거리, 방위각, 고도각, 속도의 4차원 정보를 높은 해상도로 제공하며, 기존 레이더에 비하여 점군 유사 데이터를 생성할 수 있다.

3.3 레이더의 장점과 한계

장점:

• 악천후(비, 눈, 안개)에서도 안정적으로 동작한다. 밀리미터파는 수분 입자에 의한 감쇠가 상대적으로 적다.
• 대상의 상대 속도를 직접 측정할 수 있다 (도플러 효과).
• 센서 단가가 LiDAR에 비하여 낮다.
• 장거리 탐지가 가능하다 (최대 300 m 이상).
• 조명 조건에 완전히 독립적이다.

한계:

• 각도 분해능(angular resolution)이 카메라와 LiDAR에 비하여 낮다.
• 금속 물체에 대한 반사가 강하지만, 비금속 물체(보행자 등)에 대한 반사율은 상대적으로 낮다.
• 다경로 반사(multipath reflection)에 의한 허위 탐지(false detection)가 발생할 수 있다.
• 정지 물체의 검출이 도플러 기반 처리에서 어려울 수 있다 (클러터 문제).

3.4 레이더 방정식(Radar Equation)

레이더의 수신 전력 P_r은 다음의 레이더 방정식으로 기술된다.

P_r = \frac{P_t G^2 \lambda^2 \sigma}{(4\pi)^3 R^4}

여기서 P_t는 송신 전력, G는 안테나 이득, \lambda는 파장, \sigma는 레이더 단면적(Radar Cross Section, RCS), R은 대상까지의 거리이다. 수신 전력은 거리의 4승에 반비례하므로, 원거리 탐지를 위해서는 높은 송신 전력과 안테나 이득이 필요하다.

대표적인 물체의 RCS 값은 다음과 같다.

4. 센서 간 비교

세 가지 센서 양식의 주요 특성을 종합적으로 비교하면 다음과 같다.

이와 같이 각 센서는 상호 보완적인 특성을 가지므로, 자율주행 시스템에서는 복수의 센서를 조합하여 사용하는 센서 융합(sensor fusion) 접근법이 표준적으로 채택되고 있다.

참고문헌

• Hartley, R., & Zisserman, A. (2004). Multiple View Geometry in Computer Vision (2nd ed.). Cambridge University Press.
• Hecht, J. (2018). Lidar for Self-Driving Cars. Optics & Photonics News, 29(1), 26–33.
• Patole, S. M., Torlak, M., Wang, D., & Ali, M. (2017). Automotive Radars: A Review of Signal Processing Techniques. IEEE Signal Processing Magazine, 34(2), 22–35.
• Li, Y., & Ibanez-Guzman, J. (2020). Lidar for Autonomous Driving: The Principles, Challenges, and Trends for Automotive Lidar and Perception Systems. IEEE Signal Processing Magazine, 37(4), 50–61.
• Sun, S., Petropulu, A. P., & Poor, H. V. (2020). MIMO Radar for Advanced Driver-Assistance Systems and Autonomous Driving: Advantages and Challenges. IEEE Signal Processing Magazine, 37(4), 71–82.

버전: 2026-04-11 v1.0