구면 스테레오 매칭

2025-10-03, G25DR

1. 서론

1.1 구면 스테레오 매칭의 정의와 중요성

구면 스테레오 매칭(Spherical Stereo Matching)은 360도 전방위(omnidirectional) 시야를 포괄하는 한 쌍 이상의 구면 영상(spherical images)으로부터 3차원 깊이 정보를 복원하는 컴퓨터 비전의 핵심 기술이다.1 인간이 두 눈의 시차(parallax)를 이용해 입체 공간을 인식하는 원리와 유사하게, 이 기술은 서로 다른 위치에 설치된 카메라에서 촬영된 영상 간의 대응점(correspondence)을 식별하고, 이들 사이의 기하학적 차이, 즉 시차(disparity)를 계산하여 각 픽셀의 깊이를 추정한다.3 결과적으로 생성되는 시차 맵 또는 깊이 맵은 가까운 물체는 밝게, 먼 물체는 어둡게 표현되어 직관적인 거리 정보를 제공한다.3

이 기술의 중요성은 기존 평면(planar) 카메라가 갖는 본질적인 한계인 제한된 화각(Field-of-View, FOV)을 극복하는 데 있다.7 전통적인 핀홀(pinhole) 카메라 모델 기반의 스테레오 비전은 전방의 특정 영역에 대한 깊이 정보만을 제공할 수 있다. 반면, 구면 스테레오 매칭은 어안(fisheye) 렌즈나 다중 카메라 리그(rig)를 통해 획득한 전방위 영상을 처리함으로써, 주변 환경 전체에 대한 완전하고 끊김 없는 3차원 공간 정보를 생성할 수 있다. 이러한 포괄적인 환경 인식 능력은 로보틱스, 자율 주행, 가상현실(VR) 및 증강현실(AR)과 같은 첨단 기술 분야에서 필수적인 요구사항으로 자리 잡았다.2 로봇은 사각지대 없이 주변의 장애물을 인지하고 안전한 경로를 계획할 수 있으며, VR/AR 시스템은 사용자가 위치한 실제 공간을 실시간으로 3D 모델링하여 가상 객체와의 상호작용을 극대화할 수 있다.

1.2 기존 평면 스테레오 매칭의 한계와 구면 기하학 도입의 필요성

전통적인 평면 스테레오 매칭 알고리즘은 두 가지 핵심적인 기하학적 가정을 전제로 한다. 첫째는 카메라가 핀홀 모델을 따른다는 것이고, 둘째는 스테레오 정합(stereo rectification)을 통해 두 영상의 에피폴라 선(epipolar line)이 서로 평행한 수평선으로 정렬될 수 있다는 것이다.9 이 가정 덕분에 한 영상의 특정 픽셀에 대응하는 점을 다른 영상에서 찾을 때, 전체 2차원 영역이 아닌 단일 수평선상에서만 탐색하면 되므로 문제의 복잡도가 2D에서 1D로 크게 감소한다.11

그러나 360도 전방위 영상을 생성하는 어안 렌즈나 반사굴절(catadioptric) 시스템은 핀홀 모델로 근사하기 어려운 심각한 방사 왜곡(radial distortion)을 포함한다.7 이러한 시스템에서 3차원 공간의 한 점이 투영되는 경로는 더 이상 직선이 아니며, 따라서 에피폴라 “선” 역시 복잡한 곡선 형태를 띤다.10 특히, 구면 영상을 등방성 투영법(Equirectangular Projection, ERP)과 같은 2D 평면으로 펼칠 때 발생하는 기하학적 왜곡은 극(pole) 지역으로 갈수록 극심해져, 평면 기하학 기반의 알고리즘을 직접 적용하는 것을 불가능하게 만든다.

이러한 한계를 극복하기 위해 구면 기하학(spherical geometry)의 도입이 필연적이다. 구면 스테레오 비전에서는 이미지 평면을 유클리드 평면이 아닌 단위 구(unit sphere)로 간주한다.14 이 모델에서 3차원 공간의 점, 두 카메라의 광학 중심을 포함하는 에피폴라 평면(epipolar plane)과 단위 구가 교차하여 만드는 궤적은 직선이 아닌 대원(great circle)의 호(arc)가 된다.15 따라서 구면 스테레오 매칭 알고리즘은 이러한 비유클리드 기하학적 제약을 명시적으로 모델링하거나, 왜곡에 강건한 새로운 표현 방식을 학습해야 하는 근본적인 도전에 직면한다. 이는 단순히 화각을 넓히는 문제를 넘어, 기하학적 패러다임 자체의 전환을 요구하는 것이다.

1.3 보고서의 구조 및 전개 방향 개괄

본 보고서는 구면 스테레오 매칭 기술을 체계적이고 심층적으로 분석하는 것을 목표로 한다. 이를 위해 먼저 2장에서는 기술의 근간을 이루는 구면 카메라 모델과 구면 에피폴라 기하학의 수학적 원리를 상세히 다룬다. 평면 기하학과 구면 기하학의 근본적인 차이점을 명확히 함으로써, 구면 스테레오 매칭이 해결해야 할 핵심 과제를 정의한다.

3장에서는 특징점 기반 매칭, 스피어 스위핑(sphere sweeping) 등 전통적인 알고리즘들을 살펴본다. 이 알고리즘들이 구면 기하학의 문제를 어떻게 접근하고 해결하려 했는지, 그리고 어떤 한계에 직면했는지를 분석한다. 4장에서는 현대 컴퓨터 비전의 주류로 자리 잡은 심층 학습(deep learning) 기반의 방법론을 집중적으로 조명한다. End-to-end 학습 패러다임의 등장과 함께, PanoDepth, RomniStereo, DFI-OmniStereo와 같은 최신 네트워크 아키텍처들이 구면 왜곡과 같은 난제를 어떻게 혁신적으로 해결하고 있는지 상세히 기술한다.

5장에서는 텍스처가 부족한 영역, 폐색(occlusion) 문제 등 기술이 여전히 직면하고 있는 핵심 난제들을 정리하고, HELVIPAD와 같은 대규모 실제 데이터셋의 등장이 연구 생태계에 미친 영향을 분석한다. 이를 바탕으로 파운데이션 모델의 활용, 다중 모달 융합 등 미래 연구 방향을 조망한다. 마지막으로 6장에서는 로보틱스, 자율 주행, 가상현실 등 구면 스테레오 매칭 기술이 실제 산업 현장에서 어떻게 활용되고 있는지 구체적인 사례를 통해 살펴보고, 기술의 현재 가치와 미래 잠재력을 종합하며 보고서를 마무리한다.

2. 구면 스테레오 비전의 기하학적 기초

구면 스테레오 매칭을 이해하기 위해서는 먼저 그 기반이 되는 구면 카메라 모델과 독특한 에피폴라 기하학에 대한 깊이 있는 이해가 선행되어야 한다. 이는 기존의 평면 영상과는 근본적으로 다른 기하학적 특성을 가지며, 이 차이점이 구면 스테레오 매칭 알고리즘 설계의 출발점이 된다.

2.1 구면 카메라 모델

2.1.1 중심 투영 모델

구면 카메라 모델의 가장 기본적인 형태는 중심 투영 모델(Central Projection Model)이다.14 이 모델은 3차원 공간의 모든 광선이 단일점, 즉 카메라의 광학 중심(optical center)

C를 통과한다고 가정한다. 3차원 공간상의 한 점 M이 카메라 좌표계에서 벡터 M^C = (X, Y, Z)로 표현될 때, 이 점은 카메라 중심 C를 원점으로 하는 단위 구(unit sphere) 표면 위의 한 점 m으로 투영된다.14 이 투영 관계는 다음과 같은 간단한 정규화(normalization)로 표현할 수 있다.
m = \frac{M^C}{\|M^C\|}
여기서 m은 크기가 1인 단위 벡터이며, 구면 위의 이미지 점을 나타낸다. 이 모델의 가장 큰 장점은 일반성이다. 핀홀 카메라뿐만 아니라, 넓은 화각을 포착하는 어안 렌즈, 거울과 렌즈를 함께 사용하는 반사굴절 시스템 등 단일 유효 시점(single effective viewpoint)을 갖는 모든 종류의 중심 투영 카메라를 동일한 수학적 프레임워크로 통합하여 설명할 수 있다.14

2.1.2 등방성 투영법 (Equirectangular Projection, ERP)

카메라에 의해 포착된 구면 위의 3차원 정보 m은 실제로는 2차원 이미지 파일로 저장 및 처리되어야 한다. 이를 위해 가장 널리 사용되는 방식이 등방성 투영법(Equirectangular Projection, ERP)이다. 이 방법은 구면 좌표계의 위도(latitude, \phi)와 경도(longitude, \theta)를 2차원 평면의 y축과 x축에 각각 선형적으로 매핑한다.14 구면 좌표

(\theta, \phi)와 데카르트 좌표 (X, Y, Z) 사이의 관계는 다음과 같다 (반지름 r=1인 단위 구 가정).

• X = \cos(\phi) \cos(\theta)
• Y = \cos(\phi) \sin(\theta)
• Z = \sin(\phi)

이 구면 좌표는 이미지의 폭(width) W와 높이(height) H를 사용하여 2D 픽셀 좌표 (u, v)로 변환된다.

• u = \frac{\theta}{2\pi} W
• v = \left( \frac{\pi}{2} - \phi \right) \frac{H}{\pi}

ERP는 360도 전체 시야를 하나의 직사각형 이미지로 표현할 수 있어 직관적이지만, 심각한 기하학적 왜곡을 유발하는 근본적인 단점을 안고 있다.16 특히, 위도가 높은 극(pole) 지역(\phi \to \pm \pi/2)으로 갈수록 수평 방향으로 극심하게 늘어나는(stretching) 현상이 발생하며, 반대로 적도(equator) 지역(\phi = 0)에서는 상대적으로 정보가 압축된다. 이러한 비등방적(anisotropic) 왜곡은 동일한 크기의 물체라도 이미지의 어느 위치에 있느냐에 따라 형태와 크기가 완전히 다르게 보이는 결과를 초래한다.7 이는 표준적인 컨볼루션 신경망(CNN)이 사용하는 고정된 형태의 커널(kernel)이 위치에 따라 변화하는 객체의 특징을 일관되게 학습하는 것을 방해하는 주요 요인으로 작용하며, 구면 스테레오 매칭의 성능을 저하시키는 핵심적인 원인이 된다.8

2.1.3. 최신 어안 렌즈 모델

ERP의 왜곡 문제를 완화하고 더 정확하게 실제 렌즈의 물리적 특성을 모델링하기 위해 다양한 고급 어안 렌즈 모델이 제안되었다. 그중 Double Sphere Camera Model은 특히 주목할 만하다.17 이 모델은 3D 점을 하나의 구가 아닌, 서로 약간 떨어져 있는 두 개의 가상 구에 순차적으로 투영하는 방식을 사용한다. 이 과정은 삼각함수와 같은 계산 비용이 높은 연산을 사용하지 않고도 180도를 초과하는 넓은 화각의 어안 렌즈 왜곡을 효과적으로 표현할 수 있다는 장점이 있다.17 이러한 모델은 실시간 처리가 중요한 로보틱스나 자율 주행 애플리케이션에서 구면 스테레오 매칭 알고리즘의 전처리 단계로 활용될 때, 계산 효율성과 정확성 사이의 균형을 맞추는 데 기여한다.18

2.2. 구면 에피폴라 기하학

에피폴라 기하학은 두 시점 간의 기하학적 관계를 설명하며, 스테레오 매칭에서 대응점 탐색 범위를 2차원에서 1차원으로 줄여주는 핵심적인 제약(constraint)을 제공한다.

2.2.1. 평면 기하학과의 개념 비교

전통적인 평면 스테레오 비전에서 에피폴라 기하학은 두 카메라의 광학 중심 C_1, C_2와 3차원 공간의 한 점 P에 의해 정의되는 **에피폴라 평면(epipolar plane)**을 기반으로 한다.10 이 평면이 두 이미지 평면과 교차하면서 만들어내는 선이 바로 **에피폴라 선(epipolar line)**이다. 한 이미지의 특정 점 x_1에 대응하는 점 x_2는 반드시 다른 이미지의 에피폴라 선 l_2 위에 존재해야 한다는 것이 에피폴라 제약이다.10

구면 스테레오 비전에서도 에피폴라 평면의 정의는 동일하다. 그러나 이미지 “평면“이 단위 “구“로 대체되면서 근본적인 차이가 발생한다. 에피폴라 평면과 단위 구가 교차하여 만드는 궤적은 더 이상 직선이 아니라, 구의 중심을 지나는 원, 즉 **대원(great circle)**의 호(arc)가 된다.15 따라서 구면 스테레오 매칭에서 대응점 탐색은 직선이 아닌, 이 대원의 궤적을 따라 이루어져야 한다. 이 대원 궤적이 ERP와 같은 2D 평면에 투영되면 복잡한 형태의 곡선으로 나타나게 되어, 탐색 경로를 계산하는 것 자체가 하나의 도전 과제가 된다.13

2.2.2. 구면 에피폴라 선의 수학적 유도

구면 에피폴라 제약은 두 카메라 시점 간의 상대적인 회전(Rotation) R과 이동(Translation) t를 통해 수학적으로 표현된다. 카메라 1의 좌표계에서 관측된 3D 점 P의 방향을 나타내는 단위 벡터를 m_1, 카메라 2의 좌표계에서 관측된 동일한 점 P의 방향 벡터를 m_2라고 하자. 이 두 벡터와 두 카메라 중심을 잇는 기준선(baseline) 벡터 t는 모두 에피폴라 평면 위에 존재해야 한다. 이는 세 벡터가 공면(coplanar) 관계에 있음을 의미하며, 다음과 같은 삼중적(triple product)으로 표현할 수 있다.14
m_2^T \cdot (t \times (R m_1)) = 0
이 식은 행렬 형태로 변환하여 본질 행렬(Essential Matrix) E를 이용한 에피폴라 제약식으로 나타낼 수 있다. 여기서 E = [t]_\times R이며, [t]_\times는 벡터 t의 외적을 나타내는 왜대칭 행렬(skew-symmetric matrix)이다.
m_2^T E m_1 = 0
이 제약식은 구면 영상에서 두 점 m_1과 m_2가 동일한 3D 지점에서 비롯된 대응점인지를 판별하는 근본적인 기준을 제공한다.14

에피폴라 선, 즉 대원의 방정식은 기하학적으로 유도할 수 있다. 한 이미지 위의 점 m_1이 주어졌을 때, 이에 대응하는 에피폴라 대원은 m_1을 카메라 1의 좌표계에서 카메라 2의 좌표계로 변환한 벡터 R m_1과, 카메라 2의 에피폴(epipole, 카메라 1의 중심이 카메라 2의 구면에 투영된 점) 방향 벡터 t에 의해 정의된다. 이 두 벡터가 생성하는 평면과 단위 구의 교선이 바로 에피폴라 대원이 된다. 이 대원의 파라메트릭 방정식은 평면 내의 두 직교 단위 벡터 \mathbf{u}와 \mathbf{v}를 이용하여 다음과 같이 표현할 수 있다.21
c(\omega) = \mathbf{u} \cos \omega + \mathbf{v} \sin \omega
여기서 \omega는 각도 파라미터이다. 이 방정식을 통해 ERP 이미지 상에서 대응점이 존재할 곡선 경로를 정확히 계산할 수 있다.

2.2.3. 카메라 배치와 에피폴라 기하학

구면 스테레오 시스템에서 카메라의 물리적 배치는 에피폴라 기하학의 형태와 매칭 알고리즘의 복잡도에 결정적인 영향을 미친다.

• 수직(Top-Bottom) 배치: 두 카메라를 수직으로 배치하면 기준선(baseline)이 구면 좌표계의 Z축과 나란해진다. 이 경우, 에피폴라 대원은 구의 남극과 북극을 지나는 경도선(meridian)과 일치하게 된다. ERP 평면에서 경도선은 수직선으로 투영되므로, 복잡했던 곡선 탐색 문제가 다시 단순한 1차원 수직 탐색 문제로 환원된다.23 이 방식은 알고리즘을 크게 단순화할 뿐만 아니라, 한 카메라가 다른 카메라를 가리는 자체 폐색(self-occlusion)을 최소화하는 장점이 있어 HELVIPAD와 같은 최신 데이터셋 구축에 적극적으로 활용되고 있다.8
• 수평(Horizontal) 배치: 두 카메라를 수평으로 나란히 배치하면 기준선이 XY 평면상에 놓인다. 이 경우 에피폴라 대원은 경도선과 일치하지 않으며, ERP 평면에 투영 시 복잡한 사인파 형태의 곡선으로 나타난다.24 따라서 대응점 탐색을 위해서는 이 곡선 경로를 따라 픽셀 값을 샘플링하고 비교해야 하므로 계산 복잡도가 크게 증가한다.

이처럼 카메라 배치는 단순한 하드웨어 구성의 문제가 아니라, 후속 매칭 알고리즘의 효율성과 구현 난이도를 결정하는 기하학적 사전 조건 설정의 역할을 한다. 수직 배치는 문제 자체를 단순화하는 일종의 ’암묵적 정합(implicit rectification)’으로 볼 수 있으며, 이는 구면 스테레오 기술을 실용적으로 만드는 데 있어 매우 전략적인 선택이다.

표 1: 평면과 구면 에피폴라 기하학의 핵심 차이점 비교

3. 전통적 구면 스테레오 매칭 알고리즘

심층 학습이 부상하기 이전, 구면 스테레오 매칭 연구는 컴퓨터 비전의 고전적인 파이프라인을 구면 기하학에 맞게 변형하고 확장하는 방향으로 발전했다. 이러한 전통적 알고리즘들은 문제의 기하학적 본질을 명시적으로 다루며, 최신 심층 학습 모델의 기반이 되는 중요한 아이디어를 제공했다.

3.1. 스테레오 매칭 파이프라인

전통적인 스테레오 매칭 알고리즘은 일반적으로 다음의 4단계 파이프라인 구조를 따른다.25

3.1.1. 정합 비용 계산 (Matching Cost Computation)

이 단계는 기준 영상(reference image)의 한 픽셀(또는 픽셀 블록)이 목표 영상(target image)의 후보 픽셀과 얼마나 유사한지를 측정하는 과정이다. 가장 대표적인 방식은 영역 기반(Area-based) 접근법으로, 특정 픽셀 주변의 사각형 윈도우(window) 내 픽셀 값들을 비교한다.4 주요 비용 함수는 다음과 같다.5

• SAD (Sum of Absolute Differences): 두 윈도우 내 픽셀 값 차이의 절댓값을 모두 합산한다. 계산이 매우 빠르다는 장점이 있다.

C_{SAD}(x, y, d) = \sum_{i,j \in W} \vert I_L(x+i, y+j) - I_R(x-d+i, y+j) \vert

• SSD (Sum of Squared Differences): 픽셀 값 차이의 제곱을 합산한다. 오차에 더 큰 페널티를 부여하는 특징이 있다.

C_{SSD}(x, y, d) = \sum_{i,j \in W} (I_L(x+i, y+j) - I_R(x-d+i, y+j))^2

• NCC (Normalized Cross-Correlation): 두 윈도우 간의 상관계수를 계산하여 유사도를 측정한다. 픽셀 값의 스케일과 오프셋 변화에 불변하므로, 영상 간의 밝기나 대비 차이와 같은 조명 변화에 강건하다는 큰 장점이 있다.

C_{NCC}(x, y, d) = \frac{\sum_{i,j \in W} (I_L' \cdot I_R')} {\sqrt{\sum_{i,j \in W} (I_L')^2 \sum_{i,j \in W} (I_R')^2}}

여기서 I_L'과 I_R'은 각 윈도우의 평균값을 뺀 값이다.

3.1.2. 비용 집계 및 최적화 (Cost Aggregation and Optimization)

정합 비용 계산 단계에서 얻은 초기 비용 값(raw cost)은 노이즈에 민감하고 모호성이 높다. 비용 집계는 주변 픽셀들의 비용 정보를 통합하여 더 강건하고 신뢰도 높은 비용 값을 만드는 과정이다. 이 과정에서 알고리즘은 크게 세 가지로 나뉜다.

• 지역적 방법 (Local Methods): 고정된 크기의 윈도우 내에서 비용을 합산하거나 평균을 내는 단순한 방식이다. 계산이 빠르고 구현이 간단하지만, 윈도우 크기 설정에 민감하며 텍스처가 부족한 영역(textureless regions)이나 깊이가 불연속적인 경계 영역에서 오류가 발생하기 쉽다.5
• 전역적 방법 (Global Methods): 이미지 전체의 픽셀들에 대한 시차 할당을 하나의 거대한 최적화 문제로 정의한다. 보통 데이터 항(data term, 매칭 비용)과 평활화 항(smoothness term, 인접 픽셀 간 시차는 유사해야 한다는 제약)으로 구성된 에너지 함수를 정의하고, 이 함수를 최소화하는 시차 맵을 찾는다.4 정확도는 높지만, 계산 복잡도가 매우 높아 실시간 적용이 거의 불가능하다.
• 준전역적 방법 (Semi-Global Methods): 전역적 방법의 높은 정확도와 지역적 방법의 효율성을 절충한 접근법이다. 대표적인 알고리즘인 SGM(Semi-Global Matching)은 이미지의 모든 행, 열, 대각선 등 여러 방향에 대해 독립적인 1차원 동적 프로그래밍(dynamic programming)을 수행하여 비용을 집계한다.7 이 다방향 집계 결과를 합산함으로써 2차원적인 평활성 제약을 근사적으로 구현한다. SGM은 정확도와 속도 간의 뛰어난 균형 덕분에 위성 영상 처리, 항공 매핑 등 다양한 분야에서 표준적인 알고리즘으로 널리 사용되어 왔다.25

3.1.3. 시차 계산 및 후처리 (Disparity Computation and Refinement)

비용 집계가 완료되면, 각 픽셀에 대해 가장 낮은 비용 값을 갖는 시차를 최종 시차로 선택한다 (Winner-Takes-All, WTA). 이렇게 얻어진 초기 시차 맵은 여전히 오류를 포함하고 있을 수 있으므로, 후처리 단계를 통해 품질을 개선한다.5

• 폐색 영역 채우기 (Hole Filling): 좌측 영상에서는 보이지만 우측 영상에서는 가려지는 폐색(occlusion) 영역은 매칭이 불가능하여 시차 값이 존재하지 않는다. 이 ’구멍’을 주변의 유효한 시차 값을 참조하여 채운다.
• 좌우 일관성 검사 (Left-Right Consistency Check): 좌측 영상 기준의 시차 맵과 우측 영상 기준의 시차 맵을 모두 계산한 후, 두 결과가 일치하지 않는 픽셀을 오매칭으로 간주하고 제거한다.
• 필터링 (Filtering): 양방향 필터(Bilateral Filter)나 가중치 중간값 필터(Weighted Median Filter) 등을 사용하여 노이즈를 제거하면서도 객체의 경계는 보존하여 시차 맵을 부드럽게 만든다.5

3.2. 구면 특화 알고리즘

앞서 설명한 전통적인 파이프라인을 구면 영상의 독특한 기하학적 특성에 맞게 변형한 알고리즘들이 개발되었다.

3.2.1. 특징점 기반 매칭 (Feature-Based Matching)

영역 기반 방식이 텍스처가 부족한 영역에서 취약한 반면, 특징점 기반 방식은 영상에서 코너, 블롭(blob) 등 독특하고 구별 가능한 지점(interest points)을 먼저 검출하고, 이 특징점들 간의 매칭을 수행한다.26

• 알고리즘: SIFT(Scale-Invariant Feature Transform), SURF(Speeded Up Robust Features), BRISK, FAST와 같은 알고리즘을 사용하여 영상의 크기, 회전, 조명 변화에 강건한 특징점을 추출하고, 각 특징점에 대한 고유한 기술자(descriptor)를 생성한다.5 구면 영상의 심한 왜곡에도 불구하고 이러한 기술자들은 상대적으로 안정적인 표현을 제공한다.30
• 매칭 및 정제: 두 영상에서 추출된 기술자들 간의 유클리드 거리를 계산하여 가장 가까운 쌍을 초기 대응점으로 찾는다. 이후 RANSAC(RANdom SAmple Consensus)과 같은 알고리즘을 사용하여 기하학적 제약(예: 에피폴라 제약)을 만족하지 않는 잘못된 매칭(outlier)들을 제거하고 최종 대응점 집합을 얻는다.30
• 장단점: 이 방식은 명확한 특징이 있는 영역에서는 매우 정확하고 신뢰도 높은 대응점을 찾을 수 있다. 하지만 도로 표면이나 벽과 같이 텍스처가 부족한 영역에서는 특징점을 거의 검출하지 못해, 결과적으로 매우 희소한(sparse) 깊이 정보만을 얻게 된다는 치명적인 단점이 있다.6

3.2.2. 스피어 스위핑 스테레오 (Sphere Sweeping Stereo)

스피어 스위핑은 구면 기하학을 매칭 프로세스에 직접적으로 통합한, 매우 독창적이고 강력한 알고리즘이다. 이는 평면 영상에서 사용되던 평면 스위핑(Plane Sweeping) 알고리즘을 구면 환경에 맞게 일반화한 것이다.

• 핵심 원리: 이 알고리즘은 “다른 영상에서 대응점을 어디서 찾을까?“라고 묻는 대신, “만약 이 픽셀에 해당하는 3D 점의 깊이가 D라면, 다른 영상에서는 어떻게 보일까?“라는 질문을 던진다. 이 질문에 답하기 위해, 기준 카메라를 중심으로 하는 여러 개의 가상 동심 구(concentric spheres)를 가정한다. 각 구는 특정 깊이(거리)에 대한 가설(hypothesis)을 의미한다.7
• 비용 볼륨 생성: 각각의 깊이 가설(즉, 각각의 구)에 대해, 기준 영상의 모든 픽셀을 해당 구 표면에 투영한 다음, 이 3D 점을 다시 목표 영상으로 재투영(re-project)한다. 이 과정을 통해 목표 영상의 ‘왜곡된(warped)’ 버전을 생성할 수 있다. 기준 영상과 이렇게 왜곡된 목표 영상을 비교하여 매칭 비용을 계산하고, 이를 모든 깊이 가설에 대해 반복하여 (u, v, depth)의 3차원 비용 볼륨(cost volume)을 구축한다.31
• 깊이 결정: 비용 볼륨이 완성되면, 각 픽셀 (u, v) 위치에서 비용이 최소가 되는 깊이(구의 반지름)를 최종 깊이 값으로 선택한다 (WTA).

이 접근법은 2D 이미지 픽셀의 유사성에만 의존하는 것이 아니라, 3D 공간 구조에 대한 명시적인 가설을 검증하는 방식이기 때문에 훨씬 더 강건하다. 특히 텍스처가 부족한 영역에서도 주변의 구조적 정보를 활용하여 깊이를 추정할 수 있다. 이 아이디어는 다중 어안 렌즈 시스템에서 실시간으로 360도 RGB-D 영상을 생성하는 데 성공적으로 적용되었으며 31, 이후 심층 학습 기반 모델에서 3D 비용 볼륨을 구축하는 방식에 직접적인 영감을 주었다. 이는 전통적 방식이 2D 이미지 처리에서 3D 장면 이해로 나아가는 중요한 지적 도약을 보여주는 사례이다.

4. 심층 학습 기반 구면 스테레오 매칭

전통적인 스테레오 매칭 알고리즘은 수작업으로 설계된 특징(hand-crafted features)과 비용 함수에 의존하기 때문에, 조명 변화, 텍스처 부족, 반복 패턴 등 복잡하고 모호한 실제 환경에서 성능의 한계를 보였다.7 2010년대 중반 이후, 심층 학습, 특히 컨볼루션 신경망(CNN)의 발전은 스테레오 매칭 분야에 혁신적인 패러다임 전환을 가져왔다.

4.1. 패러다임의 전환: End-to-End 학습

심층 학습 기반 스테레오 매칭의 핵심은 전통적인 4단계 파이프라인(비용 계산, 집계, 최적화, 정제)의 일부 또는 전체를 미분 가능한 신경망으로 대체하여, 데이터로부터 직접 최적의 솔루션을 학습하는 End-to-End 방식으로 전환한 것이다.12

초기 연구는 파이프라인의 특정 단계만을 신경망으로 대체하는 데 집중했다. 예를 들어, Zbontar와 LeCun은 샴 네트워크(Siamese network)를 사용하여 두 이미지 패치의 유사도를 학습하는 비용 계산 모듈을 제안했다.12 이 방식은 수작업 비용 함수보다 훨씬 풍부하고 강건한 특징 표현을 학습하여 당시 최고 수준의 정확도를 달성했다.

이후 연구는 전체 파이프라인을 통합하는 방향으로 발전했다. DispNet, GC-Net, PSMNet과 같은 모델들은 특징 추출, 4D 비용 볼륨(cost volume) 생성, 그리고 3D 컨볼루션을 이용한 비용 볼륨 정규화(regularization)까지 모든 과정을 하나의 거대한 네트워크로 설계했다.12 이 End-to-End 접근법은 각 단계가 서로 유기적으로 상호작용하며 전체 문제에 대해 공동으로 최적화될 수 있도록 하여, 후처리 과정 없이도 매우 부드럽고 정확한 시차 맵을 생성할 수 있게 되었다. 이는 전통적인 SGM 방식과 비교했을 때, 특히 경계 영역이나 미세한 구조물에서 훨씬 우수한 품질의 깊이 맵을 제공한다.12

4.2. 주요 네트워크 아키텍처 분석

구면 스테레오 매칭의 고유한 기하학적 문제를 해결하기 위해, 평면 스테레오 매칭의 성공적인 아키텍처를 기반으로 한 다양한 특화 모델이 제안되었다.

PanoDepth

PanoDepth는 단일 360도 영상으로부터 깊이를 추정하기 위해 고안된 독창적인 2단계 프레임워크이다.32 첫 번째 단계에서는 입력된 단안(monocular) 영상으로부터 가상의 새로운 시점 영상을 합성(view synthesis)하여 인공적인 스테레오 쌍을 생성한다. 두 번째 단계에서는 이 스테레오 쌍을 이용하여 깊이를 추정한다.

이 아키텍처의 핵심 혁신은 **미분 가능한 구면 왜곡 레이어(Differentiable Spherical Warping Layer, SWL)**에 있다.32 SWL은 평면 영상용으로 설계된 기존 스테레오 매칭 네트워크를 구면 기하학에 적용할 수 있도록 매개하는 역할을 한다. 평면 영상에서 시차는 단순히 깊이의 역수에 비례하지만, 구면 영상(특히 수직 배치 스테레오)에서는 시차가 깊이의 역수뿐만 아니라 해당 픽셀의 위도(latitude) 값에도 복합적으로 의존한다. SWL은 이러한 비선형적 관계를 모델링하여, 특정 깊이 가설에 대해 기준 영상의 특징 맵(feature map)을 목표 영상의 좌표계로 정확하게 왜곡(warping)시킨다. 이 미분 가능한 왜곡 과정을 통해, 네트워크는 End-to-End 학습 과정에서 구면 기하학적 제약을 자연스럽게 학습하고 비용 볼륨을 올바르게 구성할 수 있다.32

Sphere-Sweeping Stereo (Meuleman et al.)

비록 심층 학습 모델은 아니지만, Meuleman 등이 제안한 실시간 스피어 스위핑 스테레오 알고리즘은 심층 학습 모델 설계에 중요한 영감을 주었다.31 이 방법은 다중 어안 렌즈 시스템에서 직접 작동하며, 두 가지 핵심 아이디어를 제시한다. 첫째, **적응형 구면 매칭(Adaptive Spherical Matching)**은 각 픽셀의 깊이를 추정하는 데 가장 많은 정보(가장 큰 각도 변화)를 제공하는 최적의 카메라 쌍을 동적으로 선택하여 계산 효율성과 정확도를 높인다. 둘째, **고속 양방향 필터링(Fast Inter-scale Bilateral Filtering)**은O(n)의 선형 시간 복잡도로 비용 볼륨을 정제하여, 텍스처가 부족한 영역에서도 경계를 보존하면서 노이즈를 효과적으로 제거한다.31 이 알고리즘은 기하학적 원리를 기반으로 실시간 성능과 높은 정확도를 동시에 달성할 수 있음을 보여주었다.

RomniStereo

RomniStereo는 광학 흐름(optical flow) 분야에서 큰 성공을 거둔 RAFT(Recurrent All-pairs Field Transforms) 아키텍처를 전방위 스테레오 매칭에 성공적으로 이식한 모델이다.33 기존의 PSMNet 계열 모델들이 거대한 4D 비용 볼륨을 처리하기 위해 계산 비용이 높은 3D CNN을 사용하는 것과 달리, RAFT는 2D 특징 공간에서 상관 볼륨(correlation volume)을 생성하고, 가벼운 순환 신경망(GRU)을 통해 시차 맵을 점진적으로 여러 번 업데이트하며 정제한다.

RomniStereo의 핵심 기여는 전방위 카메라 리그(4개의 어안 카메라)로부터 생성된 스피어 스위핑 기반의 불완전한 특징 볼륨들을 RAFT의 순환 업데이트 모듈이 요구하는 입력 형식으로 변환하는 **‘역 적응 가중치 기법(opposite adaptive weighting scheme)’**을 제안한 것이다.33 이 기법은 마주 보는 카메라 쌍의 특징 볼륨을 적응적으로 가중 합산하여, 전체 시야를 커버하면서도 서로 다른 정보를 담고 있는 기준(reference) 및 목표(target) 볼륨을 생성한다. 이를 통해 3D CNN 없이도 효율적인 순환 업데이트를 통해 고품질의 360도 깊이 맵을 추정할 수 있게 되었다.33

DFI-OmniStereo

DFI-OmniStereo는 구면 스테레오 매칭 분야의 최신 연구 동향을 대표하는 모델로, 특정 작업에 특화된 모델을 처음부터 학습시키는 대신, 방대한 데이터로 사전 학습된 거대한 **파운데이션 모델(Foundation Model)**을 활용하는 접근법을 채택했다.35 이 모델은 수백만 장의 다양한 이미지로 학습된 단안 깊이 추정 모델(예: Depth Anything V2)을 강력한 특징 추출기로 사용한다.38

핵심 아이디어는 단안 깊이 추정을 위해 학습된 시각적 특징(예: 질감, 경계, 객체 형태 등)이 스테레오 매칭에도 매우 유용하다는 것이다. DFI-OmniStereo는 다음과 같은 독창적인 2단계 학습 전략을 통해 파운데이션 모델의 강력한 사전 지식(prior)을 구면 스테레오 작업에 효과적으로 이전한다.37

1. 1단계 (적응): 사전 학습된 파운데이션 모델의 가중치는 고정(frozen)시킨 채, 스테레오 매칭을 수행하는 헤드(head) 부분만 학습시킨다. 이 단계에서 매칭 헤드는 파운데이션 모델이 추출한 고품질 특징을 어떻게 활용해야 하는지를 학습한다.
2. 2단계 (미세 조정): 매칭 헤드와 함께 파운데이션 모델의 디코더 부분까지 가중치 업데이트를 허용(unfrozen)하여, 전체 네트워크를 구면 스테레오 데이터에 맞게 미세 조정(fine-tuning)한다.

이러한 접근법은 상대적으로 부족한 고품질 360도 스테레오 학습 데이터 문제를 완화하고, 파운데이션 모델의 뛰어난 일반화 성능을 바탕으로 실제 환경에서 매우 정확하고 강건한 깊이 추정 성능을 보여준다. 이는 구면 스테레오 매칭 연구가 특화된 기하학적 문제 해결을 넘어, 일반적인 장면 이해(scene understanding)의 한 분야로 통합되고 있음을 시사하는 중요한 변화이다.

4.3. 비지도 및 자기지도 학습 동향

심층 학습 모델, 특히 지도 학습(supervised learning) 기반 모델의 성능은 대규모의 정답(ground truth) 데이터에 크게 의존한다. 그러나 360도 환경에 대한 정확한 픽셀 단위 깊이 데이터를 얻는 것은 LiDAR와 같은 고가의 장비와 복잡한 보정 과정을 요구하기 때문에 매우 어렵고 비용이 많이 든다.6

이러한 데이터 부족 문제를 해결하기 위해 비지도(unsupervised) 또는 자기지도(self-supervised) 학습 방법이 활발히 연구되고 있다. 이 접근법의 핵심 아이디어는 **뷰 합성(view synthesis)**을 학습의 감독 신호(supervision signal)로 사용하는 것이다.12 네트워크는 좌측 영상과 추정된 깊이(시차) 맵을 입력으로 받아, 구면 왜곡 모델을 이용해 우측 영상을 합성한다. 그리고 이렇게 합성된 영상과 실제 우측 영상 간의

광도측정 손실(photometric loss), 즉 픽셀 값의 차이를 최소화하도록 네트워크를 학습시킨다. 추가적으로, 이미지 경계 영역에서 깊이가 부드럽게 변하도록 하는 평활화 손실(smoothness loss)을 함께 사용하여 결과의 품질을 높인다. 이 방식은 정답 데이터 없이 스테레오 영상 쌍만으로 모델을 학습시킬 수 있어 데이터 수집의 제약을 크게 완화하며, PanoDepth와 같은 모델에서도 뷰 합성 모듈이 핵심적인 역할을 수행한다.32

표 2: 전통적 방식과 심층 학습 기반 구면 스테레오 매칭 비교

표 3: 주요 심층 학습 기반 구면 스테레오 매칭 네트워크 아키텍처 요약

5. 핵심 난제 및 최신 연구 동향

구면 스테레오 매칭 기술은 심층 학습의 도입으로 비약적인 발전을 이루었지만, 여전히 실제 환경의 복잡성과 다양성을 완벽하게 처리하기에는 여러 기술적 난제들이 남아있다. 이러한 난제들을 해결하기 위한 노력과 함께, 연구의 방향성을 제시하는 대규모 데이터셋의 등장은 이 분야의 발전을 가속화하고 있다.

5.1. 기술적 난제

Ill-posed Regions

스테레오 매칭의 가장 근본적인 어려움은 매칭의 모호성(ambiguity)이 발생하는 영역, 즉 ‘잘못 설정된 문제(ill-posed problem)’ 영역에서 비롯된다.

• 텍스처 부족 영역 (Textureless Regions): 흰 벽, 맑은 하늘, 아스팔트 도로 표면과 같이 시각적 특징이 거의 없는 영역은 픽셀 값의 변화가 거의 없어, 어떤 픽셀이 어떤 픽셀과 대응하는지 구별할 정보가 절대적으로 부족하다.6 전통적인 영역 기반 매칭 알고리즘은 이러한 영역에서 거의 무작위적인 시차 값을 출력하는 경향이 있다.7
• 반복 패턴 영역 (Repetitive Patterns): 벽돌담, 창문 격자, 직물 패턴 등 동일한 무늬가 반복되는 영역에서는 잘못된 대응점이 올바른 대응점과 매우 유사한 매칭 비용을 가질 수 있어, 정확한 시차를 찾기가 매우 어렵다.42

폐색 및 반사

• 폐색 (Occlusion): 물체의 전후 관계 때문에 한쪽 카메라 시점에서는 보이지만 다른 쪽 시점에서는 가려지는 영역을 폐색 영역이라 한다.6 이 영역의 픽셀들은 원천적으로 대응점이 존재하지 않으므로, 직접적인 매칭이 불가능하다. SGM과 같은 알고리즘은 주변 픽셀 정보를 이용하여 폐색 영역의 시차를 추론하지만, 그 정확도에는 한계가 있다.7
• 반사 및 투명 표면 (Specular Reflection & Transparency): 거울, 유리, 광택이 있는 금속 표면, 수면 등은 관찰 시점에 따라 반사되는 모습이 급격하게 변한다.43 이는 스테레오 비전의 기본 가정인 ’동일한 3D 지점은 두 시점에서 유사한 밝기 값을 가진다’는 램버시안(Lambertian) 가정을 위배하므로, 매칭 알고리즘에 심각한 오류를 유발한다.

등방성 투영법의 왜곡

구면 영상을 2D 평면으로 표현하는 ERP 방식은 극(pole) 지역에서 극심한 기하학적 왜곡을 발생시킨다.7 수평 방향으로 픽셀이 크게 늘어나면서 객체의 실제 형태가 심하게 변형된다. 표준적인 CNN의 사각형 커널은 이러한 왜곡된 형태에 효과적으로 대응하기 어렵다. 예를 들어, 적도 부근에서 학습한 ’자동차’의 특징은 극 부근에서는 전혀 다른 형태로 나타나기 때문에, 네트워크가 위치에 불변하는(location-invariant) 특징을 학습하기가 매우 어렵다. 이 문제는 최근 벤치마크 결과에서도 평면 스테레오 모델을 구면 영상에 직접 적용했을 때 성능이 저하되는 주요 원인으로 지목되었다.8

계산 복잡도 및 실시간 처리

고해상도 360도 영상은 수천만 개의 픽셀을 포함하며, 여기에 수십 개의 깊이(시차) 후보를 고려하면 스테레오 매칭에서 처리해야 할 데이터의 양은 기하급수적으로 증가한다. 특히 PSMNet과 같이 4D 비용 볼륨(H \times W \times D_{max} \times Features)을 생성하고 3D CNN으로 처리하는 방식은 막대한 메모리와 GPU 연산량을 요구한다.12 이로 인해 자율주행차나 로봇과 같이 제한된 컴퓨팅 자원을 가진 임베디드 플랫폼에서 실시간(real-time)으로 구동하는 것은 여전히 큰 도전 과제이다.6

5.2. 데이터셋의 중요성: HELVIPAD를 중심으로

이론적인 알고리즘의 발전만큼이나 중요한 것이 바로 고품질의 대규모 데이터셋이다. 데이터셋은 모델을 학습시키는 재료이자, 성능을 객관적으로 평가하고 비교하는 척도로서 연구 개발의 방향성을 결정하는 역할을 한다.

합성 데이터의 한계

초기 구면 스테레오 매칭 연구는 실제 환경에서 수집된 360도 RGB-D 데이터가 절대적으로 부족했기 때문에, 주로 컴퓨터 그래픽스로 생성된 합성 데이터셋(synthetic dataset)에 의존해왔다.12 합성 데이터는 완벽하고 노이즈 없는 정답(ground truth) 깊이 정보를 제공한다는 장점이 있지만, 실제 카메라 센서의 노이즈, 렌즈 왜곡, 조명 효과, 그리고 실제 세계의 복잡하고 미묘한 질감 등을 완벽하게 재현하지 못한다. 이로 인해 합성 데이터로 학습된 모델을 실제 환경에 적용하면 성능이 크게 저하되는 ‘현실과의 괴리(Sim-to-Real Gap)’ 문제가 발생했다.

HELVIPAD 데이터셋의 등장

이러한 문제를 해결하기 위해 2025년 CVPR에서 발표된 HELVIPAD 데이터셋은 구면 스테레오 비전 연구에 중요한 전환점을 마련했다.8

• 데이터 구성: HELVIPAD는 실제 환경의 복잡성을 포착하기 위해 설계되었다. 수직으로 배치된 두 대의 360도 카메라와 고정밀 LiDAR 센서가 장착된 장비를 이용하여, 대학 캠퍼스 내의 다양한 실내 및 실외 환경(복도, 광장, 주차장 등)에서 다양한 조명 조건(낮, 밤, 흐린 날씨) 하에 약 4만 프레임의 비디오 시퀀스를 수집했다.8
• 정확한 Ground Truth: 동기화된 LiDAR 포인트 클라우드 데이터를 각 360도 이미지에 정밀하게 투영하여, 실제 환경에 대한 정확하고 밀도 높은 픽셀 단위 깊이 및 시차 정답 레이블을 생성했다.46
• 연구 촉매로서의 역할: HELVIPAD의 등장은 이 분야에 강력한 연구 촉매 역할을 했다. 첫째, 모든 연구자들이 동일한 기준으로 모델의 실제 환경 성능을 공정하게 벤치마킹할 수 있게 되었다. 둘째, 벤치마크 결과, 강력한 평면 스테레오 모델들이 ERP 왜곡 문제로 인해 구면 영상에서 기대 이하의 성능을 보인다는 점이 정량적으로 입증되었다.44 이는 구면 기하학을 명시적으로 처리하는 특화 아키텍처(예: 360-IGEV-Stereo, DFI-OmniStereo)의 필요성과 우수성을 뒷받침하는 강력한 증거가 되었다.46 결국 HELVIPAD는 연구의 초점을 이론적이고 이상적인 환경에서 벗어나, 실제적이고 강건한 솔루션을 개발하는 방향으로 이끄는 구심점이 되었다.

5.3. 미래 연구 방향

앞서 논의된 난제들과 데이터셋의 발전을 바탕으로, 구면 스테레오 매칭의 미래 연구는 다음과 같은 방향으로 전개될 것으로 전망된다.

• 파운데이션 모델의 심층적 활용: DFI-OmniStereo의 성공은 시작에 불과하다. 시각-언어 모델(Vision-Language Models) 등 더욱 거대하고 일반화된 파운데이션 모델이 제공하는 풍부한 시맨틱(semantic) 및 기하학적 사전 지식을 스테레오 매칭에 접목하여, 데이터가 거의 없는 상황에서도 높은 성능을 내는 제로샷(Zero-Shot) 또는 퓨샷(Few-Shot) 일반화 능력을 극대화하는 연구가 주를 이룰 것이다.35
• 효율적인 아키텍처 설계: 실시간 처리를 위해 계산 효율성은 여전히 중요한 화두이다. RomniStereo가 보여준 것처럼, 3D CNN의 계산 부담을 줄이고자 RAFT와 같은 순환적 업데이트 방식이나, Transformer 기반의 어텐션 메커니즘을 활용하여 비용 볼륨을 더 효율적으로 집계하고 정제하는 아키텍처 연구가 계속될 것이다.33
• 다중 모달 융합 (Multi-modal Fusion): 카메라만으로는 해결하기 어려운 문제들(예: 극심한 조명 변화, 투명 객체)을 극복하기 위해, IMU(관성 측정 장치), LiDAR, Radar 등 다른 종류의 센서 정보를 융합하는 연구가 더욱 중요해질 것이다. 각 센서가 제공하는 상보적인 정보를 결합하여 시스템 전체의 강건성과 정확도를 높이는 방향으로 발전할 것이다.49
• 새로운 구면 표현 방식 탐구: ERP의 본질적인 왜곡 문제를 회피하기 위한 대안적인 구면 표현 방식에 대한 연구가 심화될 것이다. 예를 들어, 구를 6개의 평면으로 투영하는 Cubemap 방식이나, 구를 정다면체로 근사하는 Icosahedron 방식은 왜곡이 적고 일반적인 CNN을 적용하기에 더 용이하다.2 이러한 표현 방식 위에서 효율적으로 작동하는 새로운 네트워크 아키텍처 개발이 중요한 연구 주제가 될 것이다.

6. 응용 분야 및 결론

구면 스테레오 매칭 기술은 이론적 탐구를 넘어, 360도 3D 공간 인지를 필요로 하는 다양한 실제 산업 분야에서 그 가치를 입증하며 빠르게 확산되고 있다. 이 기술이 제공하는 포괄적인 환경 정보는 기존 시스템의 한계를 뛰어넘는 새로운 가능성을 열어주고 있다.

6.1. 주요 응용 사례

로보틱스 (Robotics)

로보틱스 분야에서 구면 스테레오 비전은 로봇의 자율성과 안전성을 획기적으로 향상시키는 핵심 센싱 기술로 자리매김하고 있다.

• 자율 주행 및 내비게이션: 자율주행차나 이동 로봇에 탑재된 구면 스테레오 카메라는 전방뿐만 아니라 측면과 후방을 포함한 주변 360도 환경 전체에 대한 밀도 높은 깊이 맵을 실시간으로 생성한다.2 이를 통해 로봇은 갑자기 측면에서 나타나는 보행자나 후방에서 접근하는 다른 차량과 같은 잠재적 위험 요소를 사각지대 없이 감지할 수 있다. 이 포괄적인 3D 정보는 더욱 안전하고 신뢰성 있는 경로 계획 및 장애물 회피 알고리즘의 기반이 된다.49
• SLAM 및 시각 주행 거리계 (Visual Odometry): 로봇이 자신의 위치를 추정하고 주변 환경 지도를 동시에 작성하는 기술인 SLAM(Simultaneous Localization and Mapping)에서 구면 스테레오의 역할은 지대하다. 바퀴의 회전 수에 의존하는 휠 오도메트리(wheel odometry)는 바퀴가 미끄러지거나 지면이 고르지 않을 때 심각한 누적 오차를 발생시킨다.51 구면 스테레오 기반의 시각 주행 거리계는 주변 360도 환경의 시각적 특징점들을 추적하여 로봇의 움직임을 추정하므로 이러한 문제에 강건하다.53 특히, ’VisionBot’과 같은 구면 로봇은 내부에 스테레오 비전 시스템을 탑재하여 자신의 움직임으로 인한 누적 오차를 시각 정보로 보정하고, 외부 환경에 대한 인지 능력을 향상시키는 것을 목표로 한다.55 전방위 시야는 더 많은 특징점을 안정적으로 추적할 수 있게 하여 위치 추정의 정확도를 크게 높이고, 강건한 3D 지도 작성을 가능하게 한다.52

가상/증강 현실 (VR/AR)

VR/AR 분야에서 구면 스테레오 매칭은 현실 세계와 가상 세계를 매끄럽게 융합하는 데 필수적인 기술이다.

• 실시간 3D 환경 재구성: VR/AR 헤드셋에 장착된 360도 스테레오 카메라는 사용자가 위치한 방이나 주변 공간 전체를 실시간으로 3D 모델링한다.2 이렇게 생성된 3D 환경 모델 위에서 가상의 객체는 실제 바닥에 놓이거나 벽에 걸리는 등 물리적으로 올바른 상호작용을 할 수 있다. 이는 사용자에게 극도의 몰입감과 현실감을 제공하는 ‘혼합 현실(Mixed Reality)’ 경험의 핵심 기반이 된다.56
• 원격 현장감 (Telepresence): 원격지에 설치된 360도 스테레오 카메라 시스템은 현장의 모습을 실시간 3D 비디오로 스트리밍할 수 있다. 사용자는 VR 헤드셋을 착용하고 마치 그 장소에 실제로 서 있는 것처럼 고개를 돌려 주변을 둘러보고, 공간의 깊이와 규모를 생생하게 느낄 수 있다.57 이는 원격 협업, 가상 관광, 원격 로봇 조종 등 다양한 분야에 활용될 수 있다.

3D 모델링 및 매핑

대규모 공간의 3D 모델을 구축하는 작업에서 구면 스테레오 매칭은 데이터 수집의 효율성을 극대화한다.

• 효율적인 대규모 재구성: 전통적인 방식으로는 넓은 도시 거리나 대형 건물의 내부를 3D 모델링하기 위해 수백, 수천 장의 평면 사진을 촬영해야 했다. 반면, 구면 스테레오 시스템을 사용하면 단 몇 개의 위치에서 촬영한 소수의 360도 이미지 쌍만으로도 전체 공간에 대한 상세하고 사실적인 3D 모델을 신속하게 생성할 수 있다.23 이는 문화유산 디지털화, 건설 현장 모니터링, 부동산 가상 투어 제작 등의 비용과 시간을 획기적으로 절감시킨다.

6.2. 종합 결론 및 전망

구면 스테레오 매칭 기술은 평면 영상의 한계를 극복하고 완전한 3차원 공간 인지를 구현하기 위한 끊임없는 도전의 역사였다. 초기에는 구면 기하학의 복잡성을 명시적으로 해결하려는 전통적인 알고리즘이 주를 이루었으나, 최근에는 방대한 데이터로부터 복잡한 관계를 스스로 학습하는 심층 학습 기반 접근법이 기술 발전을 주도하고 있다. 특히, 사전 학습된 거대 파운데이션 모델을 활용하는 DFI-OmniStereo와 같은 최신 연구들은 이 분야가 단순히 특화된 기하학 문제를 푸는 것을 넘어, 범용적인 시각 지능을 360도 환경에 적용하는 단계로 진입했음을 보여준다.

이러한 발전의 이면에는 HELVIPAD와 같은 대규모 실제 데이터셋의 등장이 결정적인 역할을 했다. 실제 환경의 복잡성과 노이즈를 담은 데이터셋은 알고리즘의 강건성을 시험하고, 연구 커뮤니티가 이론적 우수성을 넘어 실용적인 문제 해결에 집중하도록 유도하는 중요한 기준점이 되었다.

앞으로 구면 스테레오 매칭 기술은 몇 가지 핵심적인 방향으로 더욱 발전할 것으로 전망된다. 첫째, 임베디드 시스템에서의 실시간 구동을 위한 모델 경량화 및 계산 효율성 최적화 연구가 가속화될 것이다. 둘째, 카메라의 약점을 보완하기 위해 LiDAR, IMU 등 이종 센서와의 융합을 통해 모든 환경 조건에서 신뢰할 수 있는 3D 인지 시스템을 구축하는 방향으로 나아갈 것이다. 셋째, 파운데이션 모델의 발전과 함께 데이터 효율성을 극대화하고, 한 번도 보지 못한 환경에서도 즉시 높은 성능을 발휘하는 제로샷 일반화 능력이 더욱 중요해질 것이다.

결론적으로, 구면 스테레오 매칭은 로보틱스, 자율 주행, VR/AR, 그리고 디지털 트윈과 같은 미래 핵심 산업에서 물리적 세계를 디지털 정보로 변환하는 가장 중요한 감각 기관 중 하나로 자리매김할 것이다. 완전한 시야를 통해 제공되는 포괄적인 공간 인지 능력은 기계가 인간과 같은 수준에서 환경을 이해하고 상호작용하는 시대를 여는 핵심 동력이 될 것이다.

참고 자료

1. [2502.10444] A Survey of Representation Learning, Optimization Strategies, and Applications for Omnidirectional Vision - arXiv, 10월 3, 2025에 액세스, https://arxiv.org/abs/2502.10444
2. Deep Learning for Omnidirectional Vision: A Survey and New Perspectives - ResearchGate, 10월 3, 2025에 액세스, https://www.researchgate.net/publication/360834292_Deep_Learning_for_Omnidirectional_Vision_A_Survey_and_New_Perspectives
3. 지능형 로봇 스테레오 비전 처리 기술, 10월 3, 2025에 액세스, https://ksp.etri.re.kr/ksp/article/file/42358.pdf
4. 스테레오 정합(Stereo matching) - adioshun, 10월 3, 2025에 액세스, https://adioshun.gitbooks.io/gitbook_from_github/content/Image_Process_ch15/stereo-matching.html
5. #2. 스테레오 카메라 원리 분석(2) : 스테레오 정합 - 우당탕탕 코딩 제작소, 10월 3, 2025에 액세스, https://udangtangtang-cording-oldcast1e.tistory.com/271
6. Stereo Matching: Fundamentals, State-of-the-Art, and Existing Challenges - ResearchGate, 10월 3, 2025에 액세스, https://www.researchgate.net/publication/374501262_Stereo_Matching_Fundamentals_State-of-the-Art_and_Existing_Challenges
7. Exploring the Limits: Applying State-of-the-Art Stereo Matching Algorithms to Rectified Ultra-Wide Stereo, 10월 3, 2025에 액세스, https://openaccess.thecvf.com/content/CVPR2024W/OmniCV2024/papers/Slezak_Exploring_the_Limits_Applying_State-of-the-Art_Stereo_Matching_Algorithms_to_Rectified_CVPRW_2024_paper.pdf
8. HELVIPAD: A Real-World Dataset for … - CVF Open Access, 10월 3, 2025에 액세스, https://openaccess.thecvf.com/content/CVPR2025/papers/Zayene_HELVIPAD_A_Real-World_Dataset_for_Omnidirectional_Stereo_Depth_Estimation_CVPR_2025_paper.pdf
9. (Stereo) Stereo Vision System - ️ MMMSK, 10월 3, 2025에 액세스, https://note.mmmsk.myds.me/Projects/Visual-Geometry/(Stereo)-Stereo-Vision-System
10. Epipolar geometry - Wikipedia, 10월 3, 2025에 액세스, https://en.wikipedia.org/wiki/Epipolar_geometry
11. Development of a Stereo Vision Measurement System for a 3D Three-Axial Pneumatic Parallel Mechanism Robot Arm, 10월 3, 2025에 액세스, https://pmc.ncbi.nlm.nih.gov/articles/PMC3274037/
12. Review of Stereo Matching Algorithms Based on Deep Learning - PMC, 10월 3, 2025에 액세스, https://pmc.ncbi.nlm.nih.gov/articles/PMC7125450/
13. A Study on the Influence of Omnidirectional Distortion on CNN-based Stereo Vision - SciTePress, 10월 3, 2025에 액세스, https://www.scitepress.org/Papers/2021/103248/103248.pdf
14. Structure from Motion using full spherical panoramic cameras, 10월 3, 2025에 액세스, https://www.dfki.de/fileadmin/user_upload/import/6162_Pagani2011_OMNIVIS.pdf
15. The Derivation and Application of Spherical Panoramic Epipolar Geometry - 地球信息科学学报, 10월 3, 2025에 액세스, https://www.dqxxkx.cn/EN/10.3724/SP.J.1047.2015.00274
16. the epipolar geometry and application of spherical … - VAPOR LIQUID, 10월 3, 2025에 액세스, https://www.scientificbulletin.upb.ro/rev_docs_arhiva/full01d_682945.pdf
17. The Double Sphere Camera Model - Computer Vision Group, 10월 3, 2025에 액세스, https://cvg.cit.tum.de/_media/spezial/bib/usenko18double-sphere.pdf
18. [CVPR2021] Real-Time Sphere Sweeping Stereo from Multiview Fisheye Images - GitHub, 10월 3, 2025에 액세스, https://github.com/KAIST-VCLAB/sphere-stereo
19. Epipolar Geometry | Wiki, 10월 3, 2025에 액세스, https://wiki.hanzheteng.com/algorithm/cv/epipolar-geometry
20. Great circle - Wikipedia, 10월 3, 2025에 액세스, https://en.wikipedia.org/wiki/Great_circle
21. Great Circle on Spherical Earth, 10월 3, 2025에 액세스, https://www.nosco.ch/mathematics/en/great-circle.php
22. Clairaut’s relation and the equation of great circle in spherical coordinates - MathOverflow, 10월 3, 2025에 액세스, https://mathoverflow.net/questions/247284/clairauts-relation-and-the-equation-of-great-circle-in-spherical-coordinates
23. Spherical stereo: (a)Spherical stereo pair (topbottom); (b)Spherical stereo geometry - ResearchGate, 10월 3, 2025에 액세스, https://www.researchgate.net/figure/Spherical-stereo-aSpherical-stereo-pair-topbottom-bSpherical-stereo-geometry_fig11_257672104
24. Omnidirectional Stereo Vision Study from Vertical and Horizontal Stereo Configuration | EMITTER International Journal of Engineering Technology, 10월 3, 2025에 액세스, https://emitter.pens.ac.id/index.php/emitter/article/view/700
25. Stereo Matching Method for Remote Sensing Images Based on Attention and Scale Fusion, 10월 3, 2025에 액세스, https://www.mdpi.com/2072-4292/16/2/387
26. Evaluation of Stereo Images Matching - E3S Web of Conferences, 10월 3, 2025에 액세스, https://www.e3s-conferences.org/articles/e3sconf/pdf/2021/94/e3sconf_icge2021_04002.pdf
27. 18. The stereo algorithms in ASP in detail, 10월 3, 2025에 액세스, https://stereopipeline.readthedocs.io/en/latest/stereo_algorithms.html
28. (PDF) Deep Learning-based Stereo Matching for High-Resolution Satellite Images: A Comparative Evaluation - ResearchGate, 10월 3, 2025에 액세스, https://www.researchgate.net/publication/376534842_Deep_Learning-based_Stereo_Matching_for_High-Resolution_Satellite_Images_A_Comparative_Evaluation
29. DEEP LEARNING-BASED STEREO MATCHING FOR HIGH-RESOLUTION SATELLITE IMAGES: A COMPARATIVE EVALUATION - ISPRS-Archives, 10월 3, 2025에 액세스, https://isprs-archives.copernicus.org/articles/XLVIII-1-W2-2023/1635/2023/isprs-archives-XLVIII-1-W2-2023-1635-2023.html
30. Research on image matching technology for the spherical stereo vision | CoLab, 10월 3, 2025에 액세스, https://colab.ws/articles/10.1109%2FICMA.2015.7237863
31. Real-Time Sphere Sweeping Stereo From … - CVF Open Access, 10월 3, 2025에 액세스, https://openaccess.thecvf.com/content/CVPR2021/papers/Meuleman_Real-Time_Sphere_Sweeping_Stereo_From_Multiview_Fisheye_Images_CVPR_2021_paper.pdf
32. PanoDepth: A Two-Stage Approach for Monocular Omnidirectional …, 10월 3, 2025에 액세스, https://arxiv.org/pdf/2202.01323
33. [2401.04345] RomniStereo: Recurrent Omnidirectional Stereo Matching - arXiv, 10월 3, 2025에 액세스, https://arxiv.org/abs/2401.04345
34. RomniStereo: Recurrent Omnidirectional Stereo Matching - arXiv, 10월 3, 2025에 액세스, https://arxiv.org/html/2401.04345v2
35. [2503.23502] Boosting Omnidirectional Stereo Matching with a Pre-trained Depth Foundation Model - arXiv, 10월 3, 2025에 액세스, https://arxiv.org/abs/2503.23502
36. Boosting Omnidirectional Stereo Matching with a Pre-trained Depth Foundation Model, 10월 3, 2025에 액세스, https://arxiv.org/html/2503.23502v1
37. DFI-OmniStereo - GitHub Pages, 10월 3, 2025에 액세스, https://vita-epfl.github.io/DFI-OmniStereo-website/
38. [Literature Review] Boosting Omnidirectional Stereo Matching with a Pre-trained Depth Foundation Model - Moonlight, 10월 3, 2025에 액세스, https://www.themoonlight.io/en/review/boosting-omnidirectional-stereo-matching-with-a-pre-trained-depth-foundation-model
39. (PDF) DEFOM-Stereo: Depth Foundation Model Based Stereo Matching - ResearchGate, 10월 3, 2025에 액세스, https://www.researchgate.net/publication/388080921_DEFOM-Stereo_Depth_Foundation_Model_Based_Stereo_Matching
40. vita-epfl/DFI-OmniStereo: Boosting Omnidirectional Stereo Matching with a Pre-trained Depth Foundation Model - GitHub, 10월 3, 2025에 액세스, https://github.com/vita-epfl/DFI-OmniStereo
41. Comparative Analysis of Deep Learning-Based Stereo Matching and Multi-View Stereo for Urban DSM Generation - MDPI, 10월 3, 2025에 액세스, https://www.mdpi.com/2072-4292/17/1/1
42. How to Overcome Challenges in Real-Time Stereo Vision with Smart Software and Hardware Solutions, 10월 3, 2025에 액세스, https://www.teledynevisionsolutions.com/learn/learning-center/machine-vision/how-to-overcome-challenges-in-real-time-stereo-vision-with-smart-software-and-hardware-solutions/
43. Key characteristics of specular stereo - PubMed, 10월 3, 2025에 액세스, https://pubmed.ncbi.nlm.nih.gov/25540263/
44. CVPR Poster HELVIPAD: A Real-World Dataset for Omnidirectional Stereo Depth Estimation, 10월 3, 2025에 액세스, https://cvpr.thecvf.com/virtual/2025/poster/33139
45. Helvipad: A Real-World Dataset for Omnidirectional Stereo Depth Estimation - arXiv, 10월 3, 2025에 액세스, https://arxiv.org/html/2411.18335v2
46. Official Repository of “Helvipad: A Real-World Dataset for Omnidirectional Stereo Depth Estimation” - GitHub, 10월 3, 2025에 액세스, https://github.com/vita-epfl/Helvipad
47. chcorbi/helvipad · Datasets at Hugging Face, 10월 3, 2025에 액세스, https://huggingface.co/datasets/chcorbi/helvipad
48. FoundationStereo: Zero-Shot Stereo Matching - CVF Open Access, 10월 3, 2025에 액세스, https://openaccess.thecvf.com/content/CVPR2025/papers/Wen_FoundationStereo_Zero-Shot_Stereo_Matching_CVPR_2025_paper.pdf
49. An application of stereo matching algorithm based on transfer learning on robots in multiple scenes - PMC, 10월 3, 2025에 액세스, https://pmc.ncbi.nlm.nih.gov/articles/PMC10404586/
50. Combining Stereo Vision and Inertial Navigation for Automated Aerial Refueling | Journal of Guidance, Control, and Dynamics - Aerospace Research Central, 10월 3, 2025에 액세스, https://arc.aiaa.org/doi/10.2514/1.G002648
51. Fuzzy Fusion of Stereo Vision, Odometer, and GPS for Tracking Land Vehicles - MDPI, 10월 3, 2025에 액세스, https://www.mdpi.com/2227-7390/10/12/2052
52. (PDF) Recognizing Moving Obstacles for Robot Navigation using Real-time Omnidirectional Stereo Vision - ResearchGate, 10월 3, 2025에 액세스, https://www.researchgate.net/publication/243601011_Recognizing_Moving_Obstacles_for_Robot_Navigation_using_Real-time_Omnidirectional_Stereo_Vision
53. SOFT2: Stereo Visual Odometry for Road Vehicles based on a Point-to-Epipolar-Line Metric - LAMoR, 10월 3, 2025에 액세스, https://lamor.fer.hr/images/50036607/2022-cvisic-soft2-tro.pdf
54. Visual Odometry, 10월 3, 2025에 액세스, https://rpg.ifi.uzh.ch/docs/VO_Part_I_Scaramuzza.pdf
55. Design and motion control of a spherical robot with stereovision - ResearchGate, 10월 3, 2025에 액세스, https://www.researchgate.net/publication/309614527_Design_and_motion_control_of_a_spherical_robot_with_stereovision
56. A Virtual Reality Environment for Spherical Mechanism Design – Judy Vance, 10월 3, 2025에 액세스, https://www.me.iastate.edu/jmvance/a-virtual-reality-environment-for-spherical-mechanism-design-3/
57. [2406.19498] Stereo Vision Based Robot for Remote Monitoring with VR Support - arXiv, 10월 3, 2025에 액세스, https://arxiv.org/abs/2406.19498
58. Block world reconstruction from spherical stereo image pairs - University of Surrey, 10월 3, 2025에 액세스, https://openresearch.surrey.ac.uk/esploro/outputs/journalArticle/Block-world-reconstruction-from-spherical-stereo/99515903902346