1. 에피폴라 기하학란 무엇인가?

에피폴라 기하학는 컴퓨터 비전과 3D 재구성 분야에서 매우 중요한 개념으로, 스테레오 비전 시스템 또는 다중 뷰에서 카메라 간의 기하학적 관계를 설명한다. 두 대의 카메라로 촬영한 두 이미지 사이에서 동일한 3차원 점이 나타나는 위치를 정의하는 기하학적 제약을 제공한다.

에피폴라 기하학의 핵심은 한 이미지의 점과 다른 이미지에서 해당 점이 나타날 수 있는 선을 정의하는 것이다. 이 과정은 두 이미지 사이의 대응점(correspondence)을 찾는 데 중요한 역할을 하며, 3D 복원, 스테레오 비전, 이미지 정합(image matching) 등의 다양한 응용에서 필수적이다.

2. 기본 개념

에피폴라 기하학를 이해하기 위해서는 몇 가지 중요한 요소를 먼저 알아야 한다.

a. 에피폴 (Epipole)

에피폴은 두 카메라의 중심이 서로 다른 이미지 평면에 투영된 점이다. 즉, 첫 번째 카메라의 중심이 두 번째 이미지 평면에 투영된 지점과, 두 번째 카메라의 중심이 첫 번째 이미지 평면에 투영된 지점이 에피폴이다.

에피폴의 좌표는 다음과 같이 표현된다:

여기서,
- $\mathbf{e_1}, \mathbf{e_2}$는 각각 첫 번째와 두 번째 이미지에서의 에피폴의 좌표이다.
- $\mathbf{P_1}, \mathbf{P_2}$는 각각 두 번째 카메라와 첫 번째 카메라로부터의 투영 행렬이다.
- $\mathbf{C_1}, \mathbf{C_2}$는 각각 첫 번째와 두 번째 카메라의 중심 좌표이다.

b. 에피폴라인 (Epipolar Line)

에피폴라인은 한 이미지에서 특정 3차원 점을 다른 이미지에서 찾을 때의 제약 조건을 제공하는 선이다. 첫 번째 이미지에서의 한 점은 두 번째 이미지의 에피폴라인에 대응하게 된다. 이는 두 이미지에서 3차원 공간의 동일한 점이 관측되는 지점이 반드시 이 에피폴라인 상에 있어야 한다는 것을 의미한다.

에피폴라인의 방정식은 기본 행렬 $\mathbf{F}$에 의해 다음과 같이 정의된다:

여기서,
- $\mathbf{l_2}$는 두 번째 이미지에서의 에피폴라인을 의미한다.
- $\mathbf{F}$는 기본 행렬이다.
- $\mathbf{x_1}$은 첫 번째 이미지에서의 한 점의 좌표이다.

에피폴라인은 해당 점과 두 카메라 중심을 연결하는 평면(에피폴라 평면)에 의해 생성되며, 두 번째 이미지에서는 이 평면의 교차선이 된다.

3. 에피폴라 평면

에피폴라 평면은 두 카메라와 3차원 공간의 한 점이 만들어내는 평면이다. 이 평면은 두 카메라의 중심을 포함하며, 해당 3차원 점과 연결된다. 에피폴라 평면은 두 이미지에서 에피폴라인을 생성하며, 이미지 정합 및 삼각 측량(triangulation) 과정에서 중요한 역할을 한다.

에피폴라 평면의 기하학적 관계를 분석하면, 다음과 같은 특징을 도출할 수 있다: - 에피폴라 평면은 항상 두 카메라의 중심을 통과한다. - 3차원 점의 위치에 따라 에피폴라 평면이 달라지며, 그에 따라 에피폴라인의 위치도 달라진다.

4. 기초 행렬과 본질 행렬의 역할

에피폴라 기하학에서 두 중요한 행렬은 기초 행렬(기본 행렬, Fundamental Matrix)과 본질 행렬(Essential Matrix)이다. 이 두 행렬은 서로 다른 카메라 뷰에서 3차원 점의 위치와 그에 대응하는 2D 이미지 좌표 간의 관계를 수학적으로 나타낸다.

기초 행렬 (Fundamental Matrix)

기초 행렬은 대응하는 두 이미지 간의 점들이 에피폴라인을 따라 정렬되도록 보장하는 $3 \times 3$ 행렬이다. 이 행렬은 이미지 좌표에서 두 카메라 간의 기하학적 관계를 설명하며, 보정되지 않은 카메라 시스템에서 사용된다.

기초 행렬은 다음과 같은 방정식을 만족시킨다:

여기서,
- $\mathbf{x_2}$는 두 번째 이미지에서의 한 점의 좌표이고,
- $\mathbf{F}$는 기초 행렬이며,
- $\mathbf{x_1}$는 첫 번째 이미지에서의 한 점의 좌표이다.

본질 행렬 (Essential Matrix)

본질 행렬은 보정된 카메라 시스템에서 사용되는 행렬로, 카메라의 내재적 파라미터가 고려된 상태에서 두 카메라 간의 기하학적 관계를 나타낸다. 본질 행렬은 기초 행렬과 유사하지만, 카메라의 내부 매개변수(intrinsic parameters)가 적용된 상태에서 정의된다.

본질 행렬은 다음과 같은 방정식을 만족시킨다:

여기서,
- $\mathbf{x_2^\prime}$, $\mathbf{x_1^\prime}$은 카메라 보정을 거친 후의 좌표이다.
- $\mathbf{E}$는 본질 행렬이다.

5. 스테레오 비전에서의 에피폴라 기하학 역할

에피폴라 기하학는 스테레오 비전 시스템에서 중요한 역할을 한다. 두 개의 카메라로 촬영한 두 이미지 간의 대응점을 찾기 위해서는 에피폴라인을 활용할 수 있다. 스테레오 비전은 두 이미지 사이에서 같은 3차원 점을 관찰하는 것을 기반으로 3차원 정보를 추출하는 방식인데, 에피폴라 제약 조건을 적용하면 검색 공간이 줄어들어 효율적인 대응점 찾기가 가능하다.

스테레오 비전과 에피폴라 제약

에피폴라 제약은 대응점을 찾는 과정에서 이미지 간의 불필요한 영역을 제외하는 역할을 한다. 첫 번째 이미지에서 특정 점 $\mathbf{x_1}$이 주어지면, 두 번째 이미지에서 그 점의 대응점은 반드시 에피폴라인 $\mathbf{l_2}$ 상에 있어야 한다. 이는 검색 영역을 한 선으로 축소시키기 때문에, 대응점을 찾는 효율성이 크게 증가한다.

스테레오 비전 시스템에서 각 카메라의 뷰를 정렬시키지 않고도 에피폴라 기하학를 적용할 수 있다는 점은, 복잡한 카메라 셋업에서도 활용 가능하다는 장점을 제공한다.

6. 3차원 복원과 에피폴라 기하학

에피폴라 기하학는 3차원 복원 과정에서도 중요한 역할을 한다. 대응점을 찾으면 삼각 측량(triangulation) 기법을 통해 해당 점의 3차원 좌표를 계산할 수 있다. 삼각 측량은 두 개의 카메라에서 관측된 2차원 이미지 점의 위치와 카메라 간의 기하학적 관계를 활용하여 3차원 점을 복원하는 과정이다.

삼각 측량에서 카메라의 투영 행렬 $\mathbf{P_1}, \mathbf{P_2}$를 이용하여 3차원 점 $\mathbf{X}$의 위치를 다음과 같은 방식으로 계산할 수 있다:

여기서,
- $\mathbf{x_1}, \mathbf{x_2}$는 각각 첫 번째와 두 번째 이미지에서의 2차원 좌표이다.
- $\mathbf{P_1}, \mathbf{P_2}$는 두 카메라의 투영 행렬이다.
- $\mathbf{X}$는 3차원 공간에서의 점의 좌표이다.

삼각 측량 기법은 에피폴라 기하학를 기반으로 3차원 복원에서 정확한 위치를 계산하는 데 활용된다. 이 과정에서 기본 행렬이나 본질 행렬의 정확한 계산이 중요한데, 이는 에피폴라인과 대응점의 위치를 정확히 반영하기 때문이다.

7. 에피폴라 기하학의 응용

에피폴라 기하학는 여러 분야에서 응용된다. 대표적인 예로는 자율주행차, 로봇 비전, 3D 모델링, 증강 현실(AR), 가상 현실(VR) 등의 분야가 있다. 특히 자율주행차에서는 스테레오 비전 시스템을 통해 주변 환경의 3차원 정보를 실시간으로 수집하고 분석하는 데 중요한 역할을 한다. 이러한 시스템은 물체의 위치를 파악하고, 장애물 회피, 경로 계획 등을 수행하기 위해 3차원 복원을 필요로 하며, 이 과정에서 에피폴라 기하학가 핵심적인 기하학적 제약을 제공한다.

또한, 로봇 비전에서는 로봇이 환경을 인식하고 상호작용할 수 있도록 3차원 구조를 이해하는 데 에피폴라 기하학를 활용한다. 이러한 응용은 3차원 정보가 필요한 다양한 인공지능 시스템에도 널리 사용된다.