다중 뷰에서의 에피폴라 제약 확장

1. 다중 뷰 기하학의 개요

다중 뷰 기하학은 두 개 이상의 카메라로부터 촬영된 이미지들 사이의 기하학적 관계를 연구하는 분야이다. 이러한 관계는 객체의 3D 구조 복원 및 여러 뷰에서의 매칭 문제 해결에 중요한 역할을 한다. 다중 뷰에서의 에피폴라 제약 확장은 주어진 카메라 세트에서 에피폴라 기하학을 이용해 매칭 제약을 추가하는 과정이다.

두 개의 뷰에서 기본적으로 에피폴라 제약을 설정하는 경우, 두 개의 카메라 중심과 대응되는 점들은 같은 평면 상에 위치하게 된다. 이를 다중 뷰로 확장하면, 세 개 이상의 카메라에서 관측된 점들에 대한 에피폴라 제약을 유도할 수 있다.

2. 에피폴라 제약의 수학적 모델

두 개의 뷰에서 기본적으로 에피폴라 제약은 다음과 같이 정의된다. 두 이미지에서 서로 대응하는 점 $\mathbf{x}$ 와 $\mathbf{x'}$ 가 있다고 가정한다. 이 두 점은 에피폴라 제약에 의해 다음과 같은 관계를 만족한다:

$\mathbf{x'}^\top \mathbf{F} \mathbf{x} = 0$

여기서 $\mathbf{F}$ 는 기본 행렬(fundamental matrix)이며, 두 이미지 간의 기하학적 관계를 나타낸다. 이를 세 번째 뷰로 확장하면, 추가된 이미지 좌표계에서도 유사한 에피폴라 제약이 적용되며, 각 뷰에서의 대응되는 점들이 동일한 3D 공간상의 점을 관찰하는 경우 이러한 제약이 만족된다.

3. 다중 뷰에서의 에피폴라 제약 확장

다중 뷰에서 에피폴라 제약을 확장하는 과정에서는 세 개 이상의 카메라 뷰를 고려해야 한다. 각 카메라에서의 관측 점들은 동일한 3D 공간상의 점을 투영한 결과이므로, 에피폴라 제약은 다중 뷰로 확장되어 다음과 같은 관계를 만족한다.

세 개의 뷰에서 대응되는 세 점 $\mathbf{x_1}$ , $\mathbf{x_2}$ , $\mathbf{x_3}$ 가 있다고 가정한다. 이때 각 점은 각각 세 카메라에서 관측된 동일한 3D 점에 해당하며, 이들 사이의 기하학적 관계는 다음과 같은 형태로 확장될 수 있다:

$\mathbf{x_2}^\top \mathbf{F}_{12} \mathbf{x_1} = 0 \quad \text{and} \quad \mathbf{x_3}^\top \mathbf{F}_{13} \mathbf{x_1} = 0$

여기서 $\mathbf{F}_{12}$ 와 $\mathbf{F}_{13}$ 는 각각 첫 번째 뷰와 두 번째 뷰, 첫 번째 뷰와 세 번째 뷰 간의 기본 행렬을 나타낸다. 이를 일반화하면, $n$ 개의 뷰에서 에피폴라 제약은 다음과 같은 형태로 확장된다:

$\mathbf{x_i}^\top \mathbf{F}_{ij} \mathbf{x_j} = 0 \quad \text{for all} \quad i \neq j$

즉, 모든 카메라 간의 관계는 에피폴라 제약을 통해 연결되며, 각 뷰에서 대응되는 점들 사이에 이러한 제약이 성립한다.

4. 다중 뷰에서의 삼차원 복원

다중 뷰 기하학에서 중요한 목표 중 하나는 여러 뷰에서의 이미지를 기반으로 3D 구조를 복원하는 것이다. 각 뷰에서 관측된 대응 점들 사이의 에피폴라 제약을 활용하면, 여러 뷰 간의 대응 관계를 이용하여 3D 공간 상의 점들을 삼각 측량할 수 있다.

두 개의 뷰에서 삼각 측량은 두 개의 카메라와 해당되는 이미지 점을 이용하여 3D 점을 추정하는 과정이다. 이를 $n$ 개의 뷰로 확장하면, 여러 카메라의 위치와 관측된 이미지 점들에 대한 정보가 더 많이 주어지므로, 보다 정확한 3D 복원이 가능한다.

여기서 각 뷰에서 관측된 점 $\mathbf{x_i}$ 는 해당 카메라의 투영 행렬 $\mathbf{P_i}$ 에 의해 3D 점 $\mathbf{X}$ 로부터 투영된 결과이다. 즉, 각 이미지에서의 점은 다음과 같은 투영 방정식을 만족한다:

$\mathbf{x_i} = \mathbf{P_i} \mathbf{X}$

이 방정식을 다중 뷰에서 적용하면, 주어진 여러 뷰에서의 관측된 대응 점들로부터 3D 점 $\mathbf{X}$ 를 다음과 같이 삼각 측량할 수 있다. 각 이미지에서의 대응 점들 $\mathbf{x_1}, \mathbf{x_2}, \ldots, \mathbf{x_n}$ 와 각 카메라의 투영 행렬 $\mathbf{P_1}, \mathbf{P_2}, \ldots, \mathbf{P_n}$ 이 주어졌을 때, 3D 점 $\mathbf{X}$ 는 다음의 과정을 통해 추정된다.

먼저, 각 뷰에 대한 투영 방정식을 재구성하면:

$\mathbf{x_1} = \mathbf{P_1} \mathbf{X}, \quad \mathbf{x_2} = \mathbf{P_2} \mathbf{X}, \quad \ldots, \quad \mathbf{x_n} = \mathbf{P_n} \mathbf{X}$

여기서 $\mathbf{X}$ 는 동일한 3D 점을 나타내며, 이 점은 각 이미지 좌표계로 투영되어 대응되는 이미지 점을 생성한다.

5. 다중 뷰에서의 불확실성

다중 뷰에서의 에피폴라 제약은 각 뷰에서의 잡음 및 불확실성에 의해 영향을 받을 수 있다. 특히, 영상에서의 잡음은 대응되는 점들 간의 정확한 에피폴라 관계를 저해할 수 있으며, 이러한 잡음으로 인해 3D 복원 과정에서 불확실성이 발생한다.

불확실성은 각 카메라의 위치, 방향, 그리고 각 뷰에서 관측된 이미지 점의 정확성에 따라 달라질 수 있다. 이때 불확실성을 최소화하기 위해 다양한 정합 알고리즘이 사용되며, 특히 다중 뷰에서의 삼각 측량 과정에서는 이러한 잡음 및 불확실성을 고려하여 보다 정확한 3D 점을 추정하게 된다.