사영 변환의 기본 개념

사영 기하학에서의 사영 변환(Projection Transformation)은 3차원 공간의 점을 2차원 평면에 사상하는 과정을 수학적으로 표현한 것이다. 사영 변환은 선형 변환이 아닌 비선형적 특징을 가지고 있으며, 특히 카메라의 이미지 형성 과정에서 중요한 역할을 한다. 카메라의 렌즈에 의해 3차원 세계의 객체는 2차원 이미지 평면에 투영된다. 이때, 사영 기하학은 3차원 좌표계에서 2차원 좌표계로의 변환을 모델링하는데, 이는 에피폴라 기하학의 기초를 제공한다.

사영 변환은 점의 좌표를 동차 좌표계로 표현하여 다음과 같이 정의된다.

여기서 $\mathbf{p}$는 3차원 좌표계에서의 점이며, 동차 좌표계로 확장된 형태이다.

카메라가 사영을 통해 이 점을 2차원 이미지 평면에 투영할 때, 변환 행렬 $\mathbf{P}$는 다음과 같은 형태로 나타난다.

변환된 이미지 좌표 $\mathbf{p'}$는 다음과 같이 계산된다.

이 과정에서 3차원에서의 객체는 2차원으로 투영되며, 이는 에피폴라 기하학의 기본 원리와 밀접하게 연결된다.

에피폴라 기하학에서의 사영 변환

에피폴라 기하학에서는 두 개의 다른 카메라가 동일한 3차원 점을 서로 다른 2차원 평면으로 사영한다. 이때, 두 이미지에서 해당 점의 위치는 에피폴라 제약에 의해 상관관계를 갖는다. 이러한 관계를 이해하기 위해서는 먼저 두 카메라의 사영 변환을 분석해야 한다.

두 개의 카메라 행렬을 각각 $\mathbf{P_1}$과 $\mathbf{P_2}$로 정의할 수 있다. 두 카메라가 3차원 점 $\mathbf{X}$를 각각 이미지 평면에 투영할 때, 다음과 같은 사영 변환이 이루어진다.

여기서 $\mathbf{x_1}$과 $\mathbf{x_2}$는 각각 첫 번째와 두 번째 카메라에서 사영된 2차원 좌표를 나타낸다. 이 두 점 사이의 관계는 에피폴라 기하학의 핵심이며, 사영 변환이 이 관계를 정의하는 중요한 요소로 작용한다.

에피폴라 기하학에서 두 이미지 간의 대응 관계는 기본 행렬 $\mathbf{F}$로 표현되며, 이는 두 카메라의 사영 변환을 통해 유도된다.

이 식은 에피폴라 제약을 나타내며, 두 이미지에서 사영된 점이 서로 대응할 때 반드시 만족해야 하는 수학적 관계이다.

에피폴라 제약과 사영 변환의 관계

사영 변환과 에피폴라 제약의 관계는 기본 행렬 $\mathbf{F}$의 정의로 명확해진다. 두 카메라가 동일한 3차원 점을 각각의 이미지 평면으로 사영할 때, 각 점의 위치는 기본 행렬에 의해 서로 연관되며, 이는 두 카메라 좌표계 간의 상대적 기하학적 관계를 표현한다.

기본 행렬 $\mathbf{F}$는 두 카메라 사이의 상대적 위치와 방향, 즉 카메라 간의 변환을 나타내는 기하학적 요소에서 유도된다. 두 카메라 간의 변환은 회전 행렬 $\mathbf{R}$과 이동 벡터 $\mathbf{t}$로 표현되며, 이를 통해 기본 행렬은 다음과 같이 정의된다.

여기서 $\mathbf{K}_1$과 $\mathbf{K}_2$는 각각 첫 번째와 두 번째 카메라의 내부 파라미터 행렬이고, $[\mathbf{t}]_\times$는 이동 벡터 $\mathbf{t}$의 반대칭 행렬이다. 이 수식은 두 카메라 간의 기하학적 관계를 기반으로 사영 변환이 에피폴라 제약과 어떻게 연관되는지를 수학적으로 설명한다.

기본 행렬 $\mathbf{F}$는 3차원 점의 사영된 이미지 좌표 $\mathbf{x_1}$과 $\mathbf{x_2}$ 사이의 관계를 통해 정의되며, 에피폴라 기하학에서 중요한 역할을 한다. 두 이미지에서의 점 간의 대응 관계는 에피폴라인을 따라 배치되며, 이는 사영 변환에 의해 결정된다.

에피폴과 에피폴라인의 관계

사영 변환과 에피폴라 기하학 사이의 관계를 이해하기 위해서는 에피폴과 에피폴라인의 개념을 명확히 해야 한다. 두 카메라 사이의 상대적 위치와 방향에 따라, 한 이미지에서의 특정 점은 다른 이미지에서의 에피폴라인을 따라 대응점을 갖게 된다. 이 에피폴라인은 두 이미지에서 에피폴라 제약에 의해 생성되며, 다음과 같은 수식으로 표현된다.

여기서 $\mathbf{l_2}$는 두 번째 이미지에서의 에피폴라인이고, $\mathbf{x_1}$은 첫 번째 이미지에서의 점이다. 에피폴라인은 2차원 이미지 평면에서 직선 형태를 가지며, 이는 두 이미지에서 동일한 3차원 점을 나타내는 대응점들이 모두 이 직선을 따라 위치하게 된다는 것을 의미한다.

이러한 에피폴라인의 존재는 사영 변환에 의한 결과물로서, 두 카메라의 좌표계를 고려한 사영 변환이 에피폴라 기하학을 형성하는 중요한 요소 중 하나이다.

에피폴라인과 삼차원 복원의 연관성

사영 변환과 에피폴라 기하학의 중요한 응용 중 하나는 삼차원 복원이다. 두 카메라에서 동일한 3차원 점을 관측하고 그 점의 이미지 좌표를 기반으로, 해당 점의 실제 3차원 좌표를 추정하는 것이 삼차원 복원 과정이다. 이 과정은 에피폴라인과 깊은 관련이 있으며, 사영 변환과 에피폴라 제약을 통해 이루어진다.

삼차원 복원은 각 이미지에서 대응점이 에피폴라인 상에 위치한다는 사실을 기반으로 한다. 두 카메라에서의 사영 변환을 통해 얻은 이미지 좌표 $\mathbf{x_1}$과 $\mathbf{x_2}$를 사용하여 3차원 좌표 $\mathbf{X}$를 추정할 수 있다. 이때 삼각 측량을 활용하여 다음과 같은 시스템을 푼다.

여기서 $\mathbf{P_1}$과 $\mathbf{P_2}$는 두 카메라의 사영 행렬이다. 이러한 방정식을 풀면 3차원 공간에서의 점 $\mathbf{X}$를 복원할 수 있으며, 이는 두 이미지 간의 에피폴라 제약을 기반으로 한다.

삼차원 복원에서 중요한 요소는 각 카메라의 내부 및 외부 파라미터를 정확히 알고 있어야 한다는 점이다. 내부 파라미터는 카메라의 초점 거리와 광학 중심을 포함하고, 외부 파라미터는 두 카메라 간의 상대적 위치와 방향을 나타낸다. 이러한 정보가 주어지면, 사영 변환과 에피폴라 기하학을 통해 정확한 3차원 복원이 가능해진다.

사영 기하학에서의 동차 좌표와 에피폴라 관계

사영 기하학에서 동차 좌표계는 에피폴라 기하학을 수학적으로 표현하는 데 매우 유용하다. 동차 좌표는 점을 선형적으로 표현할 수 있도록 확장된 좌표계로, 특히 사영 변환이 비선형적인 특성을 가질 때 이를 다루기 위해 사용된다.

동차 좌표계를 사용하여 3차원에서 2차원으로 사영될 때의 변환 과정을 다음과 같이 표현할 수 있다.

여기서 $\mathbf{X}$는 동차 좌표로 표현된 3차원 점이며, $\mathbf{P}$는 사영 변환 행렬이다. 동차 좌표를 사용하면 비선형적인 사영 변환을 보다 간단한 수학적 구조로 다룰 수 있다.

에피폴라 기하학에서는 이러한 동차 좌표계를 통해 두 카메라 간의 대응 관계를 명확히 정의할 수 있다. 예를 들어, 두 카메라에서 사영된 점 사이의 관계는 동차 좌표를 사용하여 더욱 쉽게 분석할 수 있으며, 에피폴라 제약 식도 동차 좌표계를 사용하여 표현될 수 있다.