1. 이미지 좌표계의 정의

이미지 좌표계는 카메라로 촬영된 영상에서 각 픽셀의 위치를 나타내는 좌표계를 의미한다. 이를 통해 3차원 공간에서의 점이 2차원 이미지 평면에 투영되어 나타나는 과정을 수학적으로 표현할 수 있다. 기본적으로 카메라 좌표계에서 이미지 좌표계로 변환하는 과정은 사영 변환을 기반으로 한다.

카메라 좌표계에서의 점 $\mathbf{X}_C = \begin{bmatrix} X_C & Y_C & Z_C \end{bmatrix}^\top$이 주어졌을 때, 이 점이 이미지 평면에 투영되는 과정은 다음과 같다:

여기서: - $\mathbf{x} = \begin{bmatrix} x & y & 1 \end{bmatrix}^\top$는 이미지 좌표계에서의 호모그래피 좌표이다. - $\mathbf{K}$는 내부 파라미터 행렬로, 카메라의 초점 거리와 이미지 센서의 중심 좌표 등을 포함한다. - $\mathbf{P} = \begin{bmatrix} \mathbf{R} & \mathbf{t} \end{bmatrix}$는 카메라의 외부 파라미터 행렬로, 회전 행렬 $\mathbf{R}$과 이동 벡터 $\mathbf{t}$로 구성된다. - $\mathbf{X} = \begin{bmatrix} X & Y & Z & 1 \end{bmatrix}^\top$는 월드 좌표계에서의 점을 호모그래피 좌표로 나타낸 것이다.

이 수식은 3차원 공간의 점이 2차원 이미지로 투영되는 과정을 설명하며, 이미지 좌표계로 변환되는 첫 단계라 할 수 있다.

2. 좌표 변환 과정

카메라 좌표계와 이미지 좌표계 간의 변환을 이해하기 위해, 먼저 각 좌표계의 구조를 살펴볼 필요가 있다. 카메라 좌표계는 월드 좌표계에서 카메라의 위치와 방향을 기준으로 정의되며, 카메라의 내부 파라미터와 외부 파라미터를 통해 이미지 좌표계로 변환된다.

1. 내부 파라미터 변환: 내부 파라미터 행렬 $\mathbf{K}$는 다음과 같이 정의된다:

여기서: - $f_x, f_y$는 카메라의 초점 거리와 관련된 스케일링 팩터이다. - $c_x, c_y$는 이미지 센서의 중심 좌표를 나타낸다.

1. 외부 파라미터 변환: 외부 파라미터는 카메라 좌표계와 월드 좌표계 간의 회전 및 이동을 나타내며, 다음과 같은 형태로 표현된다:

• $\mathbf{R}$은 $3 \times 3$ 회전 행렬로, 카메라의 방향을 나타낸다.
• $\mathbf{t}$는 카메라의 위치를 나타내는 $3 \times 1$ 이동 벡터이다.

이러한 파라미터들을 통해 3차원 점 $\mathbf{X}$는 카메라 좌표계로 변환되며, 최종적으로 이미지 좌표계에서 나타나는 점 $\mathbf{x}$로 사영된다.

3. 호모그래피 변환과 좌표 변환

호모그래피는 두 개의 평면 사이의 대응 관계를 나타내는 변환으로, 특히 카메라 이미지 평면과 3차원 월드 좌표계의 평면 간의 관계를 나타내는 데 사용된다. 호모그래피는 3차원 공간의 점을 2차원 이미지 평면으로 투영하는 중요한 수학적 도구이다.

호모그래피 변환은 일반적으로 다음과 같이 표현된다:

여기서: - $\mathbf{H}$는 $3 \times 3$ 호모그래피 행렬이다. - $\mathbf{x}$와 $\mathbf{x}'$는 각각 변환 전후의 호모그래피 좌표이다.

카메라 좌표계에서 이미지 좌표계로의 변환은 이 호모그래피 변환을 통해 이루어지며, 이를 통해 3차원 공간에서의 기하학적 정보를 2차원 이미지 평면에 적절히 투영할 수 있게 된다.

호모그래피 행렬 $\mathbf{H}$는 일반적으로 다음과 같은 형태를 가진다:

이 행렬은 이미지 좌표계의 한 점에서 다른 점으로의 변환을 나타내며, 이는 에피폴라 기하학에서도 중요한 역할을 한다.

4. 에피폴라 기하학에서의 좌표 변환

에피폴라 기하학에서 좌표 변환은 두 개의 이미지 좌표계 간의 관계를 설명하는 핵심적인 역할을 한다. 특히, 두 개의 카메라로 촬영한 동일한 3차원 점이 두 이미지 상에서 서로 다른 위치에 나타날 때, 이 두 점 간의 기하학적 관계를 분석하기 위해 좌표 변환이 필요하다.

두 이미지 좌표계 간의 에피폴라 기하학은 기본 행렬 $\mathbf{F}$를 통해 나타낼 수 있으며, 이는 다음과 같은 에피폴라 제약식을 따른다:

여기서: - $\mathbf{x}_1 = \begin{bmatrix} x_1 & y_1 & 1 \end{bmatrix}^\top$는 첫 번째 이미지에서의 점 좌표이다. - $\mathbf{x}_2 = \begin{bmatrix} x_2 & y_2 & 1 \end{bmatrix}^\top$는 두 번째 이미지에서의 대응 점 좌표이다. - $\mathbf{F}$는 기본 행렬로, 두 이미지 좌표계 간의 기하학적 관계를 설명한다.

기본 행렬은 두 카메라의 내부 및 외부 파라미터를 사용하여 계산되며, 두 이미지 간의 대응 관계를 정의한다. 이 때의 좌표 변환은 두 이미지 좌표계 간의 에피폴라 선을 정의하는 중요한 요소로 작용한다.

5. 기본 행렬과 좌표 변환

기본 행렬 $\mathbf{F}$는 두 이미지 좌표계 간의 기하학적 관계를 설명하는 핵심 도구로, 각 이미지 상의 점들이 에피폴라 제약을 따르도록 변환하는 역할을 한다. $\mathbf{F}$는 두 이미지 사이에서 좌표 변환을 통해 정의되며, 이를 통해 두 이미지에서 동일한 3차원 점의 대응 관계를 수학적으로 설명할 수 있다.

기본 행렬 $\mathbf{F}$는 다음과 같은 형태를 가진다:

여기서: - $\mathbf{K}_1$과 $\mathbf{K}_2$는 첫 번째와 두 번째 카메라의 내부 파라미터 행렬이다. - $\mathbf{R}$은 두 카메라 간의 회전 행렬이다. - $[\mathbf{t}]_\times$는 두 카메라 간의 이동 벡터 $\mathbf{t}$에 대해 스큐 대칭 행렬(skew-symmetric matrix)로 표현된 벡터이다.

이 기본 행렬은 두 이미지 좌표계에서의 에피폴라 선을 정의하는 데 중요한 역할을 하며, 이를 통해 이미지 상의 한 점이 다른 이미지 상의 에피폴라 선 위에 반드시 존재해야 함을 보장한다.

6. 에피폴라 제약과 좌표 변환

에피폴라 제약은 두 개의 이미지 좌표계 사이에서 점과 대응점 간의 기하학적 제약을 설명하는 수식으로, 기본 행렬을 통해 정의된다. 다시 말해, 첫 번째 이미지에서의 점 $\mathbf{x}_1$과 두 번째 이미지에서의 대응점 $\mathbf{x}_2$는 에피폴라 제약을 만족해야 한다.

에피폴라 제약식은 다음과 같이 표현된다:

이 수식은 두 이미지 좌표계 사이에서의 에피폴라 선과 대응 관계를 설명하며, 좌표 변환 과정에서 반드시 만족되어야 하는 기하학적 제약이다.

특히, 두 이미지 좌표계에서 동일한 3차원 점이 각각의 이미지에서 투영되는 점들이 에피폴라 선을 따라 위치하게 된다. 즉, 첫 번째 이미지에서의 한 점이 두 번째 이미지 상에서 대응하는 에피폴라 선 위에 위치하게 된다.

7. 좌표 변환과 스테레오 정합

좌표 변환을 이용한 스테레오 정합은 3차원 공간에서의 깊이 정보를 추출하는 중요한 과정이다. 스테레오 비전 시스템에서는 두 이미지 좌표계 사이에서의 점들의 대응 관계를 분석하여 깊이 정보를 얻는다. 이를 위해 각 이미지에서의 점들이 에피폴라 제약을 따르는지 확인하고, 해당 점들이 에피폴라 선 위에 존재하는지 검증하는 과정이 필요하다.

이 과정에서 좌표 변환은 필수적인 역할을 하며, 이미지 좌표계 간의 정확한 변환을 통해 대응 관계를 더욱 정밀하게 분석할 수 있다. 스테레오 정합 알고리즘은 이러한 좌표 변환과 에피폴라 제약을 기반으로 하여, 두 이미지에서의 점들의 대응을 찾고, 이를 통해 3차원 정보를 복원하게 된다.

8. 좌표 변환의 불확실성

좌표 변환 과정에서 발생할 수 있는 중요한 문제 중 하나는 변환의 불확실성이다. 두 카메라 시스템 간의 좌표 변환은 카메라의 내부 및 외부 파라미터에 따라 달라지며, 특히 외부 파라미터(카메라의 위치 및 방향)가 정확하지 않으면 좌표 변환의 정확도가 크게 떨어질 수 있다.

이와 같은 불확실성은 두 가지 주요 원인에 기인한다: - 내부 파라미터 오차: 카메라의 내부 파라미터(초점 거리, 센서 크기, 중심점 등)의 불확실성은 이미지 좌표계에서의 좌표 변환 과정에 직접적인 영향을 미친다. 내부 파라미터가 정확하게 보정되지 않으면 좌표 변환의 결과도 부정확해질 수 있다. - 외부 파라미터 오차: 두 카메라 간의 상대적인 위치와 방향을 나타내는 외부 파라미터는 좌표 변환에 매우 중요한 역할을 한다. 외부 파라미터에 오차가 생기면, 두 이미지 간의 에피폴라 제약을 만족시키는 대응 점들을 찾는 데 어려움이 생길 수 있다.

이러한 오차는 좌표 변환에서의 정확성을 저해하며, 특히 스테레오 비전 시스템이나 3차원 복원 시스템에서 중요한 영향을 미친다. 따라서, 좌표 변환의 불확실성을 최소화하기 위한 카메라 보정(calibration) 과정이 매우 중요하다.

9. 좌표 변환의 선형성

좌표 변환은 일반적으로 선형 변환으로 취급되며, 선형 대수학을 이용하여 표현할 수 있다. 특히 에피폴라 기하학에서는 두 이미지 좌표계 간의 대응 관계가 선형적으로 표현되므로, 행렬 연산을 통해 좌표 변환 과정을 간단하게 나타낼 수 있다.

예를 들어, 두 카메라 사이에서의 점들의 변환은 다음과 같이 선형 변환으로 표현된다:

이 수식은 첫 번째 이미지에서의 점 $\mathbf{x}_1$이 두 번째 이미지에서의 대응 점 $\mathbf{x}_2$로 변환되는 과정을 설명하며, 기본 행렬 $\mathbf{F}$에 의해 선형적으로 정의된다. 선형 변환은 계산의 복잡성을 줄이는 데 도움을 주며, 특히 다중 뷰 기하학에서 매우 중요한 역할을 한다.