잡음이 에피폴라 기하학에 미치는 영향

영상에서 잡음은 에피폴라 기하학을 적용하는 과정에 있어 중요한 문제 중 하나이다. 특히, 이미지에서 추출된 특징점들은 잡음의 영향을 받아 그 위치가 정확하지 않을 수 있다. 이러한 부정확한 특징점들이 에피폴라 제약을 만족하지 않으면, 잘못된 에피폴라인과 에피폴이 계산될 수 있으며, 이는 최종적으로 3D 복원, 스테레오 매칭 등의 성능 저하로 이어진다.

영상 잡음이 에피폴라 기하학에 미치는 영향을 이해하기 위해 먼저 에피폴라 기하학에서 중요한 두 행렬인 기본 행렬( F )과 본질 행렬( E )에 대해 살펴볼 필요가 있다. 기본 행렬과 본질 행렬은 두 카메라 사이의 대응 관계를 설명하는 중요한 역할을 하는데, 이 행렬들이 영상 잡음으로 인해 얼마나 왜곡되는지를 살펴보겠다.

특징점 잡음의 모델링

잡음이 포함된 특징점 $\mathbf{p}_1 = (x_1, y_1, 1)^\top$ 와 $\mathbf{p}_2 = (x_2, y_2, 1)^\top$ 을 고려해 봅시다. 여기서 $(x_1, y_1)$ 와 $(x_2, y_2)$ 는 각각 첫 번째와 두 번째 이미지에서 추출된 대응되는 특징점의 좌표이다. 만약 잡음이 없다면, 두 점 사이의 관계는 에피폴라 제약에 의해 다음과 같이 표현된다:

$\mathbf{p}_2^\top \mathbf{F} \mathbf{p}_1 = 0$

하지만, 실제로는 잡음이 특징점 좌표에 포함되므로, 잡음이 포함된 점을 $\mathbf{\hat{p}}_1$ 과 $\mathbf{\hat{p}}_2$ 로 나타낼 수 있다. 이 경우, 에피폴라 제약은 정확히 만족하지 않으며, 잔차(residual)가 발생한다:

$r = \mathbf{\hat{p}}_2^\top \mathbf{F} \mathbf{\hat{p}}_1$

이때, 잔차 $r$ 는 영상 잡음의 크기와 특징점의 분포에 따라 달라지며, 이 값이 클수록 에피폴라 기하학에서의 오차가 커진다.

에피폴라인의 변동

영상 잡음은 에피폴라인의 위치에도 영향을 미친다. 두 카메라의 에피폴라인은 대응되는 점 쌍을 연결하는 선으로, 두 이미지에서 특정한 대응 관계를 만족한다. 하지만 잡음이 있는 경우, 실제 에피폴라인은 변동하게 되며, 이는 스테레오 매칭이나 삼각 측량에 부정적인 영향을 미친다.

에피폴라인은 기본 행렬에 의해 정의되며, 한 이미지에서의 특징점 $\mathbf{p}_1$ 에 대응하는 에피폴라인은 다음과 같이 주어진다:

$\mathbf{l}_2 = \mathbf{F} \mathbf{p}_1$

잡음이 있는 경우, 특징점 $\mathbf{\hat{p}}_1$ 에 대응하는 에피폴라인은 정확하지 않을 수 있다. 이로 인해 두 번째 이미지에서의 특징점이 에피폴라인에 제대로 위치하지 않게 되고, 이는 스테레오 매칭 알고리즘의 성능 저하로 이어질 수 있다.

기본 행렬과 본질 행렬의 추정 오차

잡음은 기본 행렬( F )과 본질 행렬( E )의 추정에도 큰 영향을 미친다. 기본 행렬과 본질 행렬은 두 이미지 사이의 대응점으로부터 계산되는데, 이 대응점들이 잡음에 의해 변동되면 이 행렬들의 정확도도 떨어진다.

기본 행렬은 두 이미지 간의 모든 대응점들에 대해 최소 자승법을 이용해 추정된다. 잡음이 포함된 특징점 $\mathbf{\hat{p}}_1$ 과 $\mathbf{\hat{p}}_2$ 에서 기본 행렬을 추정하려면, 에피폴라 제약에 대한 잔차를 최소화하는 방식으로 행렬을 계산하게 된다. 이 과정에서 잡음이 포함된 특징점은 잔차를 증가시키며, 결과적으로 추정된 기본 행렬은 이상적인 잡음 없는 경우에 비해 더 부정확하게 된다.

$\min_{\mathbf{F}} \sum_{i} (\mathbf{\hat{p}}_2^{(i)\top} \mathbf{F} \mathbf{\hat{p}}_1^{(i)})^2$

위 식에서 $i$ 는 대응되는 특징점 쌍의 인덱스를 나타낸다. 잡음이 크면 클수록 이 최소화 과정에서 오차가 커지며, 기본 행렬의 추정 오차도 커진다.

본질 행렬도 유사하게 잡음에 영향을 받는다. 본질 행렬은 두 카메라의 내재적 파라미터( K )를 사용하여 기본 행렬로부터 다음과 같이 계산된다:

$\mathbf{E} = \mathbf{K}_2^\top \mathbf{F} \mathbf{K}_1$

여기서 K는 카메라의 내재적 파라미터 행렬을 나타낸다. 잡음에 의해 기본 행렬이 잘못 추정되면, 그 결과로 본질 행렬도 왜곡된다. 이는 3D 구조 복원, 스테레오 비전 등의 정확도를 크게 떨어뜨린다.

삼각 측량 오차

삼각 측량(triangulation)은 두 개의 이미지에서 대응되는 점들을 이용하여 3D 공간에서의 점의 위치를 추정하는 방법이다. 잡음은 삼각 측량 과정에서 직접적인 영향을 미치며, 3D 점의 재구성에 오류를 유발한다.

두 카메라에서 잡음이 없는 대응되는 점 $\mathbf{p}_1$ 과 $\mathbf{p}_2$ 가 주어졌을 때, 삼각 측량은 각 카메라의 광선이 교차하는 지점에서 3D 점 $\mathbf{P}$ 를 추정한다. 그러나 잡음이 포함된 대응점 $\mathbf{\hat{p}}_1$ 과 $\mathbf{\hat{p}}_2$ 는 교차하지 않는 두 광선을 형성할 수 있으며, 이는 실제 3D 위치와의 오차를 발생시킨다. 이러한 상황을 보완하기 위해 최적화 기법을 사용하여 두 광선 간의 최소 거리를 찾는 방식으로 삼각 측량이 수행되기도 하지만, 잡음이 큰 경우 여전히 큰 오차를 야기할 수 있다.

잡음에 의해 발생하는 삼각 측량 오차는 특히 장거리 또는 좁은 베이스라인을 가진 스테레오 비전 시스템에서 더 심각하게 나타난다. 잡음이 커질수록 두 광선의 교차점이 멀어지며, 결과적으로 추정된 3D 위치가 실제 위치와 크게 차이날 수 있다.

스테레오 매칭의 정확도 저하

스테레오 매칭은 두 이미지에서 동일한 3D 점에 대응하는 점을 찾는 과정으로, 에피폴라 기하학의 중요한 응용 중 하나이다. 잡음이 있는 경우, 스테레오 매칭 과정의 정확도는 크게 저하될 수 있다.

특징점 추출 단계에서 잡음은 이미지에서 잘못된 특징점을 추출하거나, 특징점의 위치를 미세하게 변화시킬 수 있다. 이로 인해 두 이미지에서 추출된 대응되는 특징점들이 에피폴라 제약을 완벽하게 만족하지 않으며, 스테레오 매칭에서 잘못된 대응이 이루어질 가능성이 높아진다. 잘못된 스테레오 매칭은 결국 3D 구조 복원에 큰 오차를 발생시킨다.

특히, 영상 잡음이 심한 경우, 스테레오 매칭 알고리즘은 여러 대응점 중 올바른 대응점을 찾기 어려워지며, 매칭 오차가 발생할 확률이 증가한다. 이는 스테레오 정합 알고리즘의 성능을 저하시킨다.

스테레오 매칭에서 잡음에 의한 오차는 에피폴라인 근처의 특징점에서 더 크게 나타날 수 있다. 에피폴라인 근처의 점들은 작은 좌표 변화에도 큰 매칭 오차를 일으킬 수 있기 때문에, 잡음이 포함된 특징점이 에피폴라인 근처에 있을 경우 스테레오 매칭의 정확도는 더욱 떨어진다.

잡음에 대한 해결 방법

잡음이 에피폴라 기하학에 미치는 부정적인 영향을 줄이기 위해 여러 가지 방법이 사용된다. 대표적인 방법 중 하나는 특징점 추출 과정에서 잡음 필터링을 적용하는 것이다. 가우시안 필터나 미디언 필터와 같은 전처리 필터링 기술은 이미지에서 잡음을 제거하거나 감소시켜, 더 정확한 특징점을 추출하는 데 도움을 줄 수 있다.

또한, RANSAC(Random Sample Consensus) 알고리즘은 잡음에 강인한 기본 행렬과 본질 행렬을 추정하는 방법 중 하나이다. RANSAC은 잡음에 의해 잘못된 대응점을 걸러내고, 에피폴라 제약을 만족하는 올바른 대응점만을 이용하여 행렬을 추정한다. 이를 통해 잡음이 포함된 특징점들로부터 발생할 수 있는 오차를 줄일 수 있다.

이외에도 여러 잡음 제거 및 보정 기법이 존재하며, 이러한 기법들은 잡음이 에피폴라 기하학에 미치는 영향을 최소화하고, 더 정확한 3D 복원과 스테레오 매칭을 가능하게 한다.