잡음 감소 기법을 통한 정확도 향상

잡음의 원인과 형태

에피폴라 기하학에서 잡음은 다양한 원인에 의해 발생하며, 주로 카메라의 센서 노이즈, 이미지에서 발생하는 픽셀의 불연속성, 그리고 매칭 오류로 인해 나타난다. 이러한 잡음은 에피폴라 기하학에 적용될 때 이미지 매칭의 정확도를 저하시킬 수 있다. 잡음은 보통 가우시안 잡음이나 소금과 후추 잡음 형태로 나타나며, 특히 에피폴라 기하학에서 이미지 좌표 매칭에 큰 영향을 미친다.

잡음 감소 필터

에피폴라 기하학에서 잡음 감소를 위해 주로 사용되는 필터는 다음과 같다:

가우시안 블러(필터): 가우시안 블러는 이미지를 스무딩하여 노이즈를 줄이기 위한 필터이다. 가우시안 함수에 따라 각 픽셀의 주변 값들을 가중 평균하여 처리한다. 가우시안 함수는 다음과 같은 형태로 정의된다:

$G(x, y) = \frac{1}{2\pi\sigma^2} e^{-\frac{x^2 + y^2}{2\sigma^2}}$

여기서 $\sigma$ 는 필터의 표준 편차를 의미하며, $(x, y)$ 는 이미지 좌표이다. 가우시안 블러를 적용함으로써 고주파 성분을 줄이고, 매칭 오류를 줄일 수 있다.

미디언 필터: 미디언 필터는 비선형 필터로서, 소금과 후추 잡음과 같은 극단적인 픽셀 값의 영향을 제거하는 데 유용하다. 이미지의 각 픽셀을 주변 픽셀 값의 중간값으로 대체한다. 미디언 필터는 다음과 같이 계산된다:

$I'(x, y) = \text{median} \{ I(x + i, y + j) \mid (i, j) \in \text{Window} \}$

여기서 $I(x, y)$ 는 원본 이미지 픽셀 값, $I'(x, y)$ 는 필터가 적용된 픽셀 값이며, 주어진 윈도우 내의 중간값을 선택하여 노이즈를 제거한다.

에피폴라 기하학에서 필터 적용의 효과

잡음 감소 필터를 에피폴라 기하학에 적용할 때 중요한 점은 필터가 에피폴라인과 같은 중요한 기하학적 정보를 보존해야 한다는 것이다. 필터 적용 후에도 이미지 좌표계에서 에피폴라인을 정확히 추정할 수 있어야 하며, 이는 정확한 기본 행렬 $\mathbf{F}$ 와 본질 행렬 $\mathbf{E}$ 계산에 필수적이다.

서브픽셀 정밀도와 잡음 제거

잡음 제거가 에피폴라 기하학에서 중요한 이유 중 하나는 서브픽셀 정밀도의 매칭을 요구하기 때문이다. 에피폴라인 상에서 두 이미지 사이의 대응점을 찾을 때, 픽셀 단위가 아닌 서브픽셀 단위에서의 정밀도가 필수적이다. 이를 달성하기 위해서는 잡음 제거 후 이미지에서 세밀한 특징을 유지해야 하며, 매칭 정확도를 높이는 방법들이 적용된다.

Bilateral 필터

Bilateral 필터는 가우시안 블러와 유사하지만, 이미지의 경계선을 보존하면서 스무딩하는 특성이 있다. 이는 에피폴라 기하학에서 잡음이 제거되면서도 중요한 구조적 정보를 유지할 수 있게 한다. Bilateral 필터는 공간적 거리와 픽셀 값 차이 모두를 고려하는 방식으로 정의된다:

$I'(x, y) = \frac{1}{W_p} \sum_{x_i, y_i} I(x_i, y_i) \cdot f_s(\| (x_i, y_i) - (x, y) \|) \cdot f_r(\| I(x_i, y_i) - I(x, y) \|)$

여기서 $f_s$ 는 공간 도메인의 가우시안 가중치를 의미하며, $f_r$ 는 픽셀 값의 차이에 따른 가중치를 나타낸다. $W_p$ 는 정규화 상수로, 전체 가중치의 합이다. Bilateral 필터는 이미지의 윤곽선과 중요한 세부 구조를 유지하면서 잡음을 효과적으로 제거할 수 있어, 에피폴라 기하학에서의 매칭 정확도에 긍정적인 영향을 미친다.

스테레오 매칭에서의 정규화 상관 기법 (Normalized Cross-Correlation)

정규화 상관 기법은 두 이미지 간의 대응점을 찾는 데 자주 사용된다. 노이즈가 적은 환경에서는 매우 효율적으로 대응점을 찾을 수 있지만, 노이즈가 포함된 이미지에서는 성능이 저하된다. 이를 개선하기 위해 잡음 제거 필터가 적용된 후, 이 기법을 적용하는 것이 일반적이다.

정규화 상관은 두 이미지 패치 사이의 상관 관계를 측정하는 방법으로, 다음과 같이 정의된다:

$NCC(I_1, I_2) = \frac{\sum (I_1(x, y) - \bar{I}_1)(I_2(x, y) - \bar{I}_2)}{\sqrt{\sum (I_1(x, y) - \bar{I}_1)^2 \sum (I_2(x, y) - \bar{I}_2)^2}}$

여기서 $I_1(x, y)$ 와 $I_2(x, y)$ 는 두 이미지 패치에서의 픽셀 값이며, $\bar{I}_1$ 과 $\bar{I}_2$ 는 각 패치의 평균 값이다. 필터링을 통해 노이즈를 감소시킨 후에 이 상관 관계를 계산하면 보다 정확한 대응점 추정이 가능한다.

RANSAC을 통한 잡음 저항성 강화

에피폴라 기하학에서는 잡음으로 인해 잘못된 대응점이 생길 수 있으며, 이를 효과적으로 제거하기 위해 RANSAC 알고리즘이 많이 사용된다. RANSAC은 반복적으로 샘플을 추출하여 모델을 학습하고, 데이터 내의 이상치를 제거하는 방식이다. 에피폴라 기하학에서는 주로 기본 행렬 $\mathbf{F}$ 또는 본질 행렬 $\mathbf{E}$ 을 추정할 때 사용되며, 잡음이 포함된 데이터에서도 상당한 성능을 발휘한다. RANSAC 알고리즘의 과정은 다음과 같다:

데이터에서 무작위로 서브셋을 선택하여 모델을 학습.
선택한 모델을 전체 데이터에 적용하여 적합성을 평가.
이상치(outlier)를 제거한 후 최적의 모델을 선택.

잡음이 포함된 환경에서도 RANSAC을 사용하면 잘못된 대응점으로 인해 기본 행렬이나 본질 행렬의 정확도가 떨어지는 문제를 방지할 수 있다.

Kalman 필터를 이용한 에피폴라 기하학에서의 잡음 제거

칼만 필터(Kalman Filter)는 잡음이 있는 환경에서 상태 변수(예: 이미지 좌표, 대응점 등)를 추정하는 데 유용하다. 특히, 에피폴라 기하학에서 스테레오 비전이나 다중 뷰 기하학에서 잡음이 존재하는 상황에서도 정확한 대응점 추정을 가능하게 한다. 칼만 필터는 선형 동적 시스템에서 상태를 추정하는 필터로, 다음과 같은 단계로 구성된다:

예측 단계: 상태 변수 $\mathbf{x}_{k-1}$ 의 추정치를 기반으로 다음 시간 단계에서의 상태 $\mathbf{x}_k$ 를 예측한다.

$\mathbf{x}_k = \mathbf{A} \mathbf{x}_{k-1} + \mathbf{B} \mathbf{u}_{k-1} + \mathbf{w}_{k-1}$

여기서 $\mathbf{A}$ 는 상태 전이 행렬, $\mathbf{B}$ 는 제어 행렬, $\mathbf{u}_{k-1}$ 은 제어 입력, $\mathbf{w}_{k-1}$ 은 시스템 노이즈(process noise)을 의미한다.

업데이트 단계: 측정된 값을 기반으로 상태 추정치를 업데이트한다. 측정값 $\mathbf{z}_k$ 와 예측 상태값을 비교하여 새로운 추정값을 계산한다.

$\mathbf{x}_k = \mathbf{x}_k + \mathbf{K}_k(\mathbf{z}_k - \mathbf{H}\mathbf{x}_k)$

여기서 $\mathbf{K}_k$ 는 칼만 이득(Kalman gain), $\mathbf{H}$ 는 측정 행렬, $\mathbf{z}_k$ 는 측정된 값을 나타낸다.

칼만 필터는 에피폴라 기하학에서 스테레오 매칭 및 삼각 측량을 통해 얻은 잡음이 포함된 대응점을 부드럽게 추정하여, 보다 정확한 매칭 결과를 도출할 수 있다. 이 필터는 특히 동적 환경에서 이미지 프레임 간의 대응점 추정에 유용하다.

이미지 피라미드와 멀티 스케일 접근법

에피폴라 기하학에서 이미지의 특징을 잡음으로부터 보호하기 위해 멀티 스케일 접근법이 사용된다. 이는 이미지의 여러 해상도에서 특징을 추출하고, 각 스케일에서의 잡음 영향을 최소화하는 방식이다. 이미지 피라미드는 연속적인 다운샘플링을 통해 여러 스케일의 이미지를 생성하며, 이를 통해 각 스케일에서 잡음에 민감하지 않은 특징을 추출할 수 있다.

이미지 피라미드는 보통 가우시안 피라미드로 구성되며, 각 단계에서 가우시안 블러를 적용한 후 다운샘플링한다. 이를 통해 잡음의 영향을 줄이고, 다양한 해상도에서 특징을 비교함으로써 보다 정밀한 매칭 결과를 얻을 수 있다.

$I^{\text{low}}(x, y) = \sum_{i=-k}^{k} \sum_{j=-k}^{k} G(i, j) I(x+i, y+j)$

여기서 $I^{\text{low}}(x, y)$ 는 저해상도 이미지, $G(i, j)$ 는 가우시안 블러, $I(x, y)$ 는 원본 이미지이다.