에지 검출 - 소프트웨어 융합

에지 검출의 필요성

에지 검출은 영상 처리에서 가장 기본적이고 중요한 단계 중 하나로, 물체의 경계나 형태를 인식하는 데 필수적이다. 이벤트 카메라에서 에지 검출은 전통적인 카메라와 다른 방식으로 이루어지는데, 이는 이벤트 카메라가 변화하는 픽셀만을 기록하기 때문이다. 따라서 이벤트 데이터는 밝기 변화가 일어나는 경계, 즉 에지가 발생하는 지점을 자연스럽게 반영하게 된다. 이 점에서 이벤트 카메라는 에지 검출에 있어 높은 효율성을 제공한다.

에지 검출 방법

이벤트 기반 에지 검출에서는 주로 시간적, 공간적 정보를 함께 고려한다. 일반적으로 다음과 같은 방법들이 사용된다.

시간적 에지 검출

시간적 에지 검출은 각 이벤트의 발생 시간을 기반으로 에지를 식별하는 방법이다. 이벤트 카메라는 일정한 시간 간격으로 변화를 기록하기 때문에, 변화가 급격히 발생한 시점에서 에지가 형성된다고 볼 수 있다.

이벤트 $e_i$ 는 다음과 같이 정의된다:

$e_i = (x_i, y_i, t_i, p_i)$

여기서: - $x_i, y_i$ 는 이벤트의 공간적 위치, - $t_i$ 는 이벤트가 발생한 시간, - $p_i$ 는 이벤트의 극성(밝기의 증가 또는 감소)을 나타낸다.

이벤트의 시간적 변화율을 통해 에지를 검출하는데, 시간 상에서 이벤트의 밀도가 급격히 변화하는 지점에서 에지가 발생한다고 본다. 이를 수식으로 표현하면, 일정 시간 간격 $\Delta t$ 내에서 이벤트 발생 횟수 $N(x, y, t)$ 의 변화율이 임계값 $\tau$ 를 넘는 지점을 에지로 정의할 수 있다:

$\frac{\partial N(x, y, t)}{\partial t} > \tau$

공간적 에지 검출

공간적 에지 검출은 이벤트가 발생하는 위치의 공간적 연속성을 고려하여 에지를 식별하는 방법이다. 이는 공간적으로 인접한 픽셀에서 발생하는 이벤트의 유사성에 기반하여 에지를 검출한다.

공간적 에지 검출에서는 이벤트의 공간적 위치가 중요하며, 이를 위해 이벤트 데이터는 2D 평면 상에서 처리된다. 특정 이벤트 $e_i = (x_i, y_i, t_i, p_i)$ 가 발생할 때, 그 주변의 픽셀에서 일정 시간 내에 발생한 이벤트들의 공간적 패턴을 분석하여 에지를 검출할 수 있다. 예를 들어, $e_i$ 주변의 $n \times n$ 영역에서 이벤트들의 공간적 밀도 차이를 계산하여, 그 값이 임계값을 초과할 경우 에지가 발생한 것으로 간주한다.

공간적 에지 검출의 수식은 다음과 같다:

$\sum_{(x_j, y_j) \in \mathcal{N}(x_i, y_i)} |p_i - p_j| > \tau_s$

여기서: - $\mathcal{N}(x_i, y_i)$ 는 $(x_i, y_i)$ 주변의 이웃 픽셀 집합, - $p_j$ 는 이웃 이벤트의 극성, - $\tau_s$ 는 공간적 임계값이다.

시간-공간 에지 검출 결합

시간적 정보와 공간적 정보를 결합하여 에지 검출의 정확도를 높일 수 있다. 시간적 변화율과 공간적 밀도 차이를 동시에 고려하는 복합적인 방법은 에지 검출의 강건성을 향상시키며, 특히 고속으로 변화하는 장면에서도 정확한 에지 검출이 가능하다.

다음은 시간적 변화율과 공간적 밀도 차이를 결합한 수식이다:

$\frac{\partial N(x, y, t)}{\partial t} + \sum_{(x_j, y_j) \in \mathcal{N}(x_i, y_i)} |p_i - p_j| > \tau_c$

여기서 $\tau_c$ 는 결합 임계값으로, 시간적 및 공간적 요소를 모두 고려한 에지 검출을 위해 설정된 값이다.

3D 이벤트 데이터에서의 에지 검출

이벤트 카메라에서는 공간적 에지 검출뿐만 아니라 시간에 따른 에지의 변화를 3차원 공간에서 처리할 수 있다. 이벤트 스트림을 3D 공간, 즉 $(x, y, t)$ 공간으로 표현하면, 에지는 이 공간에서 선형적 구조로 나타난다. 이를 에지 검출에 활용할 수 있다.

다이어그램으로 이 개념을 시각화하면 다음과 같다:

graph TD; A(이벤트 발생) --> B(시간적 변화 분석); B --> C(공간적 밀도 분석); C --> D(시간-공간 결합 에지 검출);

이벤트 기반 에지 검출 알고리즘

이벤트 기반 에지 검출을 구현하기 위한 다양한 알고리즘이 존재하며, 각 알고리즘은 이벤트 데이터의 특성에 맞게 최적화되어 있다. 대표적인 방법 중 하나는 이벤트 기반의 Canny 에지 검출 알고리즘을 변형하여 사용하는 것이다.

이벤트 기반 Canny 에지 검출

기존 Canny 에지 검출 알고리즘은 영상의 그라디언트를 계산한 후, 임계값을 기준으로 에지를 검출한다. 이를 이벤트 데이터에 적용하기 위해서는 시간 축을 고려한 그라디언트 계산이 필요하다. 이벤트 기반 Canny 에지 검출은 다음과 같은 단계로 이루어진다.

그라디언트 계산: 이벤트 데이터에서 공간적 그라디언트를 계산하기 위해 Sobel 연산자를 적용한다. 각 이벤트 $e_i = (x_i, y_i, t_i, p_i)$ 에 대해, 그라디언트는 이웃 픽셀에 발생한 이벤트들의 차이로부터 계산된다.

$\nabla I(x_i, y_i) = \left( \frac{\partial I}{\partial x}, \frac{\partial I}{\partial y} \right) = \left( I(x+1, y) - I(x-1, y), I(x, y+1) - I(x, y-1) \right)$

여기서 $I(x, y)$ 는 $(x, y)$ 좌표에서의 이벤트 발생 빈도를 나타낸다.

비최대 억제: 그라디언트 크기가 최대인 지점만을 남기고, 나머지는 억제한다. 이는 에지의 정확성을 높이기 위한 단계로, 그라디언트의 방향에 따라 이웃 이벤트와 비교하여 더 큰 그라디언트 값을 갖는 이벤트만 남긴다.

$G(x_i, y_i) = \begin{cases} \nabla I(x_i, y_i) & \text{if } \nabla I(x_i, y_i) \text{ is local maximum} \\ 0 & \text{otherwise} \end{cases}$

이중 임계값 처리: 두 개의 임계값을 사용하여 에지를 구분한다. 높은 임계값을 넘는 에지는 강한 에지로 간주하고, 낮은 임계값을 넘는 에지는 약한 에지로 간주한다. 약한 에지는 강한 에지와 연결될 경우 에지로 처리되며, 그렇지 않으면 제거된다.

이벤트 기반 Sobel 필터

Sobel 필터는 공간적 그라디언트를 계산하는 대표적인 방법으로, 이벤트 기반 데이터에도 적용될 수 있다. 이벤트 데이터에서 Sobel 필터는 픽셀 단위로 발생한 이벤트들의 공간적 변화를 기반으로 그라디언트를 계산하여 에지를 검출하는 역할을 한다.

Sobel 필터는 다음과 같은 연산자를 사용하여 그라디언트를 계산한다:

$G_x = \begin{bmatrix} -1 & 0 & +1 \\ -2 & 0 & +2 \\ -1 & 0 & +1 \end{bmatrix}, \quad G_y = \begin{bmatrix} -1 & -2 & -1 \\ 0 & 0 & 0 \\ +1 & +2 & +1 \end{bmatrix}$

여기서 $G_x$ 와 $G_y$ 는 각각 수평 및 수직 방향의 그라디언트를 나타내며, 이 값을 통해 에지를 검출할 수 있다. 이벤트 카메라에서 이러한 연산자는 이벤트가 발생한 시간 정보를 반영하여 실시간으로 계산된다.

에지 검출의 결과 처리

에지 검출이 완료된 후에는 각 이벤트의 에지 여부를 판단하여 이를 후속 처리에 사용할 수 있다. 에지 검출된 이벤트 데이터는 영상 재구성, 물체 추적, 모션 분석 등 다양한 응용 분야에서 활용되며, 특히 이벤트 데이터의 특성상 실시간 처리가 용이하다.

에지 검출된 이벤트 데이터는 종종 이벤트 흐름 그래프로 표현되며, 이는 시간에 따른 이벤트의 변화와 공간적 분포를 시각적으로 나타낸다.

graph TD; A(이벤트 데이터 입력) --> B(그라디언트 계산); B --> C(비최대 억제); C --> D(이중 임계값 처리); D --> E(에지 데이터 출력);

에지 검출 과정은 데이터의 특성과 처리 속도에 따라 최적화가 가능하며, 특히 이벤트 카메라의 고속 데이터 수집 능력을 활용하여 매우 빠른 에지 검출이 가능하다. 이를 바탕으로 다양한 실시간 응용에서 활용할 수 있다.