객체 분할 기법 - 소프트웨어 융합

이벤트 카메라에서 객체 분할은 전통적인 프레임 기반 카메라와는 다른 방식으로 접근해야 한다. 이벤트 카메라는 픽셀 단위로 변화가 감지될 때마다 데이터를 발생시키기 때문에, 시간적 해상도와 공간적 해상도를 모두 고려한 객체 분할 기법이 필요하다. 여기서는 이벤트 데이터를 활용한 대표적인 객체 분할 기법들을 설명한다.

이벤트 클러스터링 기법

이벤트 데이터는 시간과 공간 상의 흐름을 나타내기 때문에, 객체의 경계를 식별하기 위해 이벤트를 클러스터링하는 방법이 자주 사용된다. 클러스터링은 유사한 이벤트들을 그룹으로 묶어 객체를 분할하는 과정이다. 클러스터링을 기반으로 한 객체 분할 기법은 다음과 같은 방식으로 동작한다.

a. 거리 기반 클러스터링

먼저, 이벤트 발생 위치 간의 공간적 거리를 기반으로 클러스터를 형성할 수 있다. 이를 위해 각 이벤트를 좌표 벡터로 나타내고, 거리 측정 기준을 설정하여 인접한 이벤트들끼리 클러스터로 묶는다. 예를 들어, 두 이벤트 $\mathbf{e}_i$ 와 $\mathbf{e}_j$ 사이의 거리는 다음과 같이 정의된다.

$d(\mathbf{e}_i, \mathbf{e}_j) = \sqrt{(x_i - x_j)^2 + (y_i - y_j)^2}$

여기서 $x_i$ 와 $y_i$ 는 이벤트 $\mathbf{e}_i$ 의 발생 좌표를 의미한다. 일정 거리 $d_{\text{th}}$ 이하로 떨어진 이벤트들은 같은 클러스터에 속하게 된다.

b. 시간적 클러스터링

공간적 거리뿐만 아니라, 이벤트 발생 시간도 중요한 요소이다. 두 이벤트가 매우 가까운 위치에서 발생했더라도 시간적으로 멀리 떨어져 있다면 같은 클러스터로 분류되지 않아야 한다. 따라서 시간적 클러스터링은 각 이벤트의 발생 시간을 고려하여 클러스터를 형성한다. 두 이벤트 $\mathbf{e}_i$ 와 $\mathbf{e}_j$ 사이의 시간적 차이는 다음과 같이 정의된다.

$\Delta t = |t_i - t_j|$

여기서 $t_i$ 와 $t_j$ 는 각각 이벤트 $\mathbf{e}_i$ 와 $\mathbf{e}_j$ 의 발생 시간이다. 시간적 차이가 일정 임계값 $\Delta t_{\text{th}}$ 이하인 이벤트들은 같은 클러스터에 속하게 된다. 이를 통해 객체의 경계를 시간적으로 분리할 수 있다.

c. 공간적 및 시간적 클러스터링의 결합

실제 객체 분할에서는 공간적 거리와 시간적 거리를 모두 고려한 클러스터링 기법이 자주 사용된다. 이를 위해, 공간적 거리와 시간적 차이를 결합한 종합적인 거리를 정의하여 클러스터를 형성한다. 예를 들어, 두 이벤트 $\mathbf{e}_i$ 와 $\mathbf{e}_j$ 사이의 종합 거리는 다음과 같이 표현할 수 있다.

$d_{\text{total}}(\mathbf{e}_i, \mathbf{e}_j) = \sqrt{ \frac{(x_i - x_j)^2 + (y_i - y_j)^2}{\sigma_s^2} + \frac{(t_i - t_j)^2}{\sigma_t^2} }$

여기서 $\sigma_s$ 는 공간적 거리의 스케일링 파라미터, $\sigma_t$ 는 시간적 거리의 스케일링 파라미터이다. 이 거리 함수는 공간적 및 시간적 거리를 균형 있게 고려한 클러스터링을 가능하게 한다. $d_{\text{total}}$ 이 일정 임계값 이하인 이벤트들을 같은 클러스터로 묶어 객체를 분할하게 된다.

d. 밀도 기반 클러스터링 (DBSCAN)

밀도 기반 클러스터링 알고리즘인 DBSCAN(Density-Based Spatial Clustering of Applications with Noise)은 이벤트 카메라 데이터에서 객체를 분할하는데 효과적으로 사용될 수 있다. DBSCAN은 고밀도의 이벤트 그룹을 클러스터로 정의하고, 그 이외의 이벤트를 노이즈로 취급한다. DBSCAN은 두 가지 주요 파라미터를 사용한다:

$\epsilon$ : 이벤트 사이의 최대 거리, 즉 두 이벤트가 같은 클러스터에 속하기 위한 최대 거리
$\text{minPts}$ : 클러스터를 형성하기 위해 필요한 최소한의 이벤트 수

DBSCAN의 작동 원리는 다음과 같다:

주어진 이벤트에서 $\epsilon$ 이내에 존재하는 모든 이벤트를 찾는다.
해당 이벤트들이 $\text{minPts}$ 이상 존재할 경우, 클러스터로 확장한다.
클러스터에 속하지 않는 이벤트들은 노이즈로 처리된다.

이벤트 카메라의 특성 상, 객체의 경계를 부드럽게 나누기 위해 DBSCAN이 유용하게 사용될 수 있다. 또한, DBSCAN은 비정형적인 객체의 모양을 처리하는 데 강점이 있다.

그래프 기반 객체 분할

이벤트 카메라 데이터의 분할을 그래프 기반 방법으로도 접근할 수 있다. 각 이벤트를 그래프의 노드로 간주하고, 인접한 이벤트들 간의 연결성을 그래프로 표현한 뒤, 그래프 커팅 기법을 통해 객체를 분할하는 방식이다.

a. 이벤트 그래프 구축

먼저, 각 이벤트를 노드로 하고, 이벤트 간의 공간적, 시간적 유사성을 가중치로 하는 그래프를 구성한다. 이벤트 $\mathbf{e}_i$ 와 $\mathbf{e}_j$ 사이의 가중치는 다음과 같은 형태로 표현될 수 있다.

$w_{ij} = \exp \left( - \frac{d_{\text{total}}(\mathbf{e}_i, \mathbf{e}_j)^2}{2\sigma^2} \right)$

여기서 $\sigma$ 는 가중치를 제어하는 파라미터이다. 가까운 이벤트일수록 가중치가 높아지고, 멀리 떨어진 이벤트일수록 가중치가 낮아진다. 이를 기반으로 이벤트 간의 유사성을 나타내는 그래프가 생성된다.

b. 그래프 컷

그래프가 구성되면, 특정 기준에 따라 그래프를 분할하는 방법을 사용할 수 있다. 대표적인 방법은 Normalized Cut (N-cut)이다. N-cut 알고리즘은 그래프를 분할할 때, 두 클러스터 간의 유사성을 최소화하고, 클러스터 내부의 유사성을 최대화하는 방향으로 그래프를 자른다. 이를 수식으로 표현하면, 다음과 같다.

$N_{\text{cut}}(A, B) = \frac{\text{cut}(A, B)}{\text{assoc}(A, V)} + \frac{\text{cut}(A, B)}{\text{assoc}(B, V)}$

여기서,

$\text{cut}(A, B)$ 는 클러스터 A와 B 사이의 가중치 합
$\text{assoc}(A, V)$ 는 A 클러스터의 전체 가중치 합
$\text{assoc}(B, V)$ 는 B 클러스터의 전체 가중치 합

N-cut 값이 최소화될 때, 그래프의 최적 분할이 이루어진다. 이 방법은 특히 이벤트 카메라의 비정형적인 이벤트 분포를 처리할 때 효과적이다.

에너지 기반 분할

에너지 최소화 기반의 객체 분할 기법은 각 이벤트가 객체 내부에 속할 확률을 계산하고, 이를 최소화하는 방향으로 분할을 수행하는 방식이다. 이 방법은 이벤트 카메라에서 이벤트 발생 패턴을 해석하는데 자주 사용된다.

a. 에너지 함수 정의

에너지 기반 기법에서는 먼저 에너지 함수를 정의한다. 에너지 함수는 객체 경계를 정의하는 조건을 반영하며, 보통 두 가지 에너지 항으로 구성된다.

데이터 항 (Data Term): 각 이벤트가 특정 객체에 속할 가능성을 나타낸다.
정규화 항 (Regularization Term): 객체 경계가 부드럽고 연속적일 수 있도록 강제한다.

이를 수식으로 나타내면 다음과 같다.

$E(L) = \sum_i D(\mathbf{e}_i, L(\mathbf{e}_i)) + \lambda \sum_{i,j} R(\mathbf{e}_i, \mathbf{e}_j, L(\mathbf{e}_i), L(\mathbf{e}_j))$

여기서,

$E(L)$ 는 전체 에너지 함수
$L(\mathbf{e}_i)$ 는 이벤트 $\mathbf{e}_i$ 의 레이블
$D(\mathbf{e}_i, L(\mathbf{e}_i))$ 는 데이터 항으로, 이벤트가 특정 객체에 속할 확률을 계산
$R(\mathbf{e}_i, \mathbf{e}_j, L(\mathbf{e}_i), L(\mathbf{e}_j))$ 는 정규화 항으로, 인접한 이벤트들이 같은 객체에 속할 가능성을 높이는 역할
$\lambda$ 는 두 항 사이의 균형을 조정하는 파라미터

b. 그래프 컷을 통한 에너지 최소화

이 에너지 최소화 문제는 그래프 컷 기법을 통해 해결할 수 있다. 그래프 컷 알고리즘은 각 이벤트를 노드로 간주하고, 각 노드 간의 연결성을 가중치로 하여 그래프를 생성한 뒤, 최소 에너지를 갖는 그래프 분할을 수행한다. 이는 객체 경계가 자연스럽게 형성되도록 한다.

c. 에너지 항의 설계

데이터 항 $D(\mathbf{e}_i, L(\mathbf{e}_i))$ 는 각 이벤트가 특정 객체에 속할 확률을 계산하는 역할을 한다. 이는 이벤트의 발생 빈도, 공간적 위치, 그리고 시간적 발생 패턴을 기반으로 설계된다. 예를 들어, 객체 내부에서 더 빈번하게 발생하는 이벤트는 해당 객체에 속할 가능성이 높다.

정규화 항 $R(\mathbf{e}_i, \mathbf{e}_j, L(\mathbf{e}_i), L(\mathbf{e}_j))$ 는 인접한 이벤트들 사이의 연결성을 유지하면서, 객체의 경계를 자연스럽게 형성하는 역할을 한다. 이를 통해 객체 경계가 부드럽게 나타나며, 불필요한 경계가 생기는 것을 방지할 수 있다.

기타 객체 분할 기법

a. Superpixel 기반 분할

Superpixel 기반의 객체 분할은 전통적인 이미지 처리에서도 자주 사용되는 방법으로, 이벤트 카메라에서도 응용할 수 있다. Superpixel은 원본 이미지의 픽셀을 여러 개의 작은 군집으로 나누어 객체 경계를 형성하는 기법이다. 이벤트 카메라에서 Superpixel을 활용한 분할 기법은 다음과 같이 적용될 수 있다.

이벤트 스트림을 공간적으로 그룹화하여 Superpixel을 형성한다.
각 Superpixel의 내부 이벤트 발생 패턴을 분석하여 객체 경계를 형성한다.

Superpixel을 사용하면 데이터의 처리량을 줄이면서도 객체 경계를 보다 정확하게 탐지할 수 있다.

b. 기하학적 모델 기반 분할

기하학적 모델을 활용한 객체 분할 기법은 이벤트 카메라에서 발생하는 이벤트의 움직임 패턴을 분석하여 객체를 분할하는 방식이다. 예를 들어, 움직이는 객체는 일정한 기하학적 경로를 따르는 경우가 많기 때문에, 이러한 경로를 추정하여 객체를 분할할 수 있다.

이 방법에서는 먼저 객체의 기하학적 경로를 수식으로 모델링한 뒤, 이벤트 스트림을 해당 경로와 비교하여 객체를 분리해낸다. 모델이 정확할수록 객체 분할의 정확도도 높아진다.