HDR 영상 생성 - 소프트웨어 융합

HDR(High Dynamic Range) 영상의 필요성

이벤트 카메라는 기존 프레임 기반 카메라와 달리, 개별 픽셀 단위로 밝기 변화에 반응하는 센서를 기반으로 한다. 이로 인해, 매우 빠른 시간 해상도와 높은 동적 범위를 갖춘 영상을 획득할 수 있으며, 이는 기존의 영상 처리 기술로는 표현하기 어려운 장면을 표현하는 데 강점을 가진다. HDR 영상은 밝은 영역과 어두운 영역이 동시에 존재하는 장면에서 더 나은 시각적 정보를 제공하기 때문에, 이벤트 카메라의 특징을 최대한 활용하는 중요한 기술이다.

이벤트 카메라를 이용한 HDR 영상 생성의 핵심은, 다양한 밝기 조건에서 발생하는 이벤트 스트림을 효과적으로 처리하여 각 픽셀의 최적 밝기 값을 복원하는 것이다. 이를 위해 이벤트 스트림에서 개별 이벤트를 분석하고, 적절한 노출 값을 기반으로 복원하는 방식이 필요하다.

이벤트 기반 HDR 영상 생성 과정

HDR 영상 생성 과정은 크게 다음과 같은 단계로 이루어진다:

이벤트 스트림 수집: 이벤트 카메라로부터 시간에 따라 발생하는 이벤트 스트림을 수집한다. 이벤트는 각각 픽셀 위치 $(x, y)$ 와 밝기 변화 $\Delta L$ 및 시간 정보 $t$ 로 구성된다.

$e_i = (x_i, y_i, t_i, \Delta L_i)$

여기서 $e_i$ 는 i번째 이벤트를 나타내며, $x_i$ 와 $y_i$ 는 픽셀의 좌표, $t_i$ 는 이벤트가 발생한 시간, $\Delta L_i$ 는 밝기의 변화를 의미한다.

밝기 변화 축적: 각 픽셀에서 발생한 이벤트들의 밝기 변화량 $\Delta L$ 을 시간 순서에 따라 누적하여 밝기 값을 재구성한다. 밝기 값은 보통 로그 스케일로 표현되며, 이벤트 카메라는 로그 차이로부터 밝기 변화를 기록한다.

이벤트 기반 밝기 재구성은 다음과 같은 수식을 따른다:

$L(x, y, t) = L(x, y, t_0) + \sum_{t_0}^{t} \Delta L(x, y, t_i)$

여기서 $L(x, y, t)$ 는 시간 $t$ 에서의 픽셀 $(x, y)$ 의 밝기 값이고, $L(x, y, t_0)$ 는 초기 밝기 값이다. 이벤트 발생 시점에 따라 밝기 변화량 $\Delta L(x, y, t_i)$ 을 누적하여 현재 밝기 값을 계산한다.

다중 노출 값 결합: 이벤트 카메라의 높은 시간 해상도를 이용하여 동일한 장면에서 다양한 노출 값에 해당하는 영상을 얻을 수 있다. 각 시간 구간에서의 밝기 값을 노출 단계에 따라 다르게 계산하여, 여러 노출 값에서 촬영된 장면을 하나의 HDR 이미지로 결합한다.

각 노출 값에서의 밝기 재구성은 다음과 같다:

$I_{\text{HDR}}(x, y) = \frac{\sum_{i=1}^{N} w(L_i) \cdot L_i(x, y)}{\sum_{i=1}^{N} w(L_i)}$

여기서 $I_{\text{HDR}}(x, y)$ 는 픽셀 $(x, y)$ 에서 생성된 HDR 이미지의 최종 값이고, $L_i(x, y)$ 는 i번째 노출 단계에서 계산된 밝기 값이다. $w(L_i)$ 는 각 노출 값에 가중치를 부여하는 함수로, 노출 값이 너무 낮거나 높은 경우에는 낮은 가중치를 부여하는 방식이다.

밝기 보정과 톤 매핑

밝기 보정: HDR 영상은 매우 넓은 밝기 범위를 포함하므로, 이를 보정하여 인간의 시각적 특성에 맞는 영상으로 변환해야 한다. 이를 위해 밝기 보정 과정에서 가우시안 필터 등을 적용하여 너무 밝거나 어두운 부분을 평탄화한다.

밝기 보정은 다음과 같은 방법으로 이루어진다:

$L'(x, y) = \log(1 + L(x, y))$

여기서 $L'(x, y)$ 는 보정된 밝기 값이고, $L(x, y)$ 는 원래의 밝기 값이다. 이 방식은 매우 큰 밝기 값을 상대적으로 줄여주어, 너무 높은 대비를 피하면서 자연스러운 영상을 생성할 수 있게 한다.

톤 매핑: HDR 영상은 매우 넓은 동적 범위를 포함하므로, 이를 표준 디스플레이에서 표시할 수 있도록 범위를 줄이는 과정이 필요하다. 이를 톤 매핑이라고 한다. 톤 매핑 과정에서는 HDR 영상을 저 동적 범위(LDR)로 변환하면서도 세부적인 시각 정보를 최대한 보존해야 한다.

톤 매핑은 주로 비선형 함수나 로컬 대비 조절 기법을 사용하여 이루어진다. 대표적인 톤 매핑 기법 중 하나는 가우시안 블러를 이용한 로컬 대비 조절이다.

로컬 톤 매핑 함수는 다음과 같은 형태로 정의된다:

$I_{\text{LDR}}(x, y) = \frac{L(x, y)}{1 + \alpha \cdot L(x, y)}$

여기서 $I_{\text{LDR}}(x, y)$ 는 톤 매핑된 저 동적 범위 영상이고, $\alpha$ 는 대비 조절을 위한 상수다. 이 방식은 밝은 영역에서는 더 큰 대비를 줄여주고, 어두운 영역에서는 대비를 유지하여 전체적으로 자연스러운 영상을 생성한다.

실시간 HDR 영상 생성

이벤트 카메라의 강점 중 하나는 매우 높은 시간 해상도이다. 따라서 실시간으로 HDR 영상을 생성하는 것이 가능하다. 이를 위해서는 고성능의 처리 시스템과 병렬 처리 기법이 필요하며, 이벤트 스트림을 빠르게 분석하고 처리하는 알고리즘이 중요하다.

병렬 처리: 이벤트 스트림의 각 픽셀에서 발생하는 이벤트는 독립적이므로, 병렬 처리를 통해 빠르게 HDR 영상을 생성할 수 있다. GPU나 FPGA를 사용하여 이벤트 스트림을 실시간으로 처리하는 방식이 주로 사용된다.
지연 최소화: 이벤트 기반 HDR 영상 생성 과정에서 지연을 최소화하기 위해, 이벤트 데이터가 수신되는 즉시 처리할 수 있도록 스트리밍 방식으로 구현한다. 각 이벤트는 일정 시간 내에 처리되어야 하며, 이를 위해 비동기식 데이터 처리 기법을 적용한다.

실시간 HDR 영상을 생성하는 주요 흐름을 다이어그램으로 나타내면 다음과 같다:

graph TD A[이벤트 스트림 입력] --> B[밝기 변화 누적] B --> C[다중 노출 값 계산] C --> D[밝기 보정] D --> E[톤 매핑] E --> F[HDR 영상 출력] F --> G[실시간 처리 및 지연 최소화]

이벤트 기반 HDR 영상에서의 노이즈 처리

이벤트 카메라는 고속으로 움직이거나 극단적인 밝기 변화가 있는 장면에서 유용하지만, 센서 자체의 물리적 특성과 이벤트 발생 과정에서 노이즈가 발생할 수 있다. HDR 영상을 복원하는 과정에서도 이러한 노이즈가 포함될 수 있으므로, 노이즈 제거는 중요한 단계이다.

노이즈 유형: 이벤트 카메라에서 발생하는 노이즈는 크게 두 가지로 분류할 수 있다:
과도 이벤트(Spurious Event): 실제 밝기 변화가 없는 경우에도 발생하는 이벤트로, 센서 잡음이나 전기적 간섭에 의해 발생한다.
배경 노이즈(Background Noise): 장시간 동안 움직임이 없거나 미세한 변화만 있는 픽셀에서도 발생하는 노이즈이다.
노이즈 제거 알고리즘: 이벤트 기반 HDR 영상에서 노이즈를 제거하는 방법에는 여러 가지가 있지만, 대표적인 방식은 이벤트 발생 빈도를 분석하는 방법과 공간적/시간적 필터링 기법을 사용하는 방법이다.
시간적 필터링: 이벤트 발생 빈도를 시간적으로 분석하여, 일정 시간 내에 지나치게 많은 이벤트가 발생하거나 너무 적은 이벤트가 발생하는 경우 이를 노이즈로 판단하고 제거하는 방식이다. 시간적 필터링은 다음과 같은 수식으로 표현할 수 있다:

$E_{\text{filtered}}(x, y, t) = \begin{cases} E(x, y, t) & \text{if } |E(x, y, t) - \overline{E}(x, y)| < \tau \\ 0 & \text{otherwise} \end{cases}$

 여기서 $E(x, y, t)$는 시간 $t$에서 발생한 이벤트이고, $\overline{E}(x, y)$는 해당 픽셀에서의 평균 이벤트 발생 빈도, $\tau$는 임계값이다. 이 방식을 통해 과도하게 발생한 이벤트를 노이즈로 간주하고 제거할 수 있다.

공간적 필터링: 이벤트 발생이 특정 픽셀에만 집중되는 경우, 공간적으로 인접한 픽셀의 이벤트를 분석하여 이상치를 제거하는 방식이다. 이를 위해서는 공간적 가우시안 필터를 적용하여 인접한 픽셀들의 이벤트와 비교한 후, 노이즈를 제거할 수 있다.

$E_{\text{filtered}}(x, y, t) = \sum_{i=-k}^{k} \sum_{j=-k}^{k} G(i,j) \cdot E(x+i, y+j, t)$

 여기서 $G(i,j)$는 가우시안 필터 커널의 값이며, $k$는 필터의 크기이다. 인접한 픽셀의 이벤트 값을 가우시안 가중치로 평균화하여, 노이즈를 줄인다.

이벤트 기반 HDR 영상의 한계와 해결책

이벤트 기반 HDR 영상 생성에는 몇 가지 한계가 존재하며, 이를 해결하기 위한 방법이 연구되고 있다:

데이터의 불균형성: 이벤트 카메라는 밝기가 변화하는 순간에만 데이터를 기록하기 때문에, 정적인 장면에서의 데이터 수집이 부족할 수 있다. 이로 인해 HDR 영상 생성 시, 어두운 영역이나 밝은 영역에서의 데이터가 부족하여 정확한 복원이 어려운 경우가 있다.
해결책: 정적 장면에서도 이벤트를 발생시킬 수 있는 인공적인 밝기 변화나, 이벤트가 발생하지 않은 구간에 대한 보간(interpolation) 기법이 연구되고 있다. 예를 들어, 이벤트가 발생하지 않은 구간에서 과거 데이터를 기반으로 밝기 값을 추정하는 방식이다.
고속 처리 요구: 이벤트 카메라는 매우 높은 시간 해상도로 데이터를 수집하기 때문에, 이를 실시간으로 처리하기 위한 고성능 시스템이 필요하다. 특히 HDR 영상 생성 과정에서 다중 노출 결합과 톤 매핑 등의 과정이 복잡하게 이루어지므로, 처리 속도가 느려질 수 있다.
해결책: GPU 및 FPGA와 같은 하드웨어 가속을 사용하여 이벤트 스트림을 병렬 처리하는 방식이 사용된다. 또한, 실시간 처리를 위해 알고리즘을 최적화하고, 불필요한 계산을 줄이는 방식이 적용된다.