고도화된 영상 필터링 기법 - 소프트웨어 융합

레이더 영상에서의 필터링은 다양한 신호 처리 기술을 결합하여 노이즈 제거, 잡음 억제, 목표물 강조 등을 수행하는 과정이다. 고도화된 영상 필터링 기법은 레이더 영상의 품질을 극대화하고, 분석을 용이하게 하기 위해 개발된 방법들을 말한다. 이 장에서는 주로 레이더 영상 데이터의 특성에 맞춰 설계된 고급 필터링 기술들을 다룬다.

1. 적응형 필터링 기법

적응형 필터링은 레이더 영상의 공간적, 주파수적 특성을 이용하여 가변적으로 필터를 적용하는 방식이다. 일반적으로 레이더 영상에서는 일정한 노이즈가 아니라 환경에 따라 달라지는 잡음이 섞여 있기 때문에, 이러한 필터링 기법은 매우 유용하다.

1.1 적응형 웨이블렛 필터링

웨이블렛 필터링은 시간-주파수 분석이 가능한 웨이블렛 변환을 이용하여, 특정 주파수 대역의 신호를 강조하거나 제거하는 방식이다. 적응형 웨이블렛 필터링은 지역적 신호 특성에 맞춰 웨이블렛 변환의 스케일 및 방향성을 조정하여, 레이더 영상의 목표물 특성을 강조하고 배경 잡음을 억제한다.

웨이블렛 변환을 통해 레이더 영상 $\mathbf{I}$ 의 각 위치에서 웨이블렛 계수 $\mathbf{W}$ 를 추출하고, 이를 기반으로 필터링을 수행한다. 필터링된 영상 $\mathbf{I_f}$ 는 다음과 같이 표현할 수 있다.

$\mathbf{I_f}(x, y) = \sum_{k} \mathbf{W}_{k}(x, y) \cdot \psi_{k}(x, y)$

여기서 $\mathbf{W}_{k}$ 는 웨이블렛 계수, $\psi_{k}(x, y)$ 는 웨이블렛 함수이다.

1.2 적응형 중간값 필터

중간값 필터는 소금-후추 노이즈(salt-and-pepper noise)와 같은 극단적인 잡음에 효과적이다. 적응형 중간값 필터는 필터링 창의 크기를 상황에 맞게 조정하여, 목표물의 손상 없이 잡음을 제거할 수 있도록 설계된다.

$\mathbf{I_f}(x, y) = \text{median} \{ \mathbf{I}(x+i, y+j) \;|\; (i, j) \in \mathcal{N}(x, y) \}$

여기서 $\mathcal{N}(x, y)$ 는 픽셀 $(x, y)$ 주변의 가변 창 영역을 의미한다.

2. 비선형 필터링 기법

비선형 필터링은 선형 필터링으로 제거할 수 없는 복잡한 형태의 노이즈를 억제하기 위해 사용된다. 이 기법은 레이더 신호의 비선형적 특성을 반영하여 설계되며, 다양한 형태의 노이즈를 효과적으로 처리할 수 있다.

2.1 총변동 필터링 (Total Variation Filtering)

총변동 필터링은 영상의 평활화를 수행하면서, 에지(경계선) 정보를 최대한 보존하려는 목적으로 개발된 비선형 필터링 기술이다. 이는 영상의 총변동(Total Variation)을 최소화하는 방식으로 정의된다.

$\mathbf{I_f} = \arg \min_{\mathbf{I}} \left( \|\mathbf{I} - \mathbf{I_0}\|^2 + \lambda \cdot TV(\mathbf{I}) \right)$

여기서 $\mathbf{I_0}$ 는 원본 영상, $\mathbf{I_f}$ 는 필터링된 영상, $TV(\mathbf{I})$ 는 영상 $\mathbf{I}$ 의 총변동, $\lambda$ 는 가중치 매개변수이다. 총변동은 다음과 같이 정의된다.

$TV(\mathbf{I}) = \int \left|\nabla \mathbf{I}(x, y)\right| dx dy$

2.2 비등방성 확산 (Anisotropic Diffusion)

비등방성 확산은 영상의 에지 정보와 대비를 보존하면서 노이즈를 억제하는 필터링 기법이다. 이는 픽셀 간의 밀도 차이에 따라 확산 정도를 다르게 적용하는 방식으로, 에지 부근에서는 확산을 줄이고 평탄한 영역에서는 확산을 늘리는 원리로 동작한다.

$\frac{\partial \mathbf{I}(x, y, t)}{\partial t} = \nabla \cdot (c(\|\nabla \mathbf{I}\|) \nabla \mathbf{I})$

여기서 $c(\|\nabla \mathbf{I}\|)$ 는 확산 계수로, 에지의 크기 $\|\nabla \mathbf{I}\|$ 에 따라 변하는 함수이다.

3. 주파수 영역 필터링 기법

주파수 영역 필터링은 영상 데이터를 주파수 도메인으로 변환하여, 특정 주파수 대역에서 신호 처리를 수행하는 기법이다. 레이더 영상에서 일반적으로 저주파 성분은 배경 정보, 고주파 성분은 에지와 같은 세부 정보를 나타내므로, 이를 이용한 필터링이 가능한다.

3.1 푸리에 변환 기반 필터링

푸리에 변환을 이용하여 레이더 영상을 주파수 영역으로 변환한 후, 원하는 주파수 대역만을 필터링하는 방법이다. 푸리에 변환을 이용한 필터링은 저역 통과 필터(Low-Pass Filter), 고역 통과 필터(High-Pass Filter), 대역 통과 필터(Band-Pass Filter) 등으로 나뉜다.

원본 영상 $\mathbf{I}$ 에 대한 이산 푸리에 변환(DFT)은 다음과 같이 정의된다.

$\mathbf{F}(u, v) = \sum_{x=0}^{M-1} \sum_{y=0}^{N-1} \mathbf{I}(x, y) e^{-j 2 \pi \left( \frac{ux}{M} + \frac{vy}{N} \right)}$

여기서 $\mathbf{F}(u, v)$ 는 주파수 도메인에서의 영상이다. 필터링된 주파수 도메인 영상 $\mathbf{F_f}(u, v)$ 는 필터 함수 $\mathbf{H}(u, v)$ 를 이용하여 다음과 같이 얻는다.

$\mathbf{F_f}(u, v) = \mathbf{F}(u, v) \cdot \mathbf{H}(u, v)$

이후, 필터링된 영상은 역 푸리에 변환(Inverse Fourier Transform)을 통해 다시 공간 도메인으로 변환된다.

$\mathbf{I_f}(x, y) = \frac{1}{MN} \sum_{u=0}^{M-1} \sum_{v=0}^{N-1} \mathbf{F_f}(u, v) e^{j 2 \pi \left( \frac{ux}{M} + \frac{vy}{N} \right)}$

3.2 위그너-빌 분포 기반 필터링

위그너-빌 분포(Wigner-Ville Distribution)는 시간-주파수 분석 기법의 하나로, 레이더 영상에서 목표물의 움직임이나 특정 신호 패턴을 탐지하기 위해 사용된다. 이는 신호의 시간적, 주파수적 정보를 동시에 제공하므로, 고정된 패턴이 아닌 변화하는 목표물이나 신호를 탐지하는 데 유리한다.

위그너-빌 분포는 다음과 같이 정의된다.

$W_{\mathbf{I}}(x, y, \xi, \eta) = \int \mathbf{I}\left(x + \frac{\tau}{2}, y + \frac{\sigma}{2}\right) \mathbf{I}^*\left(x - \frac{\tau}{2}, y - \frac{\sigma}{2}\right) e^{-j2\pi (\xi \tau + \eta \sigma)} d\tau d\sigma$

여기서 $(x, y)$ 는 공간 좌표, $(\xi, \eta)$ 는 주파수 좌표, 그리고 $*$ 는 복소수 켤레를 나타낸다. 위그너-빌 분포는 영상 내의 특정 주파수 성분을 강화하거나 억제하는 데 활용된다.

4. 공간-주파수 혼합 필터링 기법

공간-주파수 혼합 필터링은 공간 영역과 주파수 영역에서 동시에 필터링을 수행하여, 영상의 여러 특성을 한 번에 고려하는 방법이다. 이는 영상의 공간적 변화를 분석하면서도 주파수 특성을 보존하는 고급 기법으로, 특히 레이더 영상에서 목표물의 구조와 형태를 강조하는 데 유용하다.

4.1 겹침-추가 기법 (Overlap-Add Method)

겹침-추가 기법은 주파수 도메인에서 대규모 영상 필터링을 수행할 때 사용하는 방법으로, 영상 데이터를 여러 부분으로 분할한 후, 각 부분에 대해 독립적으로 필터링을 수행하고, 다시 합쳐서 전체 영상을 얻는 방식이다.

이 방법은 다음과 같은 단계로 이루어진다: 1. 원본 영상 $\mathbf{I}$ 를 블록 $\mathbf{I_b}$ 로 분할 2. 각 블록에 대해 푸리에 변환 적용 3. 필터링 수행: $\mathbf{F_b}(u, v) = \mathbf{H}(u, v) \cdot \mathbf{F}(u, v)$ 4. 역 푸리에 변환 적용하여 필터링된 블록 $\mathbf{I_{fb}}$ 얻기 5. 블록 $\mathbf{I_{fb}}$ 를 중첩하여 재구성

이렇게 함으로써, 대규모 데이터에 대해서도 효율적인 필터링이 가능하며, 주파수 영역에서의 정밀한 필터링을 수행할 수 있다.

5. 합성곱 신경망(Convolutional Neural Network, CNN) 기반 필터링

최근에는 딥러닝 기술이 발전하면서 레이더 영상의 필터링에도 합성곱 신경망을 활용하는 연구가 활발하게 진행되고 있다. CNN 기반 필터링 기법은 레이더 영상의 복잡한 패턴과 잡음을 학습을 통해 이해하고, 이를 바탕으로 노이즈 제거, 목표물 강조 등의 필터링 작업을 수행할 수 있다.

5.1 합성곱 신경망을 이용한 잡음 제거

기존의 선형 또는 비선형 필터링 기법과 달리, CNN은 다량의 레이더 영상 데이터를 통해 특정 노이즈 패턴을 학습할 수 있다. CNN 기반의 잡음 제거 네트워크는 여러 개의 합성곱 계층과 활성화 함수, 풀링 계층 등을 사용하여, 입력 영상의 노이즈를 제거하고 깨끗한 출력 영상을 생성한다.

합성곱 연산은 다음과 같이 정의된다:

$\mathbf{O}(x, y) = \sum_{i}\sum_{j} \mathbf{I}(x + i, y + j) \cdot \mathbf{K}(i, j)$

여기서 $\mathbf{I}$ 는 입력 영상, $\mathbf{K}$ 는 필터(커널), $\mathbf{O}$ 는 출력 영상이다. CNN을 통해 여러 개의 $\mathbf{K}$ 를 학습함으로써, 레이더 영상의 다양한 잡음 특성을 효과적으로 제거할 수 있다.

5.2 생성적 적대 신경망(Generative Adversarial Network, GAN)을 이용한 슈퍼 해상도

GAN 기반 필터링은 레이더 영상의 해상도를 높이기 위해 사용된다. 슈퍼 해상도(Super-Resolution) 기법은 저해상도의 레이더 영상을 입력으로 받아 고해상도 영상을 생성하는 방식으로, 주로 GAN을 이용해 생성자(Generator)와 판별자(Discriminator)가 경쟁하면서 더 나은 영상을 생성하도록 훈련된다.

GAN의 기본 구조는 다음과 같다: - 생성자(Generator, G): 입력 저해상도 영상을 고해상도 영상으로 변환 - 판별자(Discriminator, D): 생성된 고해상도 영상이 실제 데이터인지, 생성된 가짜 데이터인지 판단

손실 함수는 다음과 같이 정의된다:

$\min_{G} \max_{D} \mathbb{E}_{\mathbf{I_r} \sim p_{data}(\mathbf{I_r})} [\log D(\mathbf{I_r})] + \mathbb{E}_{\mathbf{I_z} \sim p_{z}(\mathbf{z})} [\log(1 - D(G(\mathbf{I_z})))]$

여기서 $\mathbf{I_r}$ 는 실제 고해상도 영상, $\mathbf{I_z}$ 는 저해상도 입력 영상이다. 생성자와 판별자는 서로 경쟁하며 학습을 통해 점점 더 정교한 고해상도 영상을 생성하게 된다.

6. 비선형 잡음 억제 필터 (Non-Linear Noise Suppression Filter)

비선형 잡음 억제 필터는 영상 내에서 비선형적으로 발생하는 잡음을 억제하는 데 유용한 기법이다. 레이더 영상에서는 강한 스펙클 노이즈(speckle noise)가 발생할 수 있으며, 이 노이즈는 일반적인 선형 필터로 제거하기 어렵다.

6.1 멀티프레임 처리 기법

멀티프레임 처리 기법은 다수의 레이더 영상 프레임을 동시에 분석하여, 시간적으로 일관된 신호를 강화하고 잡음을 억제하는 방식이다. 이를 통해 한 장의 영상만으로는 어려운 잡음 억제와 목표물 탐지가 가능해진다.

멀티프레임 처리의 필터링 기법은 다음과 같이 정의될 수 있다:

$\mathbf{I_f}(x, y) = \frac{1}{N} \sum_{t=1}^{N} \mathbf{I_t}(x, y)$

여기서 $\mathbf{I_t}(x, y)$ 는 시간 $t$ 에서의 영상 프레임이며, $N$ 은 분석에 사용된 프레임의 수이다. 이 평균화를 통해 일시적인 잡음은 제거되고, 일관된 신호는 강화된다.

6.2 비정형 신호에 대한 필터링

비정형 신호(Anomalous Signals)란 일반적인 영상 패턴에서 벗어난 특성을 가진 신호를 의미한다. 이는 특정 목표물의 특성일 수도 있고, 복잡한 노이즈의 형태일 수도 있다. 이러한 비정형 신호를 효과적으로 필터링하기 위해서는 기존의 방식과는 다른 접근이 필요하다.

비정형 신호 필터링은 다음과 같은 구조적 모형에 기반한다:

$\mathbf{I_f}(x, y) = \mathbf{I}(x, y) - \alpha \cdot \mathbf{N}(x, y)$

여기서 $\mathbf{N}(x, y)$ 는 특정 비정형 노이즈 성분이며, $\alpha$ 는 가중치 매개변수이다. 비정형 신호를 학습을 통해 추출한 후, 이를 제거하거나 억제함으로써 보다 선명한 레이더 영상을 얻을 수 있다.