영상 해상도 향상 기술 - 소프트웨어 융합

레이더 영상의 해상도 향상은 목표물의 세부 정보를 보다 명확하게 파악하고, 효과적인 분석과 해석을 위해 중요한 역할을 한다. 이 기술은 레이더 센서의 물리적 한계를 극복하거나 데이터를 더 정밀하게 처리함으로써 이미지를 개선한다. 영상 해상도 향상 기술은 주로 다음의 접근 방식으로 분류할 수 있다.

공간 해상도 향상

공간 해상도는 영상에서 목표물의 미세한 세부사항을 분리해내는 능력을 의미한다. 레이더의 해상도는 주로 레이더 펄스의 대역폭과 안테나의 개구 크기에 의해 결정된다. 이를 향상시키기 위한 기술들은 다음과 같다.

초해상도 (Super-Resolution) 기법

초해상도 기술은 저해상도 영상을 다수 이용하거나 단일 영상만을 이용해 고해상도의 영상을 재구성하는 방법을 의미한다. 이를 통해 레이더 영상의 물리적 해상도 한계를 뛰어넘는 결과를 얻을 수 있다. 주요 기법은 다음과 같다.

다중 영상 초해상도 (Multi-frame Super-Resolution)
여러 저해상도 영상을 이용하여 하나의 고해상도 영상을 복원하는 방법이다. 이 기법은 각 영상의 공간적인 차이를 활용해 더 많은 샘플링 정보를 얻는다.
이때 사용되는 수학적 모델은 다음과 같이 표현할 수 있다.

$\mathbf{y}_k = \mathbf{D} \mathbf{H}_k \mathbf{M}_k \mathbf{x} + \mathbf{n}_k$

여기서: - $\mathbf{y}_k$ 는 $k$ 번째 저해상도 영상, - $\mathbf{x}$ 는 고해상도 영상, - $\mathbf{D}$ 는 다운샘플링 행렬, - $\mathbf{H}_k$ 는 블러링 연산자, - $\mathbf{M}_k$ 는 변환 행렬 (예: 회전, 이동), - $\mathbf{n}_k$ 는 노이즈이다.

단일 영상 초해상도 (Single Image Super-Resolution)
하나의 저해상도 영상만으로 고해상도 영상을 추정하는 방법이다. 이는 딥러닝 기반의 모델을 사용해 학습된 특징을 통해 저해상도 영상에서 고해상도 정보를 보완하는 방식을 취한다. 가장 일반적인 방법은 컨볼루션 신경망(CNN)을 이용한 방식이다. 네트워크는 입력된 저해상도 영상에서 고해상도로 복원된 영상을 생성한다.
딥러닝 기반 초해상도 (Deep Learning Super-Resolution)
최근에는 딥러닝 기법을 통해 초해상도 복원 성능이 크게 향상되었다. 특히, GAN(Generative Adversarial Networks)을 활용한 방법이 널리 연구되고 있다. GAN 기반 모델은 생성자와 판별자 간의 경쟁을 통해 고해상도 영상을 생성한다. 생성자는 저해상도 영상을 고해상도로 변환하고, 판별자는 이 변환된 영상이 실제 고해상도 영상인지 판별한다.

합성 개구 레이더 (SAR) 초해상도 기법

SAR 영상의 해상도는 레이더의 물리적 개구 크기와 관련이 있다. 해상도를 높이기 위해 물리적으로 더 큰 안테나를 설치할 수 있지만, 이는 비용과 기술적 한계를 초래한다. 따라서 SAR에서는 소프트웨어적으로 해상도를 향상시키기 위한 여러 기법들이 연구되고 있다.

압축 센싱 (Compressed Sensing)
압축 센싱은 신호가 희소(sparse)할 때, 표본 수를 줄이면서도 원래의 신호를 정확하게 복원할 수 있는 방법이다. SAR 영상에서 많은 영역은 실제로 희소한 정보를 가지고 있어 압축 센싱을 통해 해상도를 높일 수 있다. 이 기법의 기본 원리는 샘플링된 데이터에서 희소한 특징을 이용하여 해상도를 복원하는 것이다. 이는 다음의 최적화 문제로 표현된다.

$\min_{\mathbf{x}} \|\mathbf{x}\|_1 \quad \text{subject to} \quad \|\mathbf{A}\mathbf{x} - \mathbf{y}\|_2 \leq \epsilon$

여기서: - $\mathbf{x}$ 는 복원된 고해상도 영상, - $\mathbf{y}$ 는 측정된 저해상도 데이터, - $\mathbf{A}$ 는 측정 행렬, - $\epsilon$ 은 허용 오차이다.

역합성 개구 (Inverse Synthetic Aperture Radar, ISAR)
ISAR은 목표물의 운동을 이용하여 더 높은 해상도의 영상을 생성하는 기법이다. 목표물이 레이더를 향해 상대적으로 움직이는 경우, 이 운동을 이용해 더 많은 공간 정보를 추출할 수 있다. 일반적으로 이런 경우는 회전하거나 선형적으로 움직이는 배와 같은 물체에 적용된다.

주파수 해상도 향상

주파수 해상도는 특정 주파수 대역 내에서 신호를 분리하는 능력을 의미하며, 레이더 영상의 품질에 중요한 영향을 미친다. 특히, SAR 시스템에서는 더 넓은 대역폭을 사용하여 높은 주파수 해상도를 확보하려고 하지만, 하드웨어의 제약으로 인해 대역폭이 제한될 수 있다. 이러한 제약을 극복하기 위해 다양한 주파수 해상도 향상 기법이 개발되었다.

대역 확장 (Bandwidth Expansion) 기법

대역 확장 기법은 물리적인 대역폭의 한계를 소프트웨어적으로 극복하여 해상도를 향상시키는 방법이다. 이 기법은 주파수 대역을 더 넓혀서 고해상도 영상을 얻기 위해 주로 사용된다.

주파수 합성 (Frequency Synthesis)
주파수 합성은 여러 개의 좁은 대역 신호를 결합하여 넓은 대역을 가상적으로 형성하는 방법이다. 이는 주파수 도메인에서 여러 좁은 대역을 합성하여 높은 해상도의 영상을 얻도록 한다. 각각의 대역에서 얻은 영상의 주파수 정보를 합성하여 전체 대역폭을 확장하는 방식이다.
상호 상관 (Cross-Correlation) 기법
주파수 대역을 확장하는 또 다른 방법으로, 두 개 이상의 신호 사이의 상호 상관을 계산하여 더 높은 해상도를 달성하는 기법이 있다. 이를 통해 신호의 주파수 성분을 세부적으로 분석할 수 있으며, 더 높은 해상도의 영상을 복원할 수 있다.

고차 스펙트럼 (Higher Order Spectral Analysis)

고차 스펙트럼 기법은 기존의 푸리에 변환 기반 스펙트럼 분석보다 더 정밀한 분석을 가능하게 하는 기술이다. 이는 비선형 신호나 잡음에 강한 특성을 가지고 있어 레이더 신호 처리에 적합하다. 고차 스펙트럼은 두 번째 차원 이상의 신호 특성을 포함하여 신호 간의 상호작용과 비선형 특성을 분석하는 데 사용된다.

$S_3(f_1, f_2) = \mathbb{E} \left[ X(f_1) X(f_2) X^*(f_1 + f_2) \right]$

여기서 $S_3(f_1, f_2)$ 는 3차 스펙트럼(비스펙트럼)으로, $X(f)$ 는 주파수 $f$ 에서의 신호 스펙트럼, $\mathbb{E}$ 는 기댓값, $*$ 는 복소수 켤레를 의미한다. 이러한 고차 스펙트럼 분석을 통해, 잡음의 영향을 줄이고 신호의 해상도를 높일 수 있다.

시간-주파수 해상도 향상

시간-주파수 해상도 향상은 특정 시간 및 주파수 영역에서 신호를 정확히 분석하여 더 나은 영상 품질을 얻는 기술이다. 일반적으로 시간 및 주파수 축에서 동시에 해상도를 향상시킬 수 있는 기법들이 필요하다. 이 기술은 특히 움직임이 있는 목표물의 영상을 더 정확하게 복원하는 데 유용하다.

시간-주파수 분석 기법

웨이블렛 변환 (Wavelet Transform)
웨이블렛 변환은 시간-주파수 영역에서 신호의 특징을 분석할 수 있는 도구로, 고해상도 분석이 필요한 경우에 유용하다. 기존의 푸리에 변환과 달리, 웨이블렛 변환은 신호의 시간 및 주파수 성분을 동시에 분석할 수 있어 신호의 순간적인 변화를 포착하는 데 적합하다. 이를 통해 영상에서 짧은 시간 동안 발생하는 미세한 특징을 잡아낼 수 있다.
단시간 푸리에 변환 (Short-Time Fourier Transform, STFT)
STFT는 신호를 작은 시간 간격으로 나누어 각 구간에 대해 푸리에 변환을 수행하는 방식이다. 이를 통해 시간적으로 변하는 주파수 성분을 파악할 수 있어 움직이는 물체의 변화를 분석하는 데 유리하다. 특히, 레이더 영상에서 회전하거나 비선형적으로 움직이는 목표물의 영상을 더 높은 해상도로 복원할 때 유용하다.

$X(t, f) = \int_{-\infty}^{\infty} x(\tau) w(\tau - t) e^{-j2\pi f \tau} d\tau$

여기서: - $X(t, f)$ 는 시간 $t$ 와 주파수 $f$ 에서의 STFT, - $x(\tau)$ 는 시간 도메인 신호, - $w(\tau - t)$ 는 창 함수이다.

WVD (Wigner-Ville Distribution)
WVD는 시간-주파수 해상도 분석을 위한 또 다른 방법으로, 주파수 변동을 더 정밀하게 잡아낼 수 있다. 이는 특히 레이더 신호에서 비선형적인 주파수 변화를 추적하는 데 유리하며, 목표물의 세부 움직임 분석에 적합하다. 그러나 교차항이 발생할 수 있어 잡음 제거 및 안정화 기술이 필요하다.

$W_x(t, f) = \int_{-\infty}^{\infty} x\left(t + \frac{\tau}{2}\right) x^*\left(t - \frac{\tau}{2}\right) e^{-j2\pi f \tau} d\tau$

여기서 $W_x(t, f)$ 는 시간 $t$ 와 주파수 $f$ 에서의 WVD 값이며, $x(t)$ 는 신호이다.

안테나 배열 기반 해상도 향상

안테나 배열 기반 해상도 향상은 물리적으로 더 큰 개구를 형성하거나, 배열 안테나의 구성과 신호 처리 기술을 통해 해상도를 높이는 방법이다. 특히 합성 개구 레이더(SAR)나 위상 배열 레이더에서 효과적인 해상도 향상 기법이 적용된다.

디지털 빔포밍 (Digital Beamforming, DBF)

디지털 빔포밍은 다중 안테나 시스템에서 전파의 특정 방향으로 전력 집중을 통해 해상도를 높이는 기술이다. 여러 수신 신호의 위상과 진폭을 조정하여 원하는 방향에서 오는 신호를 강화하거나, 불필요한 방향에서의 신호를 억제할 수 있다. 이 기술은 적응적 빔 형성(adaptive beamforming)을 통해 고정밀 영상 해상도를 제공할 수 있다.

디지털 빔포밍에서, 안테나 배열의 각 소자에서 수신된 신호를 조합하여 빔을 형성하는 방법은 다음과 같은 표현으로 모델링된다.

$y(t) = \sum_{n=1}^{N} w_n x_n(t) e^{j\phi_n}$

여기서: - $y(t)$ 는 조합된 출력 신호, - $x_n(t)$ 는 $n$ 번째 안테나 소자에서의 수신 신호, - $w_n$ 는 가중치(beamforming weight), - $\phi_n$ 는 위상 변화량을 의미한다.

다중입출력 (MIMO) 레이더

MIMO 레이더는 다수의 송신 안테나와 수신 안테나를 사용하여 공간 해상도를 향상시키는 기술이다. 이는 송신과 수신에서 각각 독립적인 신호를 송수신함으로써 다수의 빔패턴을 형성하여 더 많은 공간 정보를 획득할 수 있다. 기존의 단일 입력 단일 출력(SISO) 레이더 시스템에 비해 더 많은 독립 채널을 사용하므로 해상도가 더 높아질 수 있다.

MIMO 레이더의 출력 신호 모델은 다음과 같이 표현될 수 있다.

$\mathbf{Y} = \mathbf{H} \mathbf{S} + \mathbf{N}$

여기서: - $\mathbf{Y}$ 는 수신된 신호 행렬, - $\mathbf{H}$ 는 전파 채널 행렬, - $\mathbf{S}$ 는 송신 신호 행렬, - $\mathbf{N}$ 는 잡음 행렬이다.

개구 합성 기법 (Aperture Synthesis)

개구 합성 기법은 물리적 안테나 개구를 크게 만들기 위한 소프트웨어적 방법으로, 특히 SAR에서 사용된다. 이 기술은 작은 안테나가 이동하면서 얻는 다양한 위치에서의 데이터를 합성하여 마치 거대한 안테나가 있는 것처럼 효과를 발휘한다. 이를 통해 공간 해상도를 높이며, 상세한 영상을 복원할 수 있다.

영상 복원 기법

영상 복원 기법은 레이더 시스템에서 얻어진 데이터를 활용하여 이미지의 품질을 향상시키는 기술을 포함한다. 이러한 복원은 노이즈 제거, 블러 복구, 세부 특징 강조 등 다양한 처리를 통해 이루어진다. 주로 이미지 복원 알고리즘은 다양한 최적화 방법을 통해 구현된다.

역필터링 (Inverse Filtering)

역필터링은 블러를 제거하여 원래의 영상을 복원하는 기법이다. 이 방법은 기존의 신호 모델에서 블러 효과를 나타내는 시스템 응답의 역함수를 적용하여 블러를 제거한다. 이상적인 경우 시스템의 임펄스 응답 $h(t)$ 에 대해 입력 신호 $x(t)$ 가 다음과 같이 표현될 수 있다.

$y(t) = h(t) * x(t)$

여기서 $y(t)$ 는 블러가 적용된 출력 신호이다. 블러를 제거하기 위해서는 $h(t)$ 의 역함수를 적용하여 원본 신호 $x(t)$ 를 복원할 수 있다.

위너 필터링 (Wiener Filtering)

위너 필터링은 노이즈 환경에서 최적의 신호 복원을 위해 사용되는 방법이다. 레이더 신호는 잡음과 왜곡이 포함될 수 있으므로, 이를 최소화하여 원본 신호를 복원할 수 있도록 한다. 위너 필터의 목표는 평균 제곱 오차(MSE)를 최소화하는 것이다. 위너 필터는 다음과 같이 표현된다.

$H_{W}(f) = \frac{P_{xy}(f)}{P_{xx}(f)}$

여기서: - $H_{W}(f)$ 는 위너 필터의 주파수 응답, - $P_{xy}(f)$ 는 입력 신호와 복원하고자 하는 신호의 상호 스펙트럼, - $P_{xx}(f)$ 는 입력 신호의 스펙트럼이다.

위너 필터는 노이즈가 많은 환경에서도 원본 신호의 특징을 최대한 유지하면서 복원할 수 있는 능력이 있다.

점진적 복원 (Iterative Restoration)

점진적 복원 기법은 점진적으로 이미지를 복원해가는 방식으로, 반복적인 알고리즘을 통해 점진적으로 더 나은 복원 결과를 도출하는 방법이다. 대표적인 방법으로 Richardson-Lucy 복원 알고리즘이 있으며, 이 알고리즘은 점진적으로 신호를 개선해가면서 최적의 해를 찾아간다.

$x^{(k+1)} = x^{(k)} \frac{h(-t) * y}{h(-t) * h(t) * x^{(k)}}$

여기서 $x^{(k)}$ 는 $k$ 번째 반복의 복원된 영상, $h(t)$ 는 시스템의 응답, $y$ 는 관측된 신호이다. 이 알고리즘은 각 반복에서의 값이 점점 더 나은 복원 신호로 수렴하게 된다.