7.26 가우시안 채널과 섀넌-하틀리 정리(Shannon-Hartley Theorem)

1. 가산 백색 가우시안 잡음 채널의 모형

1.1 이산 시간 AWGN 채널

가산 백색 가우시안 잡음(Additive White Gaussian Noise, AWGN) 채널은 연속 입출력 채널의 가장 기본적인 모형이다. 이산 시간 AWGN 채널의 입출력 관계는 다음과 같다:

Y_i = X_i + Z_i, \quad i = 1, 2, \ldots, n

여기서 X_i는 채널 입력, Y_i는 채널 출력, Z_i는 잡음이다. 잡음 Z_i는 독립 동일 분포이며 Z_i \sim \mathcal{N}(0, N), 즉 평균 0, 분산 N인 가우시안 분포를 따른다. 잡음은 신호와 독립이다.

1.2 전력 제약

물리적 통신 시스템에서 전송 신호의 전력은 제한된다. 전력 제약(power constraint)은 다음과 같이 표현된다:

\frac{1}{n} \sum_{i=1}^{n} E[X_i^2] \leq S

여기서 S는 허용 최대 평균 전력이다. 신호 대 잡음비(signal-to-noise ratio, SNR)는 \text{SNR} = S/N으로 정의된다.

2. 가우시안 채널의 채널 용량

2.1 용량의 유도

AWGN 채널의 채널 용량은 전력 제약 하에서 상호 정보량을 최대화하여 구한다:

C = \max_{p(x): E[X^2] \leq S} I(X; Y)

Y = X + Z이고 X와 Z가 독립이므로:

I(X; Y) = h(Y) - h(Y \vert X) = h(Y) - h(Z) = h(Y) - \frac{1}{2}\log_2(2\pi e N)

여기서 h(\cdot)는 차분 엔트로피(differential entropy)이다. 가우시안 분포의 차분 엔트로피 h(Z) = (1/2)\log_2(2\pi e N)을 사용하였다.

I(X; Y)를 최대화하려면 h(Y)를 최대화해야 한다. \text{Var}(Y) = \text{Var}(X) + \text{Var}(Z) \leq S + N이고, 주어진 분산 제약 하에서 차분 엔트로피를 최대화하는 분포는 가우시안 분포이므로:

h(Y) \leq \frac{1}{2}\log_2(2\pi e (S + N))

등호는 Y \sim \mathcal{N}(0, S + N)일 때, 즉 X \sim \mathcal{N}(0, S)일 때 성립한다. 따라서:

C = \frac{1}{2}\log_2(2\pi e(S + N)) - \frac{1}{2}\log_2(2\pi e N) = \frac{1}{2}\log_2\left(1 + \frac{S}{N}\right)

단위는 비트/채널 사용(bits per channel use)이다.

3. 섀넌-하틀리 정리

3.1 연속 시간 대역 제한 채널

현실의 통신 채널은 연속 시간 신호를 전달하며, 채널의 대역폭(bandwidth) W Hz에 의해 전송 가능한 신호의 주파수 범위가 제한된다. 나이퀴스트-섀넌 표본화 정리(Nyquist-Shannon sampling theorem)에 의하면, 대역폭 W인 신호는 초당 2W개의 표본으로 완전히 복원 가능하다.

따라서 1초 동안 2W번의 독립적 채널 사용이 가능하며, 각 채널 사용의 용량이 (1/2)\log_2(1 + S/N)이므로, 초당 채널 용량은:

C = W \log_2\left(1 + \frac{S}{N_0 W}\right) \quad \text{bits per second}

여기서 N_0는 잡음의 단측 전력 스펙트럼 밀도(one-sided power spectral density)이며, 대역폭 W 내의 총 잡음 전력은 N = N_0 W이다.

이것이 섀넌-하틀리 정리(Shannon-Hartley theorem)이며, 대역폭과 신호 대 잡음비가 공동으로 채널 용량을 결정함을 진술한다.

3.2 정리의 정식화

정리 (섀넌-하틀리): 대역폭 W Hz, 평균 신호 전력 S 와트, 가산 백색 가우시안 잡음 전력 스펙트럼 밀도 N_0/2 와트/Hz인 연속 시간 채널의 용량은:

C = W \log_2\left(1 + \frac{S}{N_0 W}\right) \quad \text{bits/s}

이 용량 이하의 전송률에서는 오류 확률을 임의로 작게 만드는 부호화가 가능하며, 이 용량 초과의 전송률에서는 불가능하다.

4. 극한 분석

4.1 대역폭 무한 극한

W \to \infty일 때, S/(N_0 W) \to 0이므로 \log_2(1 + x) \approx x/\ln 2 (for small x)를 적용하면:

C_\infty = \lim_{W \to \infty} W \log_2\left(1 + \frac{S}{N_0 W}\right) = \frac{S}{N_0 \ln 2} = \frac{S}{N_0} \log_2 e \approx 1.4427 \frac{S}{N_0} \quad \text{bits/s}

무한 대역폭에서도 전력 제약에 의해 채널 용량은 유한하다. 이 극한 용량은 S/N_0에만 비례하며, 단위 에너지당 전송 가능한 최대 비트 수를 규정한다.

4.2 SNR 무한 극한

고정된 대역폭 W에서 \text{SNR} = S/(N_0 W) \to \infty이면:

C \approx W \log_2\left(\frac{S}{N_0 W}\right) = W \log_2 \text{SNR}

용량은 SNR의 로그에 비례하여 증가하므로, SNR의 선형적 증가에 대해 용량은 로그적으로만 증가한다. 이는 전력 증가에 의한 용량 향상의 효율이 점차 감소함을 의미한다.

4.3 대역폭-전력 절충

섀넌-하틀리 공식은 대역폭과 전력 사이의 절충(trade-off)을 명시적으로 표현한다. 동일한 채널 용량 C를 달성하기 위해, 대역폭을 늘리면 전력을 줄일 수 있고, 전력을 늘리면 대역폭을 줄일 수 있다. 그러나 이 절충은 대칭적이지 않다: 대역폭의 증가는 용량을 선형적으로 증가시키는 경향이 있는 반면(저 SNR 영역), 전력의 증가는 용량을 로그적으로만 증가시킨다(고 SNR 영역).

5. E_b/N_0와 섀넌 한계

5.1 비트 당 에너지

비트 당 에너지 E_b = S/(C \cdot 1) (여기서 C는 bits/s 단위)를 정의하면, 섀넌-하틀리 공식으로부터:

\frac{C}{W} = \log_2\left(1 + \frac{E_b}{N_0} \cdot \frac{C}{W}\right)

\eta = C/W (스펙트럼 효율, spectral efficiency)로 놓으면:

\eta = \log_2(1 + \eta \cdot E_b/N_0)

\eta \to 0 (대역폭 무한 극한)에서:

\frac{E_b}{N_0} \geq \ln 2 \approx 0.693 \quad (-1.59 \text{ dB})

이것이 섀넌 한계(Shannon limit)의 E_b/N_0 표현이다: 신뢰성 있는 통신을 위한 비트 당 에너지 대 잡음 밀도 비의 절대적 하한은 -1.59 dB이다.

6. 실용적 의의

6.1 통신 시스템 설계의 벤치마크

섀넌-하틀리 정리는 모든 통신 시스템의 성능을 평가하는 절대적 기준이다. 실제 시스템의 E_b/N_0 대 비트 오류율(BER) 성능과 섀넌 한계를 비교함으로써, 시스템이 이론적 최적에 얼마나 근접하는지를 정량적으로 평가할 수 있다.

터보 부호와 LDPC 부호는 섀넌 한계로부터 약 0.1~0.5 dB 이내의 성능을 달성하며, 이는 정리가 제시한 이론적 한계에 사실상 도달한 것으로 평가된다.

6.2 무선 통신에서의 적용

현대 무선 통신(4G LTE, 5G NR)에서 섀넌-하틀리 공식은 링크 적응(link adaptation), 적응적 변조 및 부호화(adaptive modulation and coding, AMC), 전력 제어(power control) 등의 설계에 직접적으로 활용된다.

7. 결론

가우시안 채널의 채널 용량과 섀넌-하틀리 정리는 대역폭, 전력, 잡음이 통신의 근본적 한계를 공동으로 결정하는 방식을 정밀하게 규정한다. 가우시안 입력이 최적이라는 결과는 정보 이론에서 가우시안 분포의 특별한 지위를 확인하며, E_b/N_0 \geq \ln 2라는 섀넌 한계는 모든 통신 시스템이 준수해야 할 물리적 법칙에 비견되는 근본적 제약이다.