섀넌-하틀리 정리는 정보이론의 가장 근본적인 원리 중 하나로서, 잡음이 존재하는 통신 채널에서 오류 없이 전송할 수 있는 정보의 이론적 최대 전송률, 즉 채널 용량(Channel Capacity)을 제시한다.1 이 정리는 단순한 수학적 공식에 그치지 않고, 현대 디지털 통신 시스템 설계의 기본 원칙을 확립하며 무선 통신(Wi-Fi, 5G 등), 광통신, 데이터 저장 시스템 등 광범위한 분야에 혁명적인 영향을 미쳤다.1
이론이 탄생한 지 수십 년이 지난 지금도, 이 정리가 제시하는 채널 용량은 실제 통신 시스템의 성능을 평가하는 궁극적인 벤치마크로 기능한다.4 통신 기술의 발전은 섀넌-하틀리 정리가 제시한 이론적 한계에 얼마나 더 근접할 수 있는가에 대한 끊임없는 노력의 과정이었다고 할 수 있다. 본 보고서는 이러한 관점에서 섀넌-하틀리 정리의 근본 원리부터, 정리가 가진 이론적 가정 및 한계, 그리고 이를 극복하기 위한 현대 통신 기술의 발전 과정까지 종합적으로 분석하고자 한다.
섀넌-하틀리 정리의 토대는 20세기 초 통신 기술의 초기 연구자들인 해리 나이퀴스트(Harry Nyquist)와 랠프 하틀리(Ralph Hartley)의 선행 연구에서 비롯된다.
1928년, 나이퀴스트는 주어진 대역폭($B$) 내에서 심볼(pulse)을 독립적으로 전송할 수 있는 최대율이 2B 펄스/초라는 것을 밝혀냈다. 이는 소위 ‘나이퀴스트율(Nyquist rate)’이라고 불리며, 신호의 아날로그 대역폭이 디지털 전송 속도에 미치는 물리적 한계를 정량화했다.2 이 연구는 신호의 전송 속도를 결정하는 데 핵심적인 기반을 제공했다.
나이퀴스트의 연구를 이어받아, 랠프 하틀리는 1928년에 정보 전송에 관한 정량적 측정을 시도했다. 그는 전송 가능한 정보량이 채널의 아날로그 대역폭($B$)과 전송에 사용되는 펄스 레벨의 수($M$)에 비례한다고 주장했다.2 하틀리의 법칙($R = B \log_2 M$)은 전송 속도($R$)가 대역폭과 펄스 레벨 수에 따라 증가함을 보여주었다. 그러나 하틀리는 잡음의 존재가 펄스 레벨 수($M$)에 어떤 영향을 미치는지 명확히 설명하지 못하는 한계를 가지고 있었다. 당시 통신 시스템 설계자들은 낮은 오류율을 달성하기 위해 잡음이 있는 환경에서 매우 보수적인 $M$ 값을 선택해야만 했다.2
클로드 섀넌(Claude Shannon)은 이러한 선행 연구들의 한계를 뛰어넘어, 1940년대에 정보이론을 정립하며 통신 분야에 혁명을 일으켰다.2 그는 하틀리의 아이디어에 ‘채널 용량’이라는 개념과 ‘잡음’의 영향을 통합하여, 잡음이 있는 채널에서 오류 없이 전송 가능한 최대 정보율을 수학적으로 명확히 제시했다. 섀넌은 하틀리가 ‘신뢰성 있게 구별 가능한 펄스 레벨’에 의존했던 것과 달리, ‘오류정정 코딩’을 통해 잡음이 존재하더라도 오류율을 임의로 낮출 수 있다는 획기적인 개념을 도입했다. 이로써 통신 시스템 설계의 방향은 근본적으로 바뀌게 되었다.2
| 인물 | 연도 | 핵심 기여 | 주요 개념 |
|---|---|---|---|
| 나이퀴스트 | 1928 | 주어진 대역폭에서 최대 펄스 전송률 제시 | 나이퀴스트율 |
| 하틀리 | 1928 | 전송 가능한 정보량을 펄스율과 펄스 레벨 수로 정량화 | 하틀리의 법칙 |
| 섀넌 | 1948 | 잡음이 있는 채널에서 오류 없이 전송 가능한 최대 정보율 제시 | 채널 용량, 오류정정 코딩 |
섀넌-하틀리 정리의 핵심은 채널 용량($C$)이라는 개념이다. 채널 용량은 주어진 대역폭($B$)과 신호 대 잡음비(Signal-to-Noise Ratio, $S/N$) 하에서 정보를 오류 없이 전송할 수 있는 이론적 최대 전송률을 의미하며, 단위는 초당 비트(bits per second, bps)이다.1 섀넌-하틀리 정리는 이 채널 용량을 다음과 같은 공식으로 표현한다. \(C = B \log_2\left(1 + \frac{S}{N}\right)\) 여기서 각 변수의 의미는 다음과 같다 1:
이 공식에서 밑이 2인 로그함수($\log_2$)는 1비트의 정보가 2개의 상태($0$ 또는 $1$)를 나타내는 것과 같이, 정보의 양을 비트 단위로 측정하는 것을 반영한다.9 이는 하틀리가 펄스 레벨 수($M$)를 이진 로그로 표현한 것과 맥락을 같이 하지만, 섀넌은 여기에 잡음의 영향을 포함한 $1+S/N$ 항을 도입함으로써 현실적인 한계를 통합했다.2
이 공식은 가산적 백색 가우시안 잡음(AWGN, Additive White Gaussian Noise) 채널에 대한 섀넌의 잡음 채널 코딩 정리(noisy-channel coding theorem)를 적용한 결과로, 유한한 대역폭과 유한한 신호 전력을 가정한다.2
나이퀴스트와 하틀리의 초기 연구는 ‘얼마나 빠르게 펄스를 보낼 수 있는가?’와 ‘얼마나 많은 레벨로 펄스를 보낼 수 있는가?’라는 질문에 집중했다. 이는 잡음이 없는 이상적인 환경에 가까운 논의였으며, 신뢰성 있는 전송은 오직 신호 전력을 높여 잡음의 영향을 압도하는 방식으로만 가능하다고 여겨졌다. 그러나 클로드 섀넌은 이 틀을 깨고, 현실적인 변수인 ‘잡음’을 통신 채널의 본질적인 속성으로 통합했다.
섀넌은 잡음이 있더라도 충분히 긴 부호(code)를 사용하면 오류정정 코딩을 통해 오류 확률을 원하는 만큼 낮출 수 있다는 혁신적인 아이디어를 제시했다.2 이는 하틀리가 신뢰성 있는 통신을 위해 펄스 레벨을 직접 구별하는 방식에 의존했던 것과 근본적으로 다르다. 섀넌의 정리는 단순히 전송 속도의 한계를 계산하는 도구를 넘어, 잡음이 존재하는 환경에서도 오류정정 코딩이라는 기법을 통해 효율적인 통신이 가능하다는
존재론적 증명을 제공했다. 이로써 통신 시스템 설계의 초점은 단순히 신호 전력을 높이는 것에서, 주어진 대역폭과 SNR 환경에서 섀넌의 채널 용량에 근접하는 최적의 오류정정 코드를 찾는 것으로 옮겨가게 되었다. 섀넌의 작업은 이후 수십 년간 오류정정 코딩 기술 연구의 이론적 목표가 되었으며, 현대 디지털 통신 기술 발전의 로드맵을 제시했다.
섀넌-하틀리 정리가 적용되는 이상적인 채널은 가산적 백색 가우시안 잡음(Additive White Gaussian Noise, AWGN) 채널이다.2 이 모델은 실제 잡음의 복잡성을 단순화하여 이론적인 분석을 가능하게 하는 중요한 역할을 한다. AWGN의 세 가지 핵심 특성은 다음과 같다.
AWGN 채널은 신호가 단일 경로를 통해 전송되는 위성 통신 링크와 같은 환경에서는 꽤 정확한 모델이 될 수 있다.14 그러나 다중 경로, 페이딩, 간섭 등 복잡한 요인들이 존재하는 대부분의 지상 무선 통신 환경을 완벽하게 반영하지는 못한다.2 이 때문에 섀넌-하틀리 정리는 현실에서 달성 가능한 최대 속도의 이론적 상한선(theoretical upper bound)으로서, 실제 성능을 평가하는 기준점으로 작용한다.
섀넌-하틀리 정리는 채널 용량($C$)이 대역폭($B$)과 SNR($S/N$)이라는 두 가지 핵심 변수에 의해 결정된다는 것을 명확히 보여준다. 이 두 변수 사이에는 통신 시스템 설계에서 가장 중요한 트레이드오프(trade-off) 관계가 존재한다.1
통신 시스템 설계자는 이 두 변수 사이의 균형을 고려하여, 사용 가능한 자원(주파수 스펙트럼, 전력 등)에 따라 최적의 설계 전략을 수립해야 한다.
섀넌-하틀리 정리는 두 가지 극한 상황에 대한 흥미로운 통찰을 제공한다.
1+S/N 항이 무한대로 발산하므로, 대역폭이 0이 아닌 모든 채널의 용량은 무한대가 된다.8 이론적으로 잡음이 없는 환경에서는 신호를 무한히 미세한 레벨로 구분하여 무한한 양의 정보를 전송할 수 있기 때문이다.2E_b/N_0에 관한 식으로 변환할 수 있다.8이 식을 $E_b/N_0$에 대해 정리하면 다음과 같다 8: \(\frac{E_b}{N_0} = \frac{B}{C}\left(2^{C/B} - 1\right)\) 여기서 대역폭($B$)이 채널 용량($C$)보다 매우 큰 극한($B \gg C$)에서는 $C/B \to 0$이 된다. 이 경우, 테일러 급수 근사식 $e^x \approx 1+x$를 적용하면, 위의 식은 $E_b/N_0 \approx \ln(2)$로 수렴한다.8 이 값은 선형 스케일로 $0.693$이며, 데시벨(dB)로 환산하면 약 $-1.6$ dB가 된다.4
이 값은 섀넌 한계(Shannon Limit)라고 불리며, 무한한 대역폭을 사용하더라도 오류 없이 비트 하나를 전송하는 데 필요한 최소한의 에너지 효율성에 한계가 존재함을 의미한다.4 이는 모든 통신 시스템의 성능을 평가하는 궁극적인 지표로 작용한다.
AWGN 채널은 현실의 복잡성을 단순화한 ‘이상적 벤치마크’이다. 섀넌-하틀리 정리가 제시하는 채널 용량은 실제 성능을 평가하는 기준점 역할을 하며, 통신 엔지니어들이 실제 시스템이 이론적 한계에 얼마나 근접했는지 파악하고, 기술적 병목 현상을 식별하는 데 필요한 근본적인 기준을 제공한다. 이러한 이유로 섀넌-하틀리 정리는 수십 년이 지난 지금도 모든 통신 기술 설계의 첫걸음으로 사용된다.
또한, 섀넌-하틀리 공식에서 변형된 $C/B$(대역폭 효율성)와 $E_b/N_0$(에너지 효율성) 간의 관계는 시스템 설계의 핵심 프레임워크를 제공한다.4 대역폭 효율성이 증가하면 필요한 $E_b/N_0$는 급격히 증가하며, 이는 비트당 전력 소모가 커져 시스템의 수신 감도가 저하될 수 있음을 의미한다. 이 관계는 통신 시스템이 ‘전력 제한(power-limited)’ 환경에서 동작할지, 아니면 ‘대역폭 제한(bandwidth-limited)’ 환경에서 동작할지에 따라 다른 설계 전략이 필요함을 시사한다. 예를 들어, 전력 효율이 중요한 IoT 기기는 낮은 $E_b/N_0$에서 동작하는 설계를, 고속 데이터 전송이 중요한 5G 시스템은 높은 대역폭 효율을 위해 $E_b/N_0$ 증가를 감수하는 설계를 추구한다.4
다음 표는 대역폭과 SNR의 트레이드오프 관계를 시각적으로 보여준다.
| 대역폭 (B) | SNR (S/N) | 채널 용량 (C) | 비고 |
|---|---|---|---|
| 1 MHz | 10 dB | 3.46 Mbps | 낮은 대역폭, 높은 SNR |
| 5 MHz | 5 dB | 6.93 Mbps | 중간 대역폭, 중간 SNR |
| 10 MHz | 0 dB | 6.93 Mbps | 높은 대역폭, 낮은 SNR |
(참고: 10 dB는 S/N=10, 5 dB는 S/N≈3.16, 0 dB는 S/N=1에 해당하며, $C = B \log_2(1+S/N)$ 공식으로 계산됨) 1
섀넌-하틀리 정리가 제시하는 채널 용량은 ‘이론적 상한선’이다. 이 정리는 무한한 연산 능력, 무한한 지연 시간, 완벽한 주파수 동기화 등 비현실적인 가정을 기반으로 한다.3 따라서 실제 시스템의 전송 속도는 항상 이 이론적 한계보다 낮다. 또한, 정리가 가정한 AWGN 채널 모델은 실제 무선 환경의 복잡성을 모두 반영하지 못하는 한계가 있다.14
현대 통신 기술의 발전은 섀넌-하틀리 정리가 제시한 이론적 한계를 극복하려는 노력이 아니라, 정리가 가정한 ‘이상적’ AWGN 채널 환경에 현실을 ‘가깝게 만드는’ 공학적 최적화 과정이다. 복잡한 현실 채널의 특성을 변형하여 섀넌-하틀리 정리가 더 잘 적용될 수 있도록 만드는 창의적인 접근 방식이다.
OFDM은 넓은 주파수 대역을 여러 개의 좁고 직교하는(orthogonal) 부채널로 분할하여 데이터를 병렬로 전송하는 변조 방식이다.17
MIMO는 송신단과 수신단에 여러 개의 안테나를 사용하여 채널 용량을 증대시키는 기술이다.20
다음 표는 현대 통신 기술과 섀넌-하틀리 정리의 관계를 정리한 것이다.
| 기술 | 극복 대상 | 원리 | 섀넌 정리와의 관계 |
|---|---|---|---|
| OFDM | 다중 경로 페이딩, ISI | 넓은 대역을 좁은 부채널로 분할하여 병렬 전송 | 복잡한 채널을 AWGN과 유사한 여러 개의 채널로 분해하여 정리를 더 잘 적용할 수 있도록 함 |
| MIMO | 낮은 SNR, 채널 용량 한계 | 여러 개의 송수신 안테나를 사용한 공간 다중화 및 다이버시티 | 다중 경로를 활용하여 채널 용량 자체를 확장하고 SNR을 개선하여 섀넌 한계에 근접하게 함 |
섀넌-하틀리 정리는 단순히 과거의 유산이 아니라, 현대 및 미래 통신 기술의 핵심 원리로 남아 있다. 이 정리가 제시한 ‘채널 용량’이라는 개념은 5G, Wi-Fi 6/7과 같은 최신 통신 표준의 성능을 정의하고 평가하는 데 있어 여전히 가장 중요한 지표이다.1 현대의 통신 기술은 섀넌-하틀리 정리가 제시한 이론적 한계를 뛰어넘기 위해 OFDM, MIMO와 같은 기술을 더욱 정교하게 발전시키고 있다.20 이러한 기술들은 궁극적으로 채널의 대역폭과 SNR을 최대한 활용하여 이론적 채널 용량에 가능한 한 근접하고자 하는 공학적 노력의 산물이다.
섀넌의 정보이론은 통신 채널을 통해 전달되는 정보의 ‘양’과 ‘전달’의 공학적 측면에만 초점을 맞춘다.6 이 이론은 정보 자체의 ‘의미(meaning)’나 ‘중요성’과는 무관하다는 본질적인 한계를 가진다. 섀넌의 정보는 어떤 메시지의 불확실성이나 무작위성과 관련되어 있으며, 잘 조직화된 메시지는 오히려 섀넌의 정보가 부족한 것으로 간주될 수 있다는 비판을 받기도 했다.6 이러한 한계는 정보이론이 단순히 통신 기술을 넘어 인공지능, 빅데이터, 양자 정보이론(Quantum Information Theory) 등으로 확장되는 중요한 계기가 되었다.6
결론적으로, 섀넌-하틀리 정리는 통신 기술의 현재를 설명하고 미래를 예측하는 데 필수적인 변치 않는 이론적 토대이다. 양자 통신이나 테라헤르츠(Terahertz) 통신과 같이 섀넌 정리가 가정한 물리적 채널 모델을 초월하는 새로운 기술이 등장하더라도, 정보 전송의 근본적인 원리인 대역폭과 신호 전력, 그리고 잡음의 관계는 여전히 유효한 기준으로 활용될 것이다.3 섀넌-하틀리 정리는 통신 분야의 발전에 있어 끊임없이 도전하고 혁신을 이끌어내는 나침반 역할을 계속 수행할 것이다.