7.2 통신의 수학적 이론(1948)의 핵심 문제 정의

1. 논문의 출발점: 통신의 근본 문제

클로드 섀넌(Claude Shannon)은 1948년 “A Mathematical Theory of Communication“의 서두에서 통신의 근본 문제(fundamental problem of communication)를 다음과 같이 정의하였다: “통신의 근본 문제는 한 지점에서 선택된 메시지를 다른 지점에서 정확히 또는 근사적으로 재현하는 것이다.” 이 정의는 간결하지만, 그 함의는 통신 이론 전체의 방향을 결정하는 것이었다.

이 정의에서 주목해야 할 핵심적 특징은, 메시지의 의미(meaning)를 명시적으로 배제하였다는 점이다. 섀넌은 논문에서 “메시지의 의미론적 측면은 공학적 문제와 무관하다“고 명확히 진술하였다. 이 선언적 분리는 정보의 개념을 의미론적 내용으로부터 해방시켜 순수하게 통계적·구조적 대상으로 다룰 수 있게 하였으며, 이것이 수학적 정량화를 가능케 한 결정적 추상화이다.

2. 핵심 문제의 분해

2.1 제1문제: 정보의 정량적 측정

섀넌이 제기한 첫 번째 핵심 문제는 “정보원이 산출하는 정보의 양을 어떻게 측정할 것인가“이다. 통신 체계의 설계에 앞서, 전송해야 할 대상의 양을 정밀하게 정의하지 않으면 체계의 효율성이나 한계를 논할 수 없다. 이 문제에 대한 섀넌의 해답이 바로 정보 엔트로피(information entropy)이다.

섀넌 이전에도 정보량을 측정하려는 시도가 있었다. 하틀리(Ralph Hartley)는 1928년 n개의 동등하게 가능한 메시지 중 하나를 선택하는 행위의 정보량을 \log n으로 정의하였다. 그러나 이 정의는 모든 메시지가 동일한 발생 확률을 가진다는 비현실적 가정에 의존하였다. 현실의 통신에서 각 메시지의 발생 확률은 균등하지 않다. 예를 들어, 영어 텍스트에서 문자 ’e’의 출현 빈도는 문자 ’z’의 출현 빈도보다 현저히 높다.

섀넌은 정보원을 확률 과정(stochastic process)으로 모형화함으로써 이 제한을 극복하였다. 정보원이 산출하는 각 기호(symbol)에 확률이 부여되며, 정보량은 이 확률 분포에 의해 결정된다. 확률이 낮은 기호의 출현은 높은 정보량을 전달하고, 확률이 높은 기호의 출현은 낮은 정보량을 전달한다. 정보원 전체의 평균 정보량, 즉 엔트로피는 다음과 같이 정의된다:

H = -\sum_{i} p_i \log p_i

이 정의는 정보원의 통계적 특성에 의해서만 결정되며, 기호의 의미나 물리적 형태에는 무관하다.

2.2 제2문제: 정보원 부호화의 최적 한계

두 번째 핵심 문제는 “정보원이 산출하는 메시지를 얼마나 효율적으로 부호화(encoding)할 수 있는가“이다. 이는 데이터 압축(data compression)의 이론적 한계를 묻는 것이다.

메시지를 이진 부호어(binary codeword)로 변환할 때, 빈번히 출현하는 기호에 짧은 부호어를, 드물게 출현하는 기호에 긴 부호어를 할당하면 평균 부호 길이를 줄일 수 있다. 그러나 이 압축에는 근본적 한계가 존재하는가? 존재한다면 그 한계는 무엇인가?

섀넌은 무잡음 부호화 정리(noiseless coding theorem)를 통해 이 질문에 답하였다. 정보원의 엔트로피 H가 바로 그 한계이다. 어떠한 부호화 기법을 사용하더라도 평균 부호 길이를 H 미만으로 줄이는 것은 불가능하며, 적절한 부호화를 통해 H에 임의로 가깝게 접근하는 것은 가능하다. 이로써 엔트로피는 정보원의 본질적 정보 생산율(information rate)에 대한 정확한 척도임이 확인된다.

2.3 제3문제: 잡음 채널에서의 신뢰성 있는 통신

세 번째이자 가장 심원한 문제는 “잡음이 존재하는 통신 채널을 통해 신뢰성 있는 정보 전송이 가능한가, 가능하다면 그 한계는 무엇인가“이다. 현실의 모든 통신 채널에는 잡음(noise)이 존재하며, 잡음은 전송된 신호를 왜곡하여 수신자가 원래 메시지를 정확히 복원하지 못하게 한다.

이 문제에 대한 섀넌 이전의 일반적 인식은, 잡음이 클수록 통신의 정확도가 떨어지며, 오류율을 낮추기 위해서는 전송 속도를 줄여야 한다는 것이었다. 즉, 잡음 수준에 따라 전송 속도와 정확도 사이에 불가피한 절충(trade-off)이 존재한다는 것이 지배적 견해였다.

섀넌의 잡음 채널 부호화 정리(noisy channel coding theorem)는 이 직관을 근본적으로 뒤집었다. 이 정리에 의하면, 모든 통신 채널에는 채널 용량(channel capacity) C라는 고유한 상수가 존재하며, 전송률이 C 미만인 한 적절한 부호화-복호화 기법을 통해 오류 확률을 임의로 작게 만드는 것이 가능하다. 반대로, 전송률이 C를 초과하면 오류 확률을 임의로 줄이는 것은 불가능하다.

이 결과의 혁명적 의미는 다음과 같다: 잡음의 존재가 정확한 통신을 원리적으로 불가능하게 만드는 것이 아니라, 단지 전송 속도의 상한을 설정할 뿐이다. 그 상한 이하에서는 사실상 완벽한 통신이 달성 가능하다.

3. 문제 정의의 방법론적 혁신

3.1 의미론적 층위의 분리

섀넌이 수행한 가장 근본적인 방법론적 혁신은, 통신 문제를 세 가지 층위(level)로 명확히 분리한 것이다. 워렌 위버(Warren Weaver)가 1949년 섀넌의 논문에 대한 해설에서 체계화한 이 분류는 다음과 같다:

• 수준 A (기술적 문제): 통신 기호가 얼마나 정확하게 전송될 수 있는가?
• 수준 B (의미론적 문제): 전송된 기호가 의도된 의미를 얼마나 정확하게 전달하는가?
• 수준 C (효과성 문제): 수신된 의미가 원하는 방식으로 행동에 얼마나 효과적으로 영향을 미치는가?

섀넌의 이론은 수준 A에 집중한다. 이 집중은 이론의 한계가 아니라 강점이다. 의미론적 문제와 효과성 문제를 배제함으로써, 메시지의 내용이 무엇이든—텍스트, 음성, 이미지, 또는 임의의 기호열—통일적으로 적용 가능한 이론을 구축할 수 있었다.

3.2 확률론적 모형화

섀넌의 두 번째 방법론적 혁신은 통신의 모든 구성 요소를 확률론적으로 모형화한 것이다. 정보원은 확률 과정으로, 채널은 조건부 확률 분포로 기술된다. 이 모형화는 다음의 이점을 제공한다:

첫째, 정보원의 통계적 구조를 활용한 효율적 부호화가 가능해진다. 정보원의 확률 분포를 알면, 빈번한 패턴에 짧은 부호를 할당하는 최적 전략을 수학적으로 도출할 수 있다.

둘째, 채널의 잡음 특성을 확률적으로 기술함으로써, 잡음의 영향을 정량적으로 분석하고 이에 대항하는 부호화 전략을 설계할 수 있다.

셋째, 정보 이론의 핵심 정리들이 확률론의 극한 정리(limit theorem), 특히 큰 수의 법칙(law of large numbers)과 그 변형에 기초하여 증명될 수 있다.

3.3 존재 증명과 구성적 증명의 분리

섀넌의 증명 방법론에서 또 하나의 특징적 측면은 존재 증명(existence proof)의 적극적 활용이다. 잡음 채널 부호화 정리의 달성 가능성 증명에서 섀넌은 임의 부호화(random coding) 기법을 사용하였다. 부호어를 확률적으로 무작위 생성한 후, 이러한 임의 부호의 평균 성능이 원하는 수준을 달성함을 보인 것이다.

이 증명은 원하는 성능을 가진 부호가 존재함을 보이지만, 그러한 부호를 구체적으로 구성하는 방법은 제시하지 않는다. 이 존재 증명과 구성적 증명의 분리는 이후 부호화 이론(coding theory) 연구의 핵심 동력이 되었다. 섀넌이 이론적으로 달성 가능함을 증명한 한계에 실제로 도달하는 부호의 구성은 수십 년에 걸친 연구의 과제가 되었으며, 터보 부호(turbo code, 1993)와 LDPC 부호(low-density parity-check code)의 재발견을 통해 비로소 섀넌 한계에 사실상 도달하게 되었다.

4. 선행 연구와의 비교를 통한 문제 정의의 독자성

4.1 하틀리의 정보 측정과의 차이

하틀리의 1928년 논문 “Transmission of Information“은 정보량의 로그적 측정을 제안한 선구적 연구이나, 몇 가지 근본적 한계를 가진다. 하틀리는 정보원의 확률 구조를 고려하지 않았으며, 모든 기호가 동등한 확률로 발생한다는 가정 하에서만 정보량을 정의하였다. 또한 잡음 채널에서의 통신 한계 문제는 하틀리의 프레임워크에서 다루어지지 않았다.

섀넌의 문제 정의는 하틀리의 결정론적 틀을 확률론적 틀로 전면 확장하였다. 이 확장에 의해 정보원의 비균등 확률 분포가 정보량의 정의에 반영되고, 채널의 잡음이 확률적으로 모형화되며, 부호화의 최적성이 확률론의 극한 정리를 통해 증명될 수 있게 되었다.

4.2 나이퀴스트의 전송률 분석과의 관계

나이퀴스트는 1924년 논문 “Certain Factors Affecting Telegraph Speed“에서 전신 신호의 전송 속도가 채널 대역폭에 의해 제한됨을 보였다. 나이퀴스트의 분석은 결정론적 신호에 대한 것으로, 잡음의 영향은 고려하지 않았다.

섀넌은 나이퀴스트의 대역폭 제한 분석을 잡음이 존재하는 환경으로 확장하여, 대역폭과 신호 대 잡음비(signal-to-noise ratio, SNR)가 공동으로 채널 용량을 결정함을 보였다. 가우시안 채널의 경우 이 관계는 섀넌-하틀리 공식으로 표현된다:

C = W \log_2 \left(1 + \frac{S}{N}\right)

여기서 W는 대역폭, S는 신호 전력, N은 잡음 전력이다.

5. 문제 정의의 보편성과 후속 영향

섀넌이 정의한 핵심 문제들은 전기 통신이라는 특정 영역을 넘어 보편적 적용 가능성을 가진다. 정보의 정량적 측정, 데이터 압축의 한계, 잡음 존재 하의 신뢰성 있는 전송이라는 세 문제는, 디지털 통신, 데이터 저장, 신호 처리, 기계 학습, 통계적 추론 등 정보를 다루는 모든 분야에서 근본적 질문으로 기능한다.

이 보편성은 섀넌의 추상화 수준에서 기인한다. 메시지의 의미를 배제하고 통계적 구조만을 다룸으로써, 정보의 물리적 구현 형태에 무관한 이론이 구축되었다. 이 추상화는 후속 연구자들이 섀넌의 이론을 통신 공학을 넘어 물리학, 생물학, 경제학, 언어학 등의 분야에 적용하는 기초가 되었다.