7.3 통신 시스템의 일반 모형: 정보원, 부호기, 채널, 복호기, 수신기

1. 섀넌의 통신 시스템 블록 다이어그램

클로드 섀넌(Claude Shannon)은 “A Mathematical Theory of Communication“에서 모든 통신 시스템을 다섯 가지 기본 구성 요소로 분해하는 일반 모형(general model)을 제시하였다. 이 모형은 전신, 전화, 라디오, 텔레비전 등 당시 존재하던 모든 통신 방식을 단일한 추상적 구조로 포괄하며, 이후 디지털 통신, 데이터 네트워크, 나아가 기계 학습 시스템의 분석에까지 적용되는 보편적 틀로 기능한다. 모형의 다섯 구성 요소는 다음과 같다:

$\text{정보원} \rightarrow \text{송신기(부호기)} \rightarrow \text{채널} \rightarrow \text{수신기(복호기)} \rightarrow \text{목적지}$

채널에는 잡음원(noise source)이 추가적으로 작용한다. 각 구성 요소는 수학적으로 엄밀하게 정의되며, 이 정의들의 결합이 정보 이론의 핵심 정리들을 도출하는 기반이 된다.

2. 정보원(Information Source)

2.1 정의와 수학적 모형

정보원은 통신의 출발점으로, 전달할 메시지(message)를 생성하는 주체이다. 섀넌은 정보원을 확률 과정(stochastic process)으로 모형화하였다. 정보원은 유한한 기호 집합(알파벳) $\mathcal{A} = \{a_1, a_2, \ldots, a_q\}$ 으로부터 기호의 수열을 생성하며, 각 기호의 출현은 확률적으로 결정된다.

가장 단순한 모형은 이산 무기억 정보원(discrete memoryless source, DMS)이다. 이 모형에서 각 시점의 기호 선택은 이전 기호와 독립이며, 동일한 확률 분포 $P(X = a_i) = p_i$ 를 따른다. 무기억 정보원의 엔트로피는 다음과 같다:

$H(X) = -\sum_{i=1}^{q} p_i \log_2 p_i$

보다 현실적인 모형에서 정보원은 기억(memory)을 가진다. 즉, 현재 기호의 출현 확률이 이전에 생성된 기호에 의존한다. 섀넌은 이러한 의존 구조를 마르코프 연쇄(Markov chain)로 모형화하였다. $m$ 차 마르코프 정보원에서, 현재 기호의 조건부 확률은 직전 $m$ 개의 기호에만 의존한다:

$P(X_n = a_i \mid X_{n-1}, X_{n-2}, \ldots) = P(X_n = a_i \mid X_{n-1}, X_{n-2}, \ldots, X_{n-m})$

2.2 정보원의 유형

섀넌은 정보원을 이산 정보원(discrete source)과 연속 정보원(continuous source)으로 구분하였다. 이산 정보원은 유한하거나 가산 무한한 기호 집합에서 기호를 선택하는 것으로, 텍스트, 이진 데이터 등이 이에 해당한다. 연속 정보원은 연속 값의 신호를 생성하는 것으로, 음성 신호, 아날로그 센서 출력 등이 이에 해당한다.

연속 정보원의 경우, 엔트로피의 정의는 차분 엔트로피(differential entropy)로 확장된다. 확률 밀도 함수 $f(x)$ 를 가지는 연속 확률 변수 $X$ 의 차분 엔트로피는 다음과 같이 정의된다:

$h(X) = -\int_{-\infty}^{\infty} f(x) \log_2 f(x) \, dx$

차분 엔트로피는 이산 엔트로피와 달리 음의 값을 가질 수 있으며, 기호 집합의 크기에 의존하는 무한 상수를 포함하므로, 절대적 정보량보다는 상대적 비교의 척도로서 의미를 가진다.

3. 송신기 및 부호기(Transmitter / Encoder)

3.1 정보원 부호기의 역할

송신기(transmitter)는 정보원이 생성한 메시지를 채널을 통해 전송 가능한 형태의 신호(signal)로 변환하는 장치이다. 이 변환 과정의 핵심이 부호화(encoding)이다. 부호기(encoder)는 정보원의 기호 또는 기호 수열을 채널 입력 알파벳의 부호어(codeword)로 매핑(mapping)하는 함수이다.

섀넌의 모형에서 부호화는 두 가지 독립적 목적을 가진다. 첫째, 정보원 부호화(source coding)는 정보원의 잉여성(redundancy)을 제거하여 메시지를 가능한 한 압축하는 것을 목적으로 한다. 둘째, 채널 부호화(channel coding)는 잡음에 의한 오류를 감지·정정할 수 있도록 통제된 잉여성을 부가하는 것을 목적으로 한다. 이 두 부호화는 분리 정리(separation theorem)에 의해 독립적으로 설계할 수 있다.

3.2 정보원 부호화의 수학적 구조

정보원 부호기는 함수 $C: \mathcal{A}^* \rightarrow \{0, 1\}^*$ 로 정의된다. 여기서 $\mathcal{A}^*$ 는 정보원 알파벳에 대한 유한 길이 수열의 집합이고, $\{0, 1\}^*$ 는 이진 수열의 집합이다. 부호기가 유일 복호 가능(uniquely decodable)하려면, 임의의 부호어 연결(concatenation)로부터 원래의 기호 수열이 유일하게 복원 가능해야 한다.

접두어 부호(prefix code) 또는 순시 부호(instantaneous code)는 어떠한 부호어도 다른 부호어의 접두어가 되지 않는 부호이다. 접두어 부호의 부호어 길이 $l_1, l_2, \ldots, l_q$ 는 크래프트 부등식(Kraft inequality)을 만족해야 한다:

$\sum_{i=1}^{q} 2^{-l_i} \leq 1$

크래프트 부등식은 접두어 부호의 존재 가능성에 대한 필요충분조건이다. 이 부등식과 엔트로피의 관계로부터, 최적 부호어 길이가 $l_i^* = -\log_2 p_i$ 에 근접해야 함이 도출된다.

3.3 채널 부호화의 원리

채널 부호기는 정보원 부호기의 출력인 $k$ 비트의 메시지를 $n$ 비트의 부호어로 변환한다( $n > k$ ). 부호율(code rate)은 $R = k/n$ 으로 정의되며, 이는 부호어 당 전달되는 정보 비트의 비율이다. 추가된 $n - k$ 비트는 잉여 비트(redundancy bit) 또는 패리티 비트(parity bit)로, 채널 잡음에 의한 오류를 감지하거나 정정하는 데 사용된다.

섀넌의 잡음 채널 부호화 정리에 의하면, $R < C$ (여기서 $C$ 는 채널 용량)인 한, 오류 확률을 임의로 작게 만드는 채널 부호가 존재한다. 이 정리는 채널 부호화의 이론적 한계를 규정하며, 부호율과 오류 확률 사이의 근본적 관계를 명시한다.

4. 채널(Channel)

4.1 채널의 수학적 정의

통신 채널(communication channel)은 송신기의 출력 신호를 수신기의 입력 신호로 전달하는 매체이다. 섀넌의 모형에서 채널은 입력 알파벳 $\mathcal{X}$ , 출력 알파벳 $\mathcal{Y}$ , 그리고 전이 확률(transition probability) $p(y \vert x)$ 의 삼중쌍 $(\mathcal{X}, p(y \vert x), \mathcal{Y})$ 으로 정의된다. 전이 확률 $p(y \vert x)$ 는 입력 $x \in \mathcal{X}$ 가 주어졌을 때 출력 $y \in \mathcal{Y}$ 가 관측될 확률을 나타낸다.

이산 무기억 채널(discrete memoryless channel, DMC)에서 각 시점의 출력은 해당 시점의 입력에만 의존하고, 과거의 입력 및 출력에는 의존하지 않는다:

$p(y_1, y_2, \ldots, y_n \vert x_1, x_2, \ldots, x_n) = \prod_{i=1}^{n} p(y_i \vert x_i)$

4.2 채널의 대표적 유형

이진 대칭 채널(Binary Symmetric Channel, BSC): 입력과 출력이 모두 $\{0, 1\}$ 이며, 각 비트가 확률 $p$ 로 반전되는 채널이다. 전이 확률은 다음과 같다:

$p(y = 0 \vert x = 0) = p(y = 1 \vert x = 1) = 1 - p$
$p(y = 1 \vert x = 0) = p(y = 0 \vert x = 1) = p$

BSC의 채널 용량은 $C = 1 - H_b(p)$ 이다. 여기서 $H_b(p) = -p \log_2 p - (1-p) \log_2 (1-p)$ 는 이진 엔트로피 함수이다.

이진 소거 채널(Binary Erasure Channel, BEC): 각 비트가 확률 $1 - \epsilon$ 으로 정확히 전달되고, 확률 $\epsilon$ 으로 소거(erasure) 기호 ’e’로 대체되는 채널이다. BEC의 채널 용량은 $C = 1 - \epsilon$ 이다.

가산 백색 가우시안 잡음 채널(Additive White Gaussian Noise Channel, AWGN): 연속 채널의 가장 기본적인 모형으로, 출력이 $Y = X + Z$ 의 형태를 가진다. 여기서 $Z$ 는 평균 0, 분산 $N$ 인 가우시안 확률 변수이다. 이 채널의 용량은 섀넌-하틀리 공식에 의해 주어진다.

4.3 잡음원의 모형화

잡음원(noise source)은 채널에 작용하여 전송 신호를 왜곡하는 요인이다. 섀넌의 모형에서 잡음은 확률적으로 모형화되며, 잡음의 통계적 특성이 채널의 전이 확률을 결정한다. 잡음의 유형에 따라 열잡음(thermal noise), 간섭(interference), 감쇠(attenuation) 등이 구분되나, 섀넌의 추상적 모형에서는 이들이 모두 전이 확률 $p(y \vert x)$ 로 통합적으로 기술된다.

5. 수신기 및 복호기(Receiver / Decoder)

5.1 복호기의 역할

수신기(receiver)는 채널의 출력 신호로부터 원래 메시지를 복원하는 장치이다. 복호기(decoder)는 수신된 채널 출력 수열 $\mathbf{y} = (y_1, y_2, \ldots, y_n)$ 로부터 원래 전송된 메시지 $\hat{\mathbf{m}}$ 을 추정하는 함수이다:

$\hat{\mathbf{m}} = D(\mathbf{y})$

여기서 $D: \mathcal{Y}^n \rightarrow \mathcal{M}$ 은 복호 함수이며, $\mathcal{M}$ 은 가능한 메시지의 집합이다.

5.2 최적 복호 전략

채널 부호화 이론에서 최적 복호 전략은 최대 우도 복호(Maximum Likelihood Decoding, MLD)와 최대 사후 확률 복호(Maximum A Posteriori Decoding, MAP)로 구분된다.

최대 우도 복호는 관측된 채널 출력 $\mathbf{y}$ 에 대해 우도(likelihood) $p(\mathbf{y} \vert \mathbf{c})$ 를 최대화하는 부호어 $\mathbf{c}$ 를 선택한다:

$\hat{\mathbf{c}}_{\text{ML}} = \arg\max_{\mathbf{c} \in \mathcal{C}} p(\mathbf{y} \vert \mathbf{c})$

최대 사후 확률 복호는 사후 확률(posterior probability) $p(\mathbf{c} \vert \mathbf{y})$ 를 최대화한다:

$\hat{\mathbf{c}}_{\text{MAP}} = \arg\max_{\mathbf{c} \in \mathcal{C}} p(\mathbf{c} \vert \mathbf{y}) = \arg\max_{\mathbf{c} \in \mathcal{C}} p(\mathbf{y} \vert \mathbf{c}) p(\mathbf{c})$

모든 부호어가 동일한 사전 확률을 가질 때, 최대 우도 복호와 최대 사후 확률 복호는 동치이다.

5.3 정보원 복호화

정보원 복호기(source decoder)는 채널 복호기의 출력인 이진 수열로부터 원래의 정보원 기호 수열을 복원한다. 이는 정보원 부호기의 역함수에 해당하며, 접두어 부호의 경우 순차적 탐색(sequential parsing)을 통해 구현된다. 부호어 경계가 명확히 식별 가능하므로, 이진 수열의 왼쪽부터 순차적으로 부호어를 인식하여 원래 기호로 매핑한다.

6. 목적지(Destination)

목적지는 복원된 메시지를 최종적으로 수신하는 주체이다. 섀넌의 모형에서 목적지는 추상적 개체로, 인간 사용자일 수도 있고 다른 기계 시스템일 수도 있다. 통신의 성공 여부는 목적지가 수신한 메시지 $\hat{\mathbf{m}}$ 이 정보원이 생성한 원래 메시지 $\mathbf{m}$ 과 얼마나 정확히 일치하는가에 의해 판단된다.

오류 확률(error probability)은 $P_e = P(\hat{\mathbf{m}} \neq \mathbf{m})$ 으로 정의되며, 이것이 통신 시스템의 신뢰성을 측정하는 기본 척도이다. 섀넌의 채널 부호화 정리는 채널 용량 이하의 전송률에서 $P_e$ 를 임의로 작게 만들 수 있음을 보장한다.

7. 분리 정리와 모형의 모듈성

7.1 정보원-채널 분리 정리

섀넌의 통신 시스템 모형이 가지는 핵심적 구조적 성질은 정보원-채널 분리 정리(source-channel separation theorem)에 의해 보장된다. 이 정리에 의하면, 정보원 부호화와 채널 부호화를 독립적으로, 즉 분리하여 설계하더라도, 결합 최적(joint optimum)과 동일한 성능을 달성할 수 있다.

구체적으로, 정보원의 엔트로피율 $H$ 가 채널 용량 $C$ 이하이면( $H \leq C$ ), 정보원 부호화를 통해 메시지를 엔트로피율에 가깝게 압축한 후, 독립적으로 설계된 채널 부호화를 적용하여 신뢰성 있는 전송이 가능하다. 이 분리 원리는 통신 시스템의 모듈적(modular) 설계를 이론적으로 정당화하며, 현대 통신 시스템 설계의 기본 원칙으로 자리 잡았다.

7.2 모형의 보편적 적용 가능성

섀넌의 5요소 모형은 전통적 전기 통신을 넘어 다양한 정보 처리 시스템의 분석에 적용된다. 데이터 저장 시스템에서 기록 매체는 채널의 역할을, 기록 장치는 부호기의 역할을, 판독 장치는 복호기의 역할을 수행한다. 기계 학습에서 학습 알고리즘은 데이터(정보원)로부터 모형(부호화된 표현)을 추출하고, 추론 시 이 표현을 복호화하여 예측을 산출하는 것으로 해석할 수 있다.

이 모형의 보편성은 그 추상화 수준에서 기인한다. 물리적 구현의 세부 사항을 사상(捨象)하고 정보의 흐름과 변환이라는 본질적 구조만을 포착함으로써, 특정 기술에 종속되지 않는 일반 이론의 토대가 구축된 것이다.