7.13 볼츠만 엔트로피와 섀넌 엔트로피의 비교 분석

1. 두 엔트로피의 정의 비교

1.1 볼츠만 엔트로피

루트비히 볼츠만(Ludwig Boltzmann)이 1877년에 도입한 볼츠만 엔트로피는 열역학적 거시 상태(macrostate)에 대응하는 미시 상태(microstate)의 수 W를 이용하여 정의된다:

S_B = k_B \ln W

여기서 k_B \approx 1.381 \times 10^{-23} J/K는 볼츠만 상수이다. 이 정의는 미시 정준 앙상블(microcanonical ensemble), 즉 고립계의 모든 접근 가능한 미시 상태가 동등한 확률을 가진다는 등확률 가정(equal a priori probability postulate) 하에서 성립한다.

1.2 깁스 엔트로피

요시아 윌러드 깁스(Josiah Willard Gibbs)의 일반화된 엔트로피는 미시 상태의 확률 분포 \{p_i\}를 이용하여 정의된다:

S_G = -k_B \sum_i p_i \ln p_i

깁스 엔트로피는 등확률 가정을 필요로 하지 않으며, 정준 앙상블(canonical ensemble), 대정준 앙상블(grand canonical ensemble) 등 일반적 상황에 적용 가능하다. 미시 정준 앙상블에서 p_i = 1/W를 대입하면 S_G = k_B \ln W = S_B를 복원한다.

1.3 섀넌 엔트로피

클로드 섀넌(Claude Shannon)이 1948년에 정의한 정보 엔트로피는 이산 확률 분포 \{p_i\}에 대해 다음과 같다:

H = -\sum_i p_i \log_2 p_i

단위는 비트(bit)이며, 확률 분포의 불확실성 또는 평균 정보량을 측정한다.

2. 수학적 구조의 동일성과 차이

2.1 함수 형태의 비교

세 엔트로피 정의는 f(\{p_i\}) = -C \sum_i p_i \log p_i의 동일한 수학적 형태를 공유한다. 차이는 비례 상수 C와 로그의 밑에 있다:

변환 관계는 다음과 같다:

S_G = k_B \ln 2 \cdot H

이 관계에서 k_B \ln 2 \approx 9.57 \times 10^{-24} J/K는 1비트의 정보에 대응하는 열역학적 엔트로피이다.

2.2 공리적 특성의 비교

섀넌 엔트로피의 유일성은 연속성, 최대성, 재귀적 분해 가능성이라는 세 공리로부터 증명된다. 깁스 엔트로피 역시 유사한 공리적 특성화가 가능하다. 특히, 최대 엔트로피 원리(maximum entropy principle)는 양쪽 모두에서 핵심적 역할을 한다:

• 통계역학: 주어진 거시적 제약(에너지, 입자 수 등) 하에서 깁스 엔트로피를 최대화하는 분포가 평형 분포이다.
• 정보 이론: 주어진 제약(평균값, 분산 등) 하에서 섀넌 엔트로피를 최대화하는 분포가 최소 편향(least biased) 분포이다.

이 두 원리는 수학적으로 동일한 최적화 문제이며, 라그랑주 승수법에 의해 동일한 방식으로 풀린다.

3. 적용 영역의 차이

3.1 볼츠만-깁스 엔트로피의 물리적 맥락

볼츠만-깁스 엔트로피는 물리적 시스템의 거시적 상태를 기술하는 열역학적 양이다. 이 엔트로피는 다음의 물리적 맥락에서 정의된다:

1. 물리적 시스템: 기체, 고체, 액체, 복사장 등 물리적 입자로 구성된 시스템.
2. 미시 상태: 모든 입자의 위치와 운동량으로 정의되는 위상 공간(phase space)의 점.
3. 확률 분포: 시스템의 거시적 조건(에너지, 온도, 부피 등)에 의해 결정되는 미시 상태의 앙상블 확률.
4. 물리적 단위: J/K (줄/켈빈), 온도와 에너지에 연결된 차원적 양.

열역학적 엔트로피는 에너지, 일, 열, 자유 에너지 등 다른 열역학적 양과 정량적 관계를 가진다. 예를 들어, 헬름홀츠 자유 에너지(Helmholtz free energy)는 F = E - TS로 엔트로피와 온도의 곱에 의존한다.

3.2 섀넌 엔트로피의 정보론적 맥락

섀넌 엔트로피는 확률 분포에 대한 순수 수학적 함수로, 물리적 기질에 의존하지 않는다:

1. 추상적 정보원: 확률적으로 기호를 생성하는 임의의 출처.
2. 확률 분포: 기호의 출현 빈도를 기술하는 분포.
3. 물리적 독립성: 정보가 어떤 물리적 매체에 저장되었는지에 무관.
4. 무차원 단위: 비트(bit), 냇(nat) 등 순수 정보론적 단위.

섀넌 엔트로피의 조작적 의미(operational meaning)는 데이터 압축의 최적 한계에 의해 주어진다: H는 정보원의 출력을 이진 부호로 표현하는 데 필요한 평균 비트 수의 하한이다.

4. 해석의 차이

4.1 불확실성의 원천

볼츠만-깁스 엔트로피에서 확률의 원천은 물리적이다. 미시 상태에 대한 확률은 시스템의 물리적 상태에 대한 지식의 한계를 반영하거나(주관적 해석), 시스템의 실제 통계적 요동을 반영한다(빈도주의적 해석). 양자역학에서는 미시 상태의 확률이 근본적(intrinsic)이며, 지식의 한계에 의한 것이 아니다.

섀넌 엔트로피에서 확률의 원천은 정보원의 통계적 모형에 의해 결정된다. 확률은 메시지 생성 과정의 통계적 특성을 기술하며, 물리적 원인이 명시되지 않아도 된다.

4.2 엔트로피 증가의 의미

열역학에서 엔트로피의 증가는 물리적 과정의 비가역성을 나타내며, 에너지의 비가용성(unavailability)의 증가에 해당한다. 엔트로피가 최대인 열평형 상태에서는 유용한 일을 추출할 수 없다.

정보 이론에서 엔트로피의 증가에 해당하는 것은 데이터 처리에 의한 정보의 손실이다. 데이터 처리 부등식은 마르코프 연쇄 X \to Y \to Z에서 I(X; Z) \leq I(X; Y)를 보장하며, 이는 처리 과정에서 정보가 생성될 수 없음을 의미한다.

5. 연결 고리: 란다우어 원리

5.1 정보 소거의 열역학적 비용

란다우어(Rolf Landauer)는 1961년 논문 “Irreversibility and Heat Generation in the Computing Process“에서, 논리적으로 비가역적인 계산 과정(정보의 소거)이 열역학적으로도 비가역적임을 주장하였다. 구체적으로, 1비트의 정보를 소거할 때 환경으로 최소한 다음의 열이 방출된다:

Q \geq k_B T \ln 2

이 원리는 정보가 추상적 개념이 아닌 물리적 실재임을 함의한다. 정보는 물리적 매체에 기록되며, 그 소거는 물리적 법칙(열역학 제2법칙)에 의해 제약된다.

5.2 실험적 검증

란다우어 원리는 2012년 베루(Antoine Bérut) 등에 의해 콜로이드 입자(colloidal particle)를 이중 우물 퍼텐셜(double-well potential)에 가두는 실험을 통해 실험적으로 검증되었다. 이 실험에서 1비트의 정보 소거에 수반되는 열 방출이 k_B T \ln 2의 이론적 하한에 근접함이 확인되었다.

6. 양자 정보 이론에서의 확장

6.1 폰 노이만 엔트로피

양자역학적 시스템에서 깁스 엔트로피의 자연스러운 일반화는 존 폰 노이만(John von Neumann)의 양자 엔트로피이다. 밀도 행렬(density matrix) \rho에 대해:

S(\rho) = -\text{tr}(\rho \ln \rho) = -\sum_i \lambda_i \ln \lambda_i

여기서 \lambda_i는 \rho의 고유값이다. 폰 노이만 엔트로피는 양자 상태의 혼합도(mixedness)를 측정하며, 순수 상태(pure state)에서 0, 최대 혼합 상태(maximally mixed state)에서 \ln d (d는 힐베르트 공간의 차원)이다.

폰 노이만 엔트로피는 볼츠만-깁스 엔트로피와 섀넌 엔트로피 양쪽의 양자 일반화로서, 양자 정보 이론(quantum information theory)에서 깁스 엔트로피가 물리적 시스템에서, 섀넌 엔트로피가 정보 처리에서 수행하는 역할을 통합적으로 수행한다.

7. 결론

볼츠만-깁스 엔트로피와 섀넌 엔트로피는 수학적으로 동일한 함수 형태를 공유하지만, 적용 영역, 물리적 의미, 단위 체계에서 구별된다. 볼츠만-깁스 엔트로피는 물리적 시스템의 미시적 복잡도를 거시적으로 요약하는 열역학적 양이며, 섀넌 엔트로피는 확률 분포의 불확실성을 측정하는 정보론적 양이다. 이 두 개념의 연결은 란다우어 원리에 의해 물리적으로 정당화되며, 정보가 물리적 실재와 불가분의 관계에 있음을 밝힌다. 수학적 형태의 동일성은 양쪽 분야의 결과를 상호 번역할 수 있게 하며, 이는 정보 이론과 통계물리학의 교차 영역에서 지속적으로 풍부한 연구 성과를 산출하는 기반이 된다.