7.12 엔트로피와 열역학 제2법칙의 개념적 대응 관계

1. 열역학적 엔트로피의 기원

1.1 클라우지우스의 엔트로피 개념

엔트로피(entropy)라는 용어는 루돌프 클라우지우스(Rudolf Clausius)가 1865년에 열역학의 맥락에서 최초로 도입하였다. 그리스어 \tau\rho o\pi\acute{\eta} (tropē, 변환)에서 유래한 이 용어는, 열역학 과정에서 에너지의 비가역적 분산을 정량화하기 위해 고안되었다.

클라우지우스의 엔트로피는 거시적(macroscopic) 열역학 변수로 정의된다. 가역 과정(reversible process)에서 계(system)의 엔트로피 변화는 다음과 같다:

dS = \frac{\delta Q_{\text{rev}}}{T}

여기서 \delta Q_{\text{rev}}는 가역 과정에서 계에 전달된 열량, T는 절대 온도이다. 비가역 과정에서는 dS > \delta Q / T가 성립하며, 고립계(isolated system)에서는 \delta Q = 0이므로 dS \geq 0이다.

1.2 열역학 제2법칙의 진술

열역학 제2법칙은 다양한 동등한 형태로 진술된다:

클라우지우스 진술: 저온 물체에서 고온 물체로 열이 자발적으로 이동하는 과정은 불가능하다.

켈빈-플랑크 진술: 단일 열원으로부터 열을 받아 이를 모두 일로 변환하는 순환 과정은 불가능하다.

엔트로피 진술: 고립계의 엔트로피는 시간에 따라 증가하거나 일정하며, 감소하지 않는다.

\Delta S_{\text{고립계}} \geq 0

등호는 가역 과정에서만 성립한다. 이 법칙은 자연 과정의 비가역성(irreversibility)과 시간의 방향성(arrow of time)을 물리적으로 규정한다.

2. 통계역학적 엔트로피

2.1 볼츠만의 미시적 해석

루트비히 볼츠만(Ludwig Boltzmann)은 열역학적 엔트로피에 미시적(microscopic) 해석을 부여하였다. 볼츠만 엔트로피는 다음과 같이 정의된다:

S = k_B \ln W

여기서 k_B는 볼츠만 상수(k_B \approx 1.381 \times 10^{-23} J/K), W는 주어진 거시 상태(macrostate)에 대응하는 미시 상태(microstate)의 수이다. 거시 상태란 온도, 압력, 부피 등의 거시적 변수로 기술되는 상태이며, 미시 상태란 시스템을 구성하는 모든 입자의 위치와 운동량의 구체적 배치이다.

하나의 거시 상태에 대응하는 미시 상태의 수 W가 클수록, 그 거시 상태의 엔트로피가 높다. 이는 직관적으로, 거시적으로 동일해 보이는 상태가 미시적으로 더 다양한 방식으로 실현될 수 있을수록 ’무질서도’가 높다는 것에 해당한다.

2.2 깁스 엔트로피

요시아 윌러드 깁스(Josiah Willard Gibbs)는 앙상블(ensemble) 이론의 틀에서 보다 일반적인 엔트로피를 정의하였다:

S = -k_B \sum_i p_i \ln p_i

여기서 p_i는 미시 상태 i에 시스템이 있을 확률이다. 이 정의는 볼츠만 엔트로피의 일반화이며, 평형 상태에서 미시 정준 앙상블(microcanonical ensemble)의 경우 모든 미시 상태가 동등한 확률을 가지므로 p_i = 1/W를 대입하면 S = k_B \ln W를 복원한다.

깁스 엔트로피의 형태는 섀넌 엔트로피 H = -\sum_i p_i \log_2 p_i와 상수 인수와 로그의 밑만 다를 뿐 수학적으로 동일하다. 이 형식적 동일성이 열역학적 엔트로피와 정보 엔트로피를 연결하는 핵심 고리이다.

3. 섀넌 엔트로피와의 형식적 대응

3.1 수학적 구조의 동일성

섀넌 엔트로피와 깁스 엔트로피는 다음의 관계를 가진다:

S = k_B \ln 2 \cdot H

여기서 H = -\sum_i p_i \log_2 p_i는 비트 단위의 섀넌 엔트로피이다. 물리적 상수 k_B \ln 2는 정보 1비트에 대응하는 열역학적 엔트로피의 양이며, 그 값은 약 9.57 \times 10^{-24} J/K이다.

이 관계는 1비트의 정보를 소거(erasure)하는 데 최소한 k_B T \ln 2만큼의 에너지가 열로 방출되어야 한다는 란다우어 원리(Landauer’s principle)와 직결된다.

3.2 대응 관계의 요약

4. 제2법칙의 정보론적 해석

4.1 엔트로피 증가와 정보 손실

열역학 제2법칙의 정보론적 대응은, 고립계에서 미시 상태에 대한 정보가 시간이 지남에 따라 비가역적으로 손실된다는 것이다. 고립계의 시간 발전(time evolution)이 결정론적(해밀턴 역학)이더라도, 거시적 관측자의 입장에서 미시 상태에 대한 불확실성은 증가한다.

구체적으로, 리우빌 정리(Liouville’s theorem)에 의하면 위상 공간(phase space)에서 미시 상태의 확률 분포의 부피는 시간에 따라 보존된다. 따라서 깁스 엔트로피 자체는 엄밀한 해밀턴 역학 하에서 일정하다. 그러나 거시적 관측은 위상 공간의 미세 구조를 분해할 수 없으며, 거칠게 분류된(coarse-grained) 확률 분포의 엔트로피는 시간에 따라 증가한다. 이 조잡화(coarse-graining)의 과정이 정보의 손실에 해당한다.

4.2 맥스웰의 도깨비와 정보의 물리적 비용

제임스 클러크 맥스웰(James Clerk Maxwell)이 1867년에 제시한 사고 실험인 맥스웰의 도깨비(Maxwell’s demon)는, 기체 분자의 속도를 관측하여 빠른 분자와 느린 분자를 분류함으로써 엔트로피를 감소시킬 수 있는 가상의 존재이다. 이 사고 실험은 정보와 열역학의 관계에 대한 근본적 질문을 제기하였다.

레오 실라르드(Leo Szilard)는 1929년 이 문제에 대한 정보론적 분석을 제시하였고, 롤프 란다우어(Rolf Landauer)는 1961년 란다우어 원리를 통해 결정적 해답을 제공하였다. 란다우어에 의하면, 정보의 소거는 필연적으로 열의 방출을 수반한다. 도깨비가 측정 결과를 기록하기 위해 사용하는 메모리는 유한하므로, 언젠가는 이전 기록을 소거해야 한다. 이 소거 과정에서 1비트당 최소 k_B T \ln 2의 에너지가 열로 방출되며, 이 열 방출에 의한 엔트로피 증가가 분류에 의한 엔트로피 감소를 상쇄한다.

찰스 베넷(Charles Bennett)은 1982년 이 논증을 더욱 정교화하여, 문제의 핵심이 측정이 아닌 정보의 소거에 있음을 명확히 하였다. 가역적 계산(reversible computation)은 원리적으로 에너지 소비 없이 수행 가능하나, 비가역적 논리 연산(예: AND 게이트)은 정보를 소거하므로 열역학적 비용을 수반한다.

5. 비가역성의 정보론적 근원

5.1 비가역 과정과 정보 손실

열역학에서 비가역 과정(irreversible process)은 엔트로피가 증가하는 과정이다. 정보론적 관점에서, 비가역성은 과정 이전의 미시 상태로부터 과정 이후의 미시 상태를 유일하게 결정할 수 없는 것에 기인한다. 다수의 서로 다른 초기 미시 상태가 동일한 최종 거시 상태로 수렴하며, 이 수렴 과정에서 초기 상태에 대한 정보가 소실된다.

이를 정보론적으로 표현하면, 초기 상태를 X, 최종 상태를 Y라 할 때, 비가역 과정은 H(X \vert Y) > 0인 채널로 모형화된다. Y를 관측해도 X를 완전히 복원할 수 없으며, 손실된 정보량은 H(X \vert Y)이다. 데이터 처리 부등식(data processing inequality) I(X; Z) \leq I(X; Y) (여기서 X \to Y \to Z가 마르코프 연쇄를 형성)은 정보가 처리 과정을 거치면서 증가할 수 없음을 진술하며, 이는 제2법칙의 정보론적 유사체이다.

5.2 시간의 화살과 정보의 비대칭성

열역학 제2법칙이 시간의 방향성(arrow of time)을 규정하듯, 정보 이론에서 데이터 처리 부등식은 정보 흐름의 방향성을 규정한다. 미시적 물리 법칙이 시간 반전 대칭(time-reversal symmetry)을 가짐에도 거시적으로 비가역성이 관찰되는 것은, 초기 조건에 대한 거시적 관측자의 불완전한 지식(즉, 정보의 부재)에서 비롯된다.

볼츠만의 H-정리(H-theorem)는 분자 운동론(kinetic theory)의 틀에서 기체의 속도 분포가 맥스웰-볼츠만 분포(Maxwell-Boltzmann distribution)에 점근적으로 수렴함을 보인 것으로, 엔트로피 증가의 미시적 기초를 제공한다. 이때 볼츠만의 H 함수는 H = \sum_i f_i \ln f_i의 형태로, 섀넌 엔트로피의 음(negative)에 해당한다 (따라서 H의 감소가 엔트로피의 증가에 대응한다).

6. 대응 관계의 한계와 주의점

6.1 물리적 엔트로피와 정보 엔트로피의 차이

형식적 동일성에도 불구하고, 열역학적 엔트로피와 정보 엔트로피 사이에는 중요한 차이가 존재한다. 열역학적 엔트로피는 물리적 시스템의 상태 함수(state function)로, 절대적 값(네른스트 제3법칙에 의한 영점 기준)을 가진다. 정보 엔트로피는 확률 분포의 함수로, 물리적 기질(substrate)에 무관한 추상적 양이다.

또한 열역학적 엔트로피는 에너지, 온도, 일(work) 등의 물리량과 관계되지만, 정보 엔트로피는 순수하게 확률론적 개념이다. 두 엔트로피의 연결은 정보가 물리적으로 구현될 때에만 의미를 가지며, 란다우어 원리가 이 연결의 정량적 기초를 제공한다.

6.2 제2법칙의 정보론적 유사체의 범위

데이터 처리 부등식은 결정론적 또는 확률적 데이터 처리에 의해 정보가 생성될 수 없음을 진술하지만, 이는 외부 정보의 유입이 없는 닫힌 시스템에 대한 진술이다. 외부로부터 새로운 관측 데이터가 유입되면 시스템의 정보량은 증가할 수 있으며, 이는 열역학에서 비고립계에 열이 유입되면 계의 엔트로피가 감소할 수 있는 것과 유사하다.

7. 결론

열역학 제2법칙과 섀넌의 정보 이론 사이의 개념적 대응은, 엔트로피가 물리적 무질서도와 정보론적 불확실성을 동시에 포착하는 보편적 개념임을 시사한다. 깁스 엔트로피와 섀넌 엔트로피의 형식적 동일성, 란다우어 원리에 의한 정보와 에너지의 정량적 연결, 데이터 처리 부등식과 엔트로피 증가 법칙의 구조적 유사성은, 물리학과 정보 이론이 공유하는 심층적 구조를 드러낸다. 이 대응 관계에 대한 이해는 정보의 물리적 본성과 계산의 열역학적 한계에 관한 현대적 연구의 기초가 된다.