热力学熵与信息熵

贝尔实验室和MIT有很多人将香农和爱因斯坦相提并论，而其他人则认为这种对比是不公平的，对香农不公平 – 威廉·庞德斯通

这两天晚上在看熵相关的知识，觉得饶有趣味，做个笔记

我大学本科学的是热能与动力工程，大多时间在与热力学打交道。出于对编程的喜爱，毕业后当了程序员。熵是我毕业前后都接触的概念，在热力学和信息论中都极其重要。

我们先说说热力学第二定律。

热力学第二定律是热力学的四个基本定律之一（第零定律不大出名：若两个热力学系统均与第三个系统处于热平衡状态，此两个系统也必互相处于热平衡）

热力学第二定律有多种表述，克劳修斯表述为：

不可能把热量从低温物体传递到高温物体而不产生其他影响。

这个表述我们在高中物理中应该就见过

他重点描述了热量传递的不可逆性，如此一来，第二类永动机梦想宣告破灭

插曲：永动机

相信不少小时候喜欢折腾机械玩具的小伙伴，都有过永动机的梦想。小时候我设想过几类永动机，印象深刻的一个，是一年小学暑假，把碎了一半的磁铁用胶带粘到玩具小车A的车尾，而相斥的另一半粘到玩具小车B的车头，中间通过一个弹性绳子连接。不知哪来的信心，确信自己解决了人类能源的问题：小车B启动后，靠近小车A，由于磁性，把小车A往前推，之后小车A拉长弹性绳子，拉动小车B，小车B前进，如此周而复始。不需能源便能行驶

做实验的时候，并不顺利，我发现它们往复几次就停下了，我将其归结为两者重量不合适、绳子的弹性以及初始推力大小的问题，我相信当满足某种比例时（当时模糊觉得是某种组合方式），它们就能永远运动下去，为了找到这个比例，每天下午无聊的时候，玩腻了小霸王游戏机，便拿出玩具车寻找这个合适的比例。

热力学第二定律的数学表述主要借助克劳修斯所引入的熵的概念，下边的式子描述了热力学系统中熵的增减:

$$\Delta S = \frac{\Delta Q}{T}$$

变量S被定义为熵，$\Delta Q$ 是系统热的变化，吸热为正，放热为负，T为系统的绝对温度。

如果$\Delta Q = 0$，那么$\Delta S$ ≥ 0。意思是一个绝热系统的全部熵不会自动减少。这是热力学第二定律的另一种表述（熵增原理）

你可能想到那个著名的担忧：如果没有新的能量源源不断流入我们的宇宙，由于熵只增不减，我们的宇宙终将走向无序和寂灭（热寂说）

插曲：生命-负熵

关于熵增与生命，凯文凯利在《失控》中有段精彩的感慨：

宇宙中并存着两个趋势。一种是永远下行的趋势，这股力量初时炽热难当，然后嘶嘶作响归于冰冷的死寂。这就是令人沮丧的卡诺第二定律，所有规律中最残酷的法则：所有秩序都终归于混沌，所有火焰都将熄灭，所有变异都趋于平淡，所有结构都终将自行消亡

第二种趋势与此平行，但产生与此相反的效果。它在热量消散前（因为热必会消散）将其转移，在无序中构建有序。它借助趋微之势，逆流而上。 这股上升之流利用其短暂的有序时光，尽可能抢夺消散的能量以建立一个平台，来为下一轮的有序作铺垫。它倾尽所有，无所保留，其秩序全部用来增强下一轮的复杂性、成长和有序。它以这种方式在混沌中孕育出反混沌，我们称之为生命

ps：关于生命是否是负熵，反方的有力反驳是生命不是孤立系统，包括地球也不是

熵的微观解释

热力学第二定律在热力学范畴内是一条经验定律，随着统计力学的发展，这一定律才得到了解释，同时也使其意义更加深远，波及到物理学之外的许多领域

玻尔兹曼发现单一系统中的熵跟构成热力学性质的微观状态数量相关。微观状态可以以每个组成的原子的位置及动量予以表达

玻尔兹曼这样来定义熵：

$$S = k(ln\Omega)$$

其中k是玻尔兹曼常数，$\Omega$则为该宏观状态中所包含之微观状态数量。

我们知道，熵可以作为混乱程度的度量，可此前无论在热力学第二的表述或是克劳修斯定义的熵中，我们都无从看到这点。

只有在玻尔兹曼这里，熵才和系统的混乱程度联系起来，因为$\Omega$可以作为一个系统混乱程度的度量：作为有规律的系统，只有有限的几种构型，而混乱的系统可以有无限多个构型

维基百科里的这个例子很好：

设想有一组10个硬币，每一个硬币有两面，掷硬币时得到最有规律的状态是10个都是正面或10个都是反面，这两种状态都只有一种构型（排列）。反之，如果是最混乱的情况，有5个正面5个反面，排列构型可以有 ${\displaystyle C_{10}^{5}}$ = 252种

在微观视角下，如何解释孤立系统熵增的必然性呢，毕竟，如果粒子数量和上边硬币一样多，在瓶子里乱窜，按概率来说。完全可能存在某个时段，熵减啊，诸如原本反向的例子碰壁后都同向了，如此一来$\Omega$减小，熵不是也减小了么。如果你对这个问题感到疑惑，可以参考这个回答。简单来说就是：熵增，这样一个在微观状态下完全由概率决定的事情，在宏观状态就成了必然，在分子数目足够多的时候，只有一种情况最常见最稳定，即所有气体分子均匀分布

1948年，香农这位不世出的天才，将热力学熵，引入到信息论

在热力学中，熵可以作为混乱程度的度量度量。在信息论中，熵最好理解为不确定性的量度。两者的关联，放到后边论述

在信息世界，熵越高，则能传输越多的信息，熵越低，则意味着传输的信息越少

$$\mathrm{H} (X)=-\sum {{i}}{{\mathrm {P}}(x{i})\log {b}{\mathrm {P}}(x{i})},$$

b是对数所使用的底，通常是2,自然常数e，或是10，b为2时，熵的单位是bit

在传统热力学中，熵被定义为对系统的宏观测定，并没有涉及概率分布，而概率分布是信息熵的核心定义。

香农在定义熵时，根据的是玻尔兹曼对熵的统计学定义，所以两者在形式上基本一致，基本意义也完全一样，都是『（拥有某种观测能力的观测者）描述一个系统所需的信息量』。（按信息熵与热力学熵有什么区别和联系？）

描述一个系统所需的信息量（信息熵）与观测的精细程度相关，这个精细度存在物理极限，达到物理极限时，玻尔兹曼熵就是信息熵，系统的物理状态数就是这个系统包含的/携带的信息量的上限。就是说，当这个世界的信息量达到（或接近）这个世界本身的玻尔兹曼熵之后，就无法增长了

麦克斯韦妖

麦克斯韦妖（Maxwell’s demon），是在物理学中假想的妖，能探测并控制单个分子的运动。

可以表述为：一个绝热容器被分成相等的两格，中间是由“妖”控制的一扇小“门”，容器中的空气分子作无规则热运动时会向门上撞击，“门”可以选择性的将速度较快的分子放入一格，而较慢的分子放入另一格，这样，其中的一格就会比另外一格温度高，可以利用此温差，驱动热机做功。

这是第二类永动机的一个范例

可以采用信息熵来消解这个问题：让小妖精行使职责本身——即便只是了解和储存每个分子最初的香农信息——就会给系统带来热力学熵的增加，因此总的来说，系统的熵的总量没有减少