--- author: 北美王路飞 date: '2025-12-24' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=5f12v_g1n0g speaker: 北美王路飞 tags: - entropy - information-theory - uncertainty - complexity title: 熵：不确定性的度量与认知的升维 summary: 本视频深入浅出地解释了“熵”作为衡量不确定性和惊讶程度的概念，而非简单的混乱。通过信息论先驱克劳德·香农的定义，阐述了熵与信息的关系，并区分了熵与方差。视频进一步探讨了最大熵原理如何解释自然界的分布规律，以及复杂系统（如生命、城市）如何在秩序与混乱的边界游走。最终指出，理解熵有助于提升认知维度，更深刻地认识世界。 insight: '' draft: true series: '' category: philosophy-thinking area: society-thinking project: [] people: - Claude Shannon - Stefan Wolfram - Scott Page companies_orgs: - OpenAI products_models: - ChatGPT media_books: - 《ChatGPT那本书》 status: evergreen --- ### 认知与惊讶 如果你今天早上出门，看到太阳从东方升起，你心里头会有波动吗？大概率不会，因为这件事情太确定了。在你的认知模型里，这件事情发生的概率几乎是100%。但在另一个平行宇宙里，你出门买了一张彩票，晚上一开奖，你中了头奖。这一刻你会心跳加速，瞳孔放大，甚至大脑一片空白。为什么呢？因为这件事情发生的概率极低，它带来了巨大的惊讶。我们习惯用情绪来描述这种感觉：无聊、意外、震惊。但在科学的世界里，感觉是不够用的，我们需要一个标尺。如果我问你那一刻的惊讶程度到底是多少，你能给我一个具体的数字吗？是5.2还是10.8？这就是我们今天要聊的主角——**熵 (entropy)**。 ### 熵：不确定性的度量 很多教科书会告诉你，熵是衡量混乱程度的指标。但在模型思维的世界里，我想请你先忘掉物理课本上的热力学，忘掉那些气体分子。我们要用一种更现代的方式来定义它：熵是对不确定性的度量，也是对惊讶的度量。在一个低熵的系统里，太阳照常升起，没有什么新闻，也没有信息量，你不会感到意外。而在一个高熵的系统里，比如说乐透开奖，比如说瞬息万变的股市，结果充满了不确定性。当结果真正揭晓那一刻，它向你揭示了巨大的信息量。这就是我们今天要解决的第一个反直觉的问题：为什么混乱竟然等于信息？ ### 香农与信息论 要听懂这个故事，我们现在请出一位大神——**克劳德·香农 (Claude Shannon)**。1948年，他几乎凭借一己之力开创了**信息论 (Information Theory)**。香农当年并不关心房间乱不乱，他关心的是我有多少不知道的东西，需要通过电话线传给你。香农给出了一个极其漂亮的定义：信息就是对不确定性的消除。这听起来很抽象，对吧？我们来做一个最简单的实验。我们现在手上有一个硬币，当我抛出它之前，你知道结果吗？你不知道，是一半正面，一半反面。这个时候，你的系统存在不确定性。而当我抛起硬币，盖在手背上，移开手你看到了正面，现在你知道了，不确定性消失了。在这个过程中，你获得了一个**比特 (bit)** 的信息。 ### 低熵与高熵 所以，低熵意味着什么？意味着一开始你大概就猜到了结局，就像一部烂俗的电视剧，看到开头就知道结尾，它提供给你的信息量是非常低的，熵也很低。而高熵意味着直到最后一刻，你都无法预测结局。这种无法预测性，恰恰就是信息的载体。要把这个概念彻底量化，我们来玩一个大家小时都玩过的游戏：20个问题，或者更通俗点说，为了猜中真相，你平均需要问多少个是与否的问题？这个问题的数量，其实就是熵的数量。 ### 量化熵：提问游戏 假设我们去调查一个家庭，只看孩子的性别。如果你知道这个家庭有两个孩子，那我要怎么猜出这个孩子性别顺序呢？比如是男女、女男？这里有两个孩子，每个孩子都是男女的概率都是50/50。要搞清楚状况，你需要问几个问题呢？第一个问题：老大是女孩吗？第二个问题：老二是女孩吗？你会发现，两个孩子对应两次随机事件，你就需要问两个问题。在信息论里，我们说这样的分布的信息熵等于2。那如果是3个孩子呢？那你就需要问3个问题，那熵就是3。如果是n个孩子呢？你需要问n个问题，熵就是n。这里藏着一个非常深刻的数学关系：n个二元随机事件会产生2的n次方可能的结果序列。而要从这2的n次方可能性中把真相找出来，你需要的信息量，也就是熵，恰好就是n。所以，下次当你听到熵这个词的时候，别去想什么热量耗散，你就想啊：要彻底搞清楚这件事情，我需要问多少个yes and no问题？问题越多，不确定性越大，熵就越高。这就是香农对于熵这个概念最底层的直觉。 ### 熵与方差的区别 好，直觉建立起来了。那现在我要帮大家排一颗雷：很多初学者，甚至很多数据分析师都会犯一个错误，把不确定性与波动性搞混了，也就是说，把**熵 (entropy)** 和**方差 (variance)** 给搞混了。假设我们给一件事情打分，分数是1-8分。我们先看右边这张图，这就是典型的两极分化结果：要么是1分（概率50%），要么是8分（概率50%）。这种情况下，方差是最大的，因为它数据极其分散，距离平均值很远。但它熵是最大的吗？不是。想一想我们的提问游戏。在这种情况下，我要猜中结果，只需要问几个问题？其实只需要问一个问题：“它是一吗？”如果在大约一半的时候你回答“是”，那我就知道了；如果回答“否”，那它肯定是8。所以虽然它波动极大，但是只有两个极端结果，但是它的熵其实极低，只有一个比特。 ### 混乱的定义 我们再看左边这张图，从1到8，每个分数出现的概率都是一样，都是1/8。这才是真正的混乱，你完全没法猜。你要问“是大于4吗？”“是偶数吗？”你需要问3个问题（2的3次方等于8），才能够锁定答案。这就是熵最大的情况。请记住这个区别：方差衡量的是数值拉的有多开，它在乎的是极端值；熵衡量的是结果有多难猜，它在乎的是可能性的分布是否平均。如果你想设计一个让玩家最抓狂、最猜不透的游戏，你要追求的不是大起大落的高方差，而是众生平等，也就是高熵。 ### 概率分布与熵计算 当然了，在现实生活中，很少是完美平均分布的。如果说硬币不均匀，或者像我们刚才说的，某些结果的概率大些，某些结果的概率小，那熵怎么算呢？这个时候，那个著名的公式就出现了：`h = - Σ p * log(p)`。别慌，我来翻译一下：这个公式本质上还在算一件事情：平均来说，你到底需要问多少个问题。这里有一个非常有意思的社会学案例。假设有一个国家，家庭生育政策是这样的：如果第一胎是女孩，就停止生孩子；如果第一胎是男孩，就必须再生两个，不管男女。这是一个不对称的规则。我们来算算它的惊讶值。一半的家庭只有一个女孩。对于这50%的家庭呢，如果你问“老大是女孩吗？”，答案是“yes”，你只需要问一个问题就搞清楚了这家的状况，这部分的信息获取成本很低。但对于另一半生了男孩的家庭呢，这个信息就复杂了，他们后面还有两个孩子，你还得继续问。那一边算下来，那一半的情况你需要问3个问题。那么整个社会的平均惊讶度，也就是熵是多少呢？一半的时候问一个问题，一半的时候问3个问题，平均下来，熵等于2（也就是 (1+3)/2）。你看，无论公式多么吓人，它背后的逻辑始终是通的：概率越高的事件，给我们的惊讶越小，我们需要问的问题越少；概率越低的事件，给我们的惊讶越大，我们需要问更多的问题来确认。熵就是所有这些可能性的加权平均。 ### 宇宙的四种分类 了解了如何计算惊讶，我们下面要玩一个更大的。我们把这个标尺放到整个宇宙、股市和你大脑里。你会发现，物理学家**Stefan Wolfram**竟然用熵，把世界万物分成了四类，而我们的大脑呢，正处在一个最微妙的类别里。如果完全的秩序是死寂，那完全随机是噪音，那生命在哪里呢？这位Stefan Wolfram呢，我们之前也做过他一个节目，就是他写了关于**ChatGPT**那本书的视频。有了熵这个显微镜，我们现在可以重新审视我们的宇宙了。物理学家兼计算机科学家Stefan Wolfram提出，宇宙万物不管看起来多不一样，本质上只有四个结局。我们要做的呢，就是用熵给它贴标签。 ### 四类系统 第一类叫做**均衡 (equilibrium)**。想象一支铅笔静静地躺在桌上，它不动，不因时间改变。在这里，没有意外，没有信息，它的熵是多少呢？是0。这是一个死寂的世界。第二类**周期 (cycle)**。想象行星围绕太阳转，或者是心脏跳动。虽然它自己在动，但是它在重复自己。如果你看了一年，你就知道接下来1万年的位置。它熵很低，并不随时变化。这是一个机械的可预测的世界。第三类**随机 (random)**。也就是我们之前讲的这个抛硬币，或者是完全有效的金融市场。在这里，每一刻都是全新的意外，你永远猜不到下一秒会发生什么。他的熵是最大化的。在这里看起来很自由，但其实也是一种混乱的噪音。最有趣的是第四类**复杂 (complexity)**。这是你大脑的神经元放电，是蚁群的行军，是互联网的流量，是你所在的城市。它们不是死寂的，也不是简单的循环，但它们又不是完全的乱码。它们介于有序与随机之间。 ### 区分复杂与随机 对于均衡熵等于0和随机熵等于Max，熵能够给出一个确定答案。但对于复杂系统和周期系统，它们的熵都处于中间地带。单看这一刻的熵，你可能分不清它是一个复杂生命体，还是一个有点乱的周期。那我们要怎么区分有意义的复杂和纯粹的随机呢？我们需要引入时间。为了区分这四类事件呢，**Scott Page**教授提出一个非常精妙的思想实验。让我们来观察一个男人的帽子。假设这个男人每天都要出门，要么他戴贝雷帽（b），要么戴绿帽（f）。我们记录他一整年的选择，得到一长串的代码：b, b, f, b, f, b, b, b。第一步，我们只看当天的熵。如果他50%的时间戴贝雷帽，50%的时间戴绿帽，那么当天的熵是一最大值。这能告诉我们什么呢？这只能告诉我们他不是第一类均衡，他不是那种永远只戴一种帽子的人。但他是在随机乱选吗？还是在遵循某种复杂的时尚穿搭规则呢？光看当天是看不出来的。 ### 复杂系统的指纹 于是呢，我们就进入了第二步：看序列。我们不再看一天，而是看连续两天、三天甚至六天的组合。如果他是真随机，像抛硬币一样，不管你把时间拉多长，新的每一天都是不可预测的。序列越长，熵就会线性增加，直到达到可能的最大值。在这个系统里，没有模式。但如果是一个复杂系统呢？也许你会发现，虽然单一天看起来像随机，但如果看6天组合，某些组合从来没出现过。比如，他可能遵循一个潜意识的规则：我不会连续3天戴同样的帽子。这意味着，随着观察长度的增加，熵的增长速度会慢下来，甚至会撞到一个天花板。这就是复杂系统的指纹：复杂性意味着结构，结构意味着你不是在无限地制造惊吓。哪怕你有几百种穿搭组合（高熵），但是你依然会遵循某种内在逻辑。当我们说一个系统是复杂的，意思就是它的熵很高，足够有趣，却没有达到最大值，也就是没有坍塌成纯粹的噪音。 ### 最大熵原理 好，我们已经拥有了熵这个测量工具。我们先要把这个工具反过来用，我们来看一看**正态分布 (Normal Distribution)** 中心曲线。从人类身高体重到考试成绩，大自然似乎特别偏爱这个形状。为什么呢？传统统计学解释是中心极限定理。简单说，如果一个结果是由无数个微小的、独立的随机因素加起来的（比如说你的身高，受到几千个基因和环境因素的影响），那么加总的结果就会呈现正态分布。这个解释很完美。但是呢，如果我们换个角度呢？如果说我们不知道什么是基因，不知道什么微观过程，我们只知道这个人群的平均身高（均值）和身高的波动范围（方差）。除此之外，我们对于大自然一无所知。此时呢，如果我们做一个最诚实的实验，我们应该假设身高的分布是长什么样？是平的？是尖的？还是歪的？如果你遵循科学的谦卑，你应该假设，除了我知道那两点限制（均值和方差），其他一切应该是尽可能随机的。也就是说，在满足约束条件的前提下，让熵最大化。猜猜看，当你这么做时，你会得到什么样的形状？没错，数学告诉我们，你必然而且只能得到正态分布。这就被称为是**最大熵原理 (Maximum Entropy Principle)**。这可能是理解这个世界最深刻的视角之一。 ### 自然界的约束与分布 想象大自然是一个顽皮的孩子，他想把一堆数据堆得越乱越好，增加熵，因为那可能是能量最省、最自然的状态。但是呢，现实给了他绳索：约束条件。如果我们只能告诉大自然，这些数据的平均值必须是0，分散程度方差必须得固定。大自然说“好的”，那我把正数和负数平衡一下，用此来保住均值。然后呢，为了让混乱度最大化，我得制造一些极端值。但是为了保住方差不爆表，我们不能制造太多极端值，我必须把更多的数据堆在中间。在这里制造混乱和遵守规则的博弈中，正态分布是唯一的纳什均衡点。它是所有满足均值和方差限制的分布里，最不带偏见、最混乱，也包含信息量最大的分布。所以呢，当我们看到正态分布时，我们不仅可以把它看作是很多小因素的加和（中心极限定理），我们还可以用模型思维去看：这意味着背后的系统，可能在尽可能地最大化其不确定性，唯一的约束只有均值和方差。这是一种完全不同的世界观。这种模型思维的威力在于，它能够帮助我们通过结果（也就是分布形状）来反推规则约束条件。就好比侦探游戏，如果你看到一个不同的分布形态，你能感受到大自然受到什么样的限制。 ### 案例分析 案例一是均匀分布。如果你看到数据像一条平平的直线，那意味着什么呢？意味着系统受到唯一的限制，就是范围（最大值和最小值）。除此之外，大自然没有任何偏好，这是彻底的无差别原则。案例二是指数分布 (exponential distribution)。这就是所谓的长尾。比如说网站的点击量、社交网络的朋友数。最大熵原理告诉我们，如果数据必须是正值（不能有负点击量），而且平均值是固定的，在这种限制下呢，大自然为了最大化熵，不得不制造出一条长长的尾巴。所以呢，下次当你在社会科学研究中看到有人假设均匀分布，你要问：真的只有范围限制吗？看到指数分布时，你要问：是不是有一个固定均值在起作用？这不仅仅是数学游戏，它告诉我们无序熵并不是完全的混乱，无序加约束等于我们看到的形态。这也是为什么我们可以用熵来作为建模的基石。 ### 高熵还是低熵？ 明白这一点呢，我们终于有资格去回答那个最难的问题了：既然熵代表了不确定性，那我们到底应该是追求高熵还是低熵？为什么说最好的城市和最好的生命都必须处于崩溃的边缘？到现在为止，我们已经学会了如何测量惊讶。但有一个棘手的问题悬而未决：高熵到底是一种好事还是一种坏事？如果你去问物理学家，他可能会告诉你热力学第二定律：宇宙的熵是在不断增加的，最终会走上热寂。听起来很绝望，对吧？但在信息论和模型思维里，这个答案要复杂得多。首先，我们必须得搞清楚一点：熵是一个实证指标，它只是告诉你世界是怎么样，它不会告诉你世界应该是怎么样的。它就像一个温度计，你不能说30度就是比20度要好，这取决于你在干什么。如果你在设计一个密码系统，你绝对想要最大熵，因为你希望黑客完全猜不到你下一位密码是什么。在这里，熵代表安全。但如果你在设计一个核电站的控制系统，你绝对想要0熵，你希望每一个指标都严格在预定的平衡态，没有任何惊喜。在这里，熵代表灾难。 ### 社会设计的熵值 所以呢，熵本身没有什么善恶。但在社会设计中呢，我们经常会搞错我们想要追求的熵值。我们来看两个极端例子：第一个例子就是税法。当你收到税务局的账单时，你最希望感到惊讶吗？绝对不是。在制定税法时，立法者的目标应该是均衡 (equilibrium)。我们希望规则是透明的，结果是可预测的。如果税收结果像彩票一样随机高熵，那么经济活动就会瘫痪，没人敢做长期计划。在这里，我们需要的是无趣，要的是秩序。第二个例子呢，是城市规划。想象你住在一个被完美规划的零熵城市里，所有的街道都是笔直的网络，所有建筑都一模一样，每一个人都在固定的时间出门回家。这不叫城市，这叫监狱。伟大的城市规划师**简·雅各布斯 (Jane Jacobs)** 早就说过，城市需要多样性，你需要那种转角遇到爱的意外感，你需要不同的商店，不同人群在街头随机碰撞。这种碰撞产生出的信息流，就是创新的源泉。 ### 生命的边界 所以啊，一个死气沉沉的城市，低熵是失败的。但是一个完全混乱、没有任何规则、犯罪横行的城市，最大熵和随机也是失败的。我们真正想要的，是介于两者之间的东西。建筑理论家**克里斯托弗·亚历山大 (Christopher Alexander)** 穷尽一生都在研究这个问题。他问啊，为什么有些建筑和社区让我们感觉它是活的？他发现那些让我们感到舒适的地方，通常都处于复杂区域。他们有结构（比如说强有力的中心、清晰的边界），但他们有足够的自由度，让生活在其中生长。这是我们之前提到的第四类世界：我们大脑、我们的免疫系统、我们的森林、我们最爱的老街。他们都处于混沌的边缘。他们拒绝均衡，因为均衡就是死亡；他们也拒绝完全随机，因为随机就是噪音。亚历桑那认为，好的设计，无论是建筑还是制度，就是去创造这种复杂性，这需要极高的智慧。相比之下，追求稳定增长的中央银行家可能更喜欢均衡，而那些追求完全自由市场的原教旨主义者可能更喜欢随机。但真正生命力永远永远在中间。 ### 总结与启示 临近结尾呢，我们来复盘一下今天讲的这3个要点：第一，熵是一个对不确定性的度量。别被物理名词吓倒，它就是为了让你搞清楚真相，平均需要问多少个yes or no的问题。问题越多呢，信息量越大，世界越不可预测。第二，就是大自然喜欢在约束下最大化熵。如果只限制均值和方差，大自然会自然而然造就正态分布，这是我们理解统计规律的上帝视角。第三，生命追求的是复杂性，而非简单的有序或者无序。最好的系统，无论是你的大脑还是你居住的城市，都是游走在秩序和混乱的边界。我们利用熵来区分死寂、噪音和生机。 ### 模型思维的价值 当你下次再看到一个长尾分布、指数分布，别再只看图表，试着去问：是不是有什么力量限制了均值，但是允许极值的存在？下次你感到生活太乱的时候，别急着去消灭混乱，试着去问：这种混乱是不是带来了我需要的信息？还是说它只是无意义的噪音？模型思维不直接给你答案，但它提供了一个框架，让你能够看懂答案背后的逻辑。那还记得视频开始那个问题吗？如果你中了头奖，你会感到惊讶吗？现在你知道了，那份惊讶就是信息。这个就是宇宙，在这个瞬间跨过了巨大的熵值，向你坍塌出一个独特的现实。信息就是不确定性的消除。只要我们还在探索，还在提问，还在对这个世界感到好奇，我们就是在不断地消除不确定性，不断地获取信息。愿你的生活拥有足够的秩序，让你感到安全；也拥有足够的熵，让你感到惊喜。