--- author: 北美王路飞 date: '2026-02-09' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=I1rlPEZ_bVE speaker: 北美王路飞 tags: - decision-making - exploration-exploitation - optimization - probability-theory title: 决策的艺术：多臂老虎机与最优选择的科学指南 summary: 本期节目深入探讨了“多臂老虎机问题”，揭示了在不确定世界中如何在“探索”新可能性与“利用”已知最优选项之间取得平衡。通过烟囱清扫公司、医学实验、个人习惯等生动案例，讲解了从直觉方法到贝叶斯模型，再到最优解“吉廷斯指数”的演进。节目强调数据记录、早期探索的重要性，并将其应用于职业规划、投资决策及日常生活，指导听众做出更科学、更优化的选择。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: [] companies_orgs: [] products_models: - multi-armed bandit problem - gittins-index media_books: - Algorithm to Live By status: evergreen --- ### 早餐选择与老虎机困境 不知道大家早饭喜欢吃什么？是面包粥，还是干脆什么都不吃？最近，我非常喜欢Costco的这个**Almond Croissant**。没试过的朋友赶紧去尝试一下。 不知道大家有没有想过这样一个问题：我们现在这样的早餐习惯，是不是最适合自己的？你试过所有的可能性吗？肯定没有。因为早餐有这么多选择。 其实，你每天早上做这个决定，本质上和赌场里头拉这个**老虎机**是一回事。你拉一下，看看出什么结果；觉得还行，明天接着再拉同一台；觉得不行呢，就换一台试试。但问题是，你怎么知道旁边那一台不是更好的呢？你又怎么知道你现在这一台已经是最优解了呢？ 这个问题听起来很简单，但我跟你说，它其实困扰了数学家、经济学家、医生，甚至是美国总统竞选团队几十年。我们今天聊这个模型，叫做**多臂老虎机问题**（Multi-Armed Bandit Problem）。这个问题，其实在另一本很流行的书《**Algorithm to Live By**》（算法人生）里也提到过。 别被这个名字吓到了。其实，它说的就是一件事：你这辈子面对的几乎每一种选择——选什么样的职业、选什么样的配偶、用什么样的药、去哪家餐厅，甚至饭前散步还是饭后散步——其实都是在拉老虎机的拉杆。而大多数人呢，拉了一辈子，都不知道自己拉错了。 ### 探索与利用的权衡 首先，先给大家分享一个小故事。有一家烟囱清扫公司拿到了一批新搬家的住户的电话号码（这个故事有一定年代了，因为现在很多房子都没有烟囱了）。他们想打电话推销清扫服务，但不确定应该怎么开口，于是设计了三种话术： 1. **预约式**：您好，我打电话来给您安排年度烟囱清扫时间。直接、专业，像个正经生意，并且让对方默认要去付款。 2. **恐吓式**：您好，您知道脏烟囱可能引发火灾吗？打恐惧牌。 3. **温情式**：你好，我叫希尔迪，14年前我和我的父亲一起创办了这家烟囱清扫公司。打感情牌。 这三种话术，哪一个最管用？这家公司决定实践出真知。第一种话术打了一个电话，没成；换第二种，成了，紧接着又成了一个；然后，三个都失败了。再换第三种，第一个成了，接下来四个全部扑街。10个电话打完，第二种话术成功率最高。 但你想一想，第一种话术只试了一次就判了死刑，这公平吗？这其实就是问题所在：你到底是应该继续使用目前最好的，还是回头再给其他选项一个机会呢？ 这个问题在学术界有一个专门的名字，叫做**探索利用困境**（**Explore vs. Exploit**）。探索，就是你要去尝试新的东西，有可能踩坑，也有可能发现宝藏，但你不确定。利用，就是你死磕现在已知最好的那个选项，稳，但你可能错过更好的。 你看，这个困境其实无处不在：医院在测试几种手术方案，哪种成功率最高？你得实验。但是实验期间，那些用了差方案的患者怎么办？你自己大学选了一个专业，干了三年觉得还行，但你怎么知道隔壁那个专业会不会让你更出色？你要不要探索一下？代价是什么？你找了一个对象，处了几年觉得还不错，但是你又好奇，会不会有其他更好的选择在等着你？ 这就是今天这一期的核心：在不确定的世界里，怎么样在继续尝试和见好就收之间，找到这个最优的平衡。说实话，大多数人一辈子都在凭感觉做这个决定。而这个模型告诉大家，凭感觉，大概率是错的。 ### 从直觉到最优解的演进 现在，让我们把这个问题简化一下。想象你面前有几个罐子，每个罐子里装着灰色球和白色球，但比例不一样。你看不到里面，每次只能从罐里摸一个球，摸到白球算成功，摸到灰球算失败。你的目标是在有限的次数里，尽可能多摸到白球。问题是，你不知道哪个罐子里白球的比例是多少，你只能靠一次次的摸去猜。这就是所谓的**伯努利老虎机问题**（Bernoulli Bandit Problem）。 每一个罐子就是一个老虎机，每次摸球就是拉一次拉杆。你不知道哪一台机子底子好，只能靠结果反推。听起来很抽象，对吧？但你回头想想那个烟囱公司，这三个话术就像三个罐子，每打一次电话就是摸一次球。成了就是白球，没成的就是灰球。但现在问题变成了：你应该怎么分配你的电话次数，才能在最短的时间内找到最好的话术，同时又不浪费大多数电话在那些差的话术上？这其实就是数学家琢磨了几十年的事。 最直觉的办法是什么呢？**先试后选**（**Sample then Greedy**）。意思就是说，每个选项我先各试100次，然后看谁的成功率高，之后就一直用那个最好的。简单粗暴，靠谱吗？从统计学上说，每个选项试100次，你对成功的估计误差大概在5%左右。如果一个选项成功率70%，另一个55%，你有超过95%的把握能够分出高下。听起来还行，对吧？但这里有个巨大的问题：你想一下，如果其中一个选项成功率只有10%，你也要硬着头皮试100次，那90次的失败全是浪费了呀！如果这是在测试药物呢，九十个病人用了没用的药，那就是为了数据完整性而牺牲。 所以呢，有人提出了第二个方法，叫做**自适应探索**（Adaptive Exploration）。一开始，每个选项先各试10次。然后，接下来怎么分配呢？按成绩来。你试了10次，一个成功了6次，另一个只成功了两次。好，下一轮20次机会，成功率高的那个分到3/4。再下一轮，优势更大的继续拿更多机会。这个方法聪明在什么地方呢？它从来不浪费时间在明显差的选项上，也不会过早地放弃可能只是运气不好的选项。 但是我跟你说，就连这种聪明方法，在某些情况下都不够用。接下来，我要讲一个真实的案例，它直接涉及到了人命。有一个医生，他叫做**罗伯特·巴特利特**（Robert Bartlett）。他研发了一种人工肺技术，用来救那些传统方法救不了的病人。 按照正常的医学实验流程，你应该怎么做呢？先把病人随机分成两组，一组用人工肺，一组用传统疗法，然后对比数据，看哪个更好。这叫**随机对照实验**（Randomized Controlled Trial）。我们之前的节目也聊过这个问题，这是科学界的金标准，公平、严谨，而且无可挑剔。 但问题来了，巴特利特一开始试的时候就发现，人工肺的成功率远远甩开其他方案，不只是高一点，是碾压。那你想想，如果你是巴特利特，你会继续公平实验吗？继续的意思是什么？明明知道人工肺效果更好，还要把一半的病人分到那个差的那组去。那些被分到对照组的病人，就是为了数据完整性而死的。 巴特利特做了一个决定：他停止了实验，所有病人全部都用人工肺。这个决定在学术界引起了争议，有人说他不严谨，样本不够。但是巴特利特的逻辑非常简单：如果一个选项每次都成功，你还实验什么？没有什么其他选项可以比每次都对更好了。而这恰恰就是多臂老虎机模型给出的最优策略之一：当一个选项表现完美时，停止探索，专注利用。有时候，所谓的科学精神反而变成了最不科学的决定。 前面讲的这种老虎机问题，有一个前提：就是你对于每个选项都一无所知，完全是从零开始摸索。但现实中，很多情况下你并不是一张白纸。你去一家新餐厅之前，你可能看过点评，朋友推荐过，或者是光看门面你就有个大致判断，这家应该还行，或者这家已经悬了。这种还没试就已经有个大概感觉的，在数学上叫做**先验信念**（**Prior Belief**）。 而**贝叶斯老虎机问题**（Bayesian Bandit Problem）就是把这个直觉也纳入到决策框架里。怎么用呢？你首先得有个初始判断，然后，每试一次，根据结果更新你的判断。试的次数越多，你的判断越准。你看，这其实就是人类日常做决策的方法之一嘛：凭经验猜一下，试一下，调整一下，再试。 而人类的问题在于，我们更新得不够理性。你去一家餐厅踩一次雷，可能这辈子都不会去了。或者那天，只是厨师的状态不好呢？你用一次失败就否定了一个选项，这在数学上叫做过早收敛。反过来也有问题，你可能因为第一次体验特别好，就直接死磕一家店，从来不试新的。结果呢，你反而错过了其他可能更好的。 贝叶斯模型告诉我们，不要被单次的结果所绑架，也别被初始印象锁死。每次新数据都应该让你的判断离真相更靠近一点。 前面不管是先试后选，还是自适应探索，说到底，都是启发式的方法，也就是经验法则，近似解，不是最优解。 那有没有人算出来这个问题的最优解呢？还真有。有一个叫做**吉廷斯**（Gittins）的数学家，搞出一个东西，叫做**吉廷斯指数**（Gittins Index）。这个指数的核心思路是什么呢？当你面对一个选项的时候，你不能只看它一次能够给你多少回报。你得想，如果我选了它，我学到了新信息，然后再基于这个新信息，我未来所有决策都会变得更好。把这些未来的收益全都加起来，这个总和才是这个选项的真正价值。这就是吉廷斯指数。它不是这次能赚多少，而是选了它之后，从今往后我总共能赚多少。 这有点像现金流折现的问题了。听起来是不是有点绕？没关系，我给大家举个例子。假设有两个选项：一个是安全牌，稳稳当当的每次都给你500块。另一个是赌博牌，有10%的概率每次都给你1,000块，但有90%概率1分钱没有。你选哪个？大多数人肯定都会选安全牌，500块稳赚多好啊。 但是吉廷斯指数告诉你，得选赌博牌。为什么呢？你选了那个赌博牌，有两种情况：第一种，10%的概率他会给你1,000块，太好了，那以后每次都选他，永远1,000。第二种，90%的概率他给你0。没关系，你知道他不行，那以后每次都选安全牌，稳拿500。所以你看，你赌一次的代价是什么呢？最坏情况这一次拿0，但以后你还是回到500，你只亏了这一次。但如果你赌赢了呢，你从此以后，每次都多拿500。一次亏损换来可能是永久的收益提升。算下来，这个赌博牌的吉廷斯指数大概是550，比安全牌500要高。 所以呢，最优策略是先去试那个不确定的。这个结论很反直觉，对吧？但是它揭示了一个特别重要的道理：在做选择的时候，你不应该只盯着期望回报，你应该更关注的是，这个选项有没有可能是最好的。哪怕它的概率很低，但只要上限够高，你就值得去试一次。特别是早期，当你还有大把机会的时候，探索那些可能很棒但不确定的选项呢，哪怕它看起来风险很大，这在数学上是最优策略。 为了让你能够彻底理解这个逻辑，我再给大家看一个更复杂的例子。选项A呢，要么给你80，要么给你0，各50%概率。数学期望是40。选项B，给你0、60或者120，各1/3的概率。期望值是60。如果只看期望值，B最高，那显然应该选B，对吧？但是呢，吉廷斯指数的计算方法不是这样的。它让你想的是，我选了A之后会发生什么？我选了B之后会发生什么？然后根据所学到的信息，未来9轮我应该怎么打。具体的计算过程我就不一步步念了，但结论就是，A的吉廷斯指数大约是713，而B的吉廷斯指数大约是740。B确实更优，但要注意，这个差距其实比期望值的差距要小得多。 关键就是结论背后的逻辑：你不是在选哪个平均回报高，你是在选哪个更有可能成为最好的选项。如果B第一次就给你120，那太棒了，以后就是它了。但如果B只给你60呢？这时候你反而应该回头去试A，因为A有可能给你80，比B的60更好。看到了吧？最优决策不是找一个还不错的选项然后死守，而是不断的问自己：有没有可能还有更好的？在人生早期，在你还有试错成本的时候，不要过早地见好就收。这其实就跟你找对象一样。 ### 现实世界的决策应用 前面讲了那么多数学，你可能觉得这个东西离我太远了，太无聊了，我平时也不会算这些概率题。那我们来换个话题，来聊聊美国总统大选。 2012年奥巴马对阵罗姆尼，两个人的电视广告预算加起来都是天文数字。结果你猜怎么着？超过96%的广告费砸在了仅仅10个州，而且其中近一半的钱都集中在三个州：佛罗里达、弗吉尼亚和俄亥俄。在那个时候，佛罗里达还是个摇摆州。2016年希拉里克林顿对阵特朗普，几乎是一模一样，超过一半的广告费又砸在了三个摇摆州：佛罗里达、俄亥俄和北卡罗来纳。 为什么呢？因为在其他州，基本都是确定的。加州一定投民主党，德克萨斯一定投共和党。在这些州花钱打广告，就像在一台你已经知道结果的老虎机上继续投硬币，纯粹是浪费时间嘛。但摇摆州不一样，摇摆州就是那些你不确定的老虎机，你不确定它会吐出什么样颜色的球。所以呢，竞选团队的策略本质上就是在这些确定的州利用已有的优势，在不确定的州探索并且争取翻盘。 但这还不是最有意思的地方。最有意思的是，选民自己其实也是在拉老虎机。大家可以想一下，选民的投票逻辑是什么？表面上是看理念、看政策、看候选人的魅力。但实际上，数据显示，选民可能给产出更好结果的政党续命。经济好就连任，经济差就换人。这不就是老虎机的逻辑吗？你拉了一下，吐钱了，继续拉同一台；没吐钱，换一台。 而且，研究还发现了一个细节：如果现任总统本人参加竞选连任，这个经济效应更强。但如果是一个政党换了一个候选人呢，效应就弱了。为什么呢？因为选民的信息更新更直接。我就是给你投了票，经济好了，我认为是你的功劳。换个人呢，这个因果链就模糊了。你看，选民不需要懂什么贝叶斯定理，他本能地在做一件事：根据结果更新判断，然后决定继续利用还是探索新选择。 有一个心理学家叫做**赛斯·罗伯茨**（Seth Roberts）。这哥们干了一件大多数人都觉得疯狂的事情：他拿自己做实验，而且一做就是整整12年。你可以看到这个人的毅力有多强。他记录自己每天的行为，然后观察结果：睡了多久、精神怎么样、有没有生病。12年下来，他发现什么呢？每天站立至少8个小时，能够显著改善睡眠质量。虽然总睡眠时间反而少了，但是睡得更深更好。不仅如此，站立加上早上晒太阳这个组合，还能减少上呼吸道感染的次数。 你可能会说，这也太轴了吧？谁会为了搞清楚该不该站着就记了12年数据呢？但你反过来想，你不记录，你怎么知道自己现在的习惯就是对的呢？你每天坐着办公8小时，回家躺沙发，睡不好怪床垫、怪压力、怪手机。但也许真正原因很简单：你站得不够多。你不试你不知道，你不记录的话，你永远不知道。 罗伯茨做的事情，本质上就是一个人版的老虎机实验。每一个生活习惯都是一台老虎机，他一台一台地拉，认真记下每一次结果，然后算出属于他自己的最优解。 你想一想，最近几年，连医生都没有系统地记录各种治疗方案的效果数据。人工关节哪种更好？放支架到底有没有用？很多医生呢，凭的是直觉，凭的是经验，凭的是“我师傅就是这么教的”。没有数据，你就没有办法算出哪个选项的期望回报最高，你只能凭感觉。而人的感觉，是出了名的不靠谱。你可能因为一次食物中毒就不再吃那家餐厅了，你也可能因为一次面试失败就觉得自己不适合某个行业，可能因为某一晚的失眠。千万不要把单次经验当成数据。数据是系统的、多次的、而且是可比较的记录。 现在好消息就是，技术在帮助我们。智能手表可以记录睡眠，APP可以记录饮食，手机能够同步计数甚至情绪。工具已经有了，但是缺的就是你愿不愿意使用它。 其实，在商业和公共政策领域，老虎机模型早就不是什么新的理论了，它是日常操作。互联网经常做什么**A/B testing**啊，本质上就是在拉老虎机。两个版本的按钮颜色、两种推荐算法、两套定价策略，哪个转化率高就用哪个，但同时保留一小部分流量继续探索新的方案。政府也在做类似的事情。政府给农民寄信，鼓励他们参与农业补贴项目，他们会测试不同版本的信件，比如换一张封面照片，把一个男人的照片换成一个女人照片，看看哪个版本参与率更高。这种持续的小规模实验，本质上就在做自适应探索，不是一锤子买卖，而是不断的微调、测试、优化。 甚至像YouTube视频也是这样。我的一个视频做出来之后，我会给他设计三个不同的标题和封面，然后YouTube会根据哪一个封面和标题吸引的观众最多，来最终保留那个封面。这其实也是一个小规模试验。 但是呢，作者在这本书里也提醒了一句：这些选项不是固定不变的。今年管用的邮件设计，可能明年就不灵了。人是会变的，环境也会变，最优解也会变。所以呢，你不能说我已经找到最好了，不用再试了。探索这个事情，永远没有终点。 ### 数据驱动的优化之路 好了，让我们回到最开始的问题：你今天早上吃了什么？你今晚散步打算饭前还是饭后？你可能觉得这些小事无所谓。但是呢，作者在书里头说了一句话非常有意思：如果你认真记录散步时间和睡眠质量的关系，用一个哪怕最简单的启发式方法去分析，你就能找到哪一个对你更好。 这听起来像是小题大做，但你算算：假设你还能活40年，每天的睡眠质量哪怕提升5%，那是14,000多个夜晚啊！罗伯茨用了12年找到答案，你可能不需要那么久。现在有手机、有APP、有各种各样的工具，你需要做的第一步就是开始记录。 **多臂老虎机**其实在告诉我们三件事情： * 首先，不要因为一次失败就放弃一个选项，也别因为一次成功就锁死在一个选项上。 * 其次，在你还年轻、还有试错空间的时候，多探索，哪怕是那些看起来成功率不高的选项，只要上限够高，就值得试一次。 * 最后，记录你的结果。没有数据，一切决策都是在靠蒙。 你这辈子可能面临过无数台老虎机：职业、伴侣、生活习惯、健康方式。大多数人一辈子只拉了眼前的一台。而你现在知道了，多拉几台，记录下结果，算算哪台更值得继续。 希望看完今天节目的你，能够找到最适合你的那一台老虎机。