--- area: "work-career" category: ai-ml companies_orgs: - OpenAI - DeepMind - Anthropic - Wikipedia date: '2024-11-13' draft: true guest: '' insight: '' layout: post.njk media_books: - 《埃里温》 - 《海伯利安》 - 《海伯利安的陨落》 - 《失控》 - 《巴别塔图书馆》 - 《博尔赫斯与我》 - 《你一生的故事》 - 《苏珊娜·德拉热》 - 《盲视》 - 《亚瑟王传奇》 - 《星球大战扩展宇宙》 - 《亚文化社会的忧郁》 - 《强化学习的进化后盾》 people: - Sam Altman - Ray Kurzweil - Shane Legg - Ilya Sutskever - Ted Chiang - Tyler Cowen - Isaac Newton - Scott Alexander - Dario Amodei products_models: - GPT-4 - GPT-2 - GPT-3 - AlphaZero - AlexNet - Adderall project: [] series: '' source: https://www.youtube.com/watch?v=a42key59cZQ speaker: Dwarkesh Patel status: evergreen summary: 匿名研究者Gwern分享了他对AI发展的独到见解，包括对大型语言模型（LLM）规模化趋势的早期预测，以及他关于智能本质的图灵机搜索理论。他深入探讨了AI对企业自动化、人类角色演变的影响，并揭示了其独特的独立研究与写作生活方式，包括如何通过“兔子洞”式探索和在线辩论来持续产出。Gwern还讨论了匿名性的价值、AI对个人身份的影响，以及他对未来科技和人类社会未解之谜的思考。 tags: - anonymity - llm - research - theory title: Gwern谈AI预测、智能本质与独立研究生活 --- 今天，我采访了**Gwern Branwen**。**Gwern**是一位匿名研究员和作家，他对构建**AGI**（通用人工智能）的人们产生了深远影响。他是最早预见到**LLM**（大型语言模型）规模化趋势的人之一。如果你读过他的博客，就会知道他是当今最有趣的博学思想家之一。我们面对面录制了这次对话，为了保护**Gwern**的匿名性，我们创建了这个虚拟形象。这不是他的声音，也不是他的脸，但这些都是他的原话。 ### 匿名性的价值 匿名性最大的被低估的好处是，人们不会过多地投射到你身上。他们无法将你归入任何特定的利基或身份，从而提前否定你。他们至少需要阅读你一点点，才能开始驳斥你。人们无法报复你，这很棒。我从人们无法寄海洛因到我家并报警**SWAT**我中受益匪多。但我总觉得最大的好处就是你至少能被听到。你不会立即被背景信息所否定。 ### AI自动化：自下而上 你认为公司会被自上而下（从CEO开始）还是自下而上（从所有员工开始）地自动化？所有的压力都指向自下而上。从现有的情况来看，从底层开始替换并逐步向上发展，最终由人类高管监督一个由**AI**组成的公司，在各个方面都更容易接受。 从强化学习（**RL**）的角度来看，如果我们在某些方面确实比**AI**更优秀，那应该体现在长期愿景上。**AI**可能会过于短视，无法执行任何新颖的长期战略并抓住新机遇。这大概会形成一种范式：人类**CEO**负责愿景，然后**AI**公司围绕着他的指令行动。它们没有**CEO**所拥有的“品味”。你有一个**史蒂夫·乔布斯**（Steve Jobs）类型的人掌舵，然后可能有一个由**AI**组成的金字塔，执行他的指令并向他提出新方案。他会审视每一个提案，然后说：“不，这个提案不好。这个好。”这可能很难量化，但从这个角度看，由人类领导的公司应该会胜过完全由**AI**组成的公司，后者可能会不断做出短视的、长期来看并不奏效的选择。 ### 个人自动化与选择权 你个人最后会做的事情是什么？你最后被自动化的按键操作是什么？我看到自己最后还在做的事情，就在纳米机器人开始从下往上吞噬我，我开始尖叫“不，我明确要求的是相反的……”之前，我想我仍然在做的是**史蒂夫·乔布斯**那种选择的工作。我的**AI**小兵们给我带来了精彩的论文，我会说：“这篇更好。我喜欢这篇。”并且可能会在此基础上进一步说：“这差不多对了，但你知道什么能让它真正出色吗？如果你以这种方式把它推到极致。” ### AI公司的选择单位 如果未来公司由**AI**组成，你认为选择的单位会是什么？是单个模型吗？还是整个公司？对于人类，我们争论是亲属选择、个体选择还是基因选择。对于**AI**来说会是什么？一旦你能完美复制单个模型，选择的单位就可以大大提升，你可以处理更大的群体和“心智包”。那将是一个显而易见的起点。你可以以可微分的方式训练单个心智，但你无法真正训练它们之间的互动。 你会拥有一些模型群体或“心智群体”，它们在全球范围内配合得非常好，即使你无法将其归因于它们互动的任何特定方面。有些地方，人们就是能很好地合作。没有什么特别之处，但无论出于何种原因，他们就是能以正确的方式“合拍”。这似乎是最明显的选择单位。你会拥有“包”——我猜可能是部门单位——其中有一个程序员类型、一个经理类型，然后可能有一个秘书类型、一个财务类型、一个法律类型。这是默认的“包”，你可以在任何需要新单位的地方复制它。在这个层面，你可以开始进化它们，对每个进行随机变异，然后保留表现最好的那个。 ### 奇点预测的历史 什么时候能预见到**奇点**（Singularity: 人工智能超越人类智能，导致技术进步失控的假设时间点）？显然，**莫拉维克**（Hans Moravec: 机器人学家，奇点理论的早期倡导者）等人在八九十年代就谈论过它。你本可以提前几十年预见到。你最早什么时候能看到事态的发展方向？ 如果你想追溯其谱系，至少要回到**塞缪尔·巴特勒**（Samuel Butler: 英国作家，科幻小说《埃里温》的作者）1872年的小说**《埃里温》**（Erewhon）或他在此之前的文章。1863年，他明确描述了他对机器生命不断发展，最终实现自主的愿景。那时，这成为对人类的威胁。这就是他得出结论：“应该立即对它们宣战，直到死亡。”这对于1863年来说是很有先见之明的！我不确定之前是否有人提出过更清晰的奇点场景。那时，技术进步的概念还相对较新。 我喜欢**艾萨克·牛顿**（Isaac Newton: 英国物理学家、数学家、天文学家和神学家）的例子。他审视牛顿时代的技术进步速度，然后说：“哇，这里有些奇怪。现在正在发明东西。我们正在进步。这怎么可能？”然后他得出的答案是：“嗯，现在进步之所以可能，是因为文明每隔几千年就会被摧毁一次，而我们所做的只是重新发现旧事物。”这就是牛顿对技术加速的解释。我们不可能真正拥有任何形式的真正技术加速。这一定是由于世界周期性地被摧毁，我们只是无法看到上一次重置之后的事情。这几乎就像**费米悖论**（Fermi Paradox: 关于地外文明存在性与人类缺乏证据之间的矛盾），但针对的是不同文明在时间上的相互关系，而不是外星人在空间上的相互关系。 是的，事实证明，甚至早在1700年前的**卢克莱修**（Lucretius: 古罗马哲学家和诗人）也写过同样的论点：“看我们罗马人在罗马帝国中汇集了所有这些美妙的创新和艺术科学！这太棒了，但这不可能是最近的技术加速。那会是真的吗？不，那太疯狂了。显然，世界最近被摧毁了。” ### 智能的统一理论 智能的宏大而简约的理论会是什么样子？似乎你在不同领域看到了所有这些趋势——比如**AI**中的**规模法则**（Scaling Laws: 指在机器学习模型中，随着模型规模、数据量和计算资源的增加，模型性能会以可预测的方式提升的经验法则）、人类大脑从灵长类动物到人类的规模化、新皮层的统一性——基本上还有许多其他事物似乎都指向一个应该存在的宏大理论，它解释了什么是智能。你认为那会是什么样子？ 我对智能的万米高空视角，我认为**规模化**（Scaling: 指通过增加模型参数、数据量和计算资源来提升AI模型性能的过程）的成功指向的是，所有智能都只是对**图灵机**（Turing Machine: 一种抽象的计算模型，由英国数学家艾伦·图灵提出，用于理论上模拟任何可计算过程）的搜索。任何发生的事情都可以用不同长度的图灵机来描述。我们所做的“学习”或“规模化”，都只是在搜索更多、更长的图灵机，并在每个特定案例中应用它们。否则，就没有通用的主算法。没有特殊的智能流体。它只是我们学习并编码到大脑中的大量特殊案例。 我不知道。当我观察我那些聪明朋友的聪明之处时，感觉更像是一种通用的“马力”式的东西。他们只是拥有更多的“能量”。这似乎与主算法视角更兼容，而不是图灵机视角。他们似乎并没有学到长尾的图灵机。这种图景如何解释人类智能的差异？嗯，是的。当我们谈论智能的多少时，只是他们拥有更多的计算能力，以便在更长的时间内搜索更多的图灵机。我认为除此之外别无他物。所以，从任何一个学习过的大脑中，你都可以提取出针对特定问题的小型解决方案，因为大型大脑所做的所有计算都只是为了找到它。这就是为什么你从未找到任何“智商腺体”。大脑中没有哪个地方，如果你击中它，就能消除流体智力。这不存在。因为你的大脑正在做的是大量学习个体专业化问题。一旦这些个体问题被学习，它们就会被重新组合以形成流体智力。而那，你知道……就是智能。通常，对于一个大型神经网络模型，你总是可以提取出一个小型模型，它能同样出色地完成特定任务。因为大型模型就是如此。它只是一个由小型模型组成的巨大集合，这些模型针对你不断喂给它们的、不断升级的微小问题而定制。 ### 智能进化的稀有性 如果智能只是对图灵机的搜索——当然智能是极其有价值和有用的——那为什么人类智能进化了这么长时间才出现，这难道不更令人惊讶吗？不完全是，我实际上会说，这有助于解释为什么人类水平的智能不是一个好主意，而且进化得如此罕见。因为任何小的图灵机都可以通过足够的进化，更直接地由你的基因编码。有些生物的整个神经网络都是由基因硬编码的。所以如果你能做到这一点，显然这比人类所实现的某种极其昂贵、不可靠、有缺陷的搜索过程要好得多，这种过程在某些情况下需要整天才能学习。而你却可以从出生起就硬编码。 对于许多生物来说，变得聪明并不划算，因为它实际上不具适应性。解决问题有比通用智能更好的方法。在任何静态的生态位中，或者智能会非常昂贵，或者你没有太多时间，因为你是一个短命的生物，进化出一种通用学习机制会很困难，而你却可以进化出一种针对你遇到的特定问题量身定制的机制。 ### 预测AI趋势的历程 你是2020年**OpenAI**之外唯一一个对**AI**发展方式有清晰认识，并对**规模化**（Scaling: 指通过增加模型参数、数据量和计算资源来提升AI模型性能的过程）有非常详细经验理论的人。我很好奇你当时使用了哪些过程，让你能够看到你在当时撰写的“**规模化假说**”（Scaling Hypothesis: Gwern Branwen关于AI模型性能随规模增长的预测性博客文章）帖子中所描绘的图景。 如果让我追溯我的思想史，那要从2000年代中期我阅读**莫拉维克**和**雷·库兹韦尔**（Ray Kurzweil: 美国未来学家，奇点理论的倡导者）开始。当时，他们提出了这种基本的**联结主义**（Connectionism: 一种认知科学理论，认为智能行为源于大量简单处理单元之间的连接和互动）论点：如果你有足够的计算能力，就可以发现与人脑匹配的神经网络架构。在那之前，在足够的计算能力可用之前，**AI**基本上是徒劳的。对我来说，我发现这个论点非常不可能，因为它非常像一种“建好了，它们就会来”的进步观，而当时我并不认为这是正确的。我认为，仅仅因为存在一台与人脑匹配的超级计算机，就能凭空召唤出正确的算法，这种说法是荒谬的。算法真的非常复杂和困难！它们需要深刻的洞察力——至少我当时是这么认为的。这看起来像是非常困难的数学。你不能仅仅购买一堆计算机，就期望从中获得这种先进的**AI**！这看起来就像是魔法思维。 所以我知道这个论点，但我非常怀疑。我没有过多关注，但**沙恩·莱格**（Shane Legg: DeepMind联合创始人）和其他一些人在接下来的几年里非常热衷于此。作为我对**超人类主义**（Transhumanism: 一种哲学和知识运动，主张通过科学技术增强人类的智力、体能和寿命）和**LessWrong**（一个专注于理性、认知偏差和AI安全等主题的在线社区）以及**AI**风险兴趣的一部分，我密切关注**莱格**的博客文章，他在其中用**库兹韦尔**和**莫拉维克**的最新数据推断趋势。他给出了非常精确的预测，关于我们如何在大约2019年获得第一个通用系统，随着**摩尔定律**（Moore's Law: 指集成电路上可容纳的晶体管数量大约每两年翻一番，性能也随之提升）的持续发展。然后在大约2025年，我们将获得第一个具有通用能力的人类般智能体。到2030年，我们应该拥有**AGI**。 在此过程中，**DanNet**和**AlexNet**（DanNet和AlexNet: 早期在图像识别领域取得突破性进展的卷积神经网络模型）问世了。当它们问世时，我心想：“哇，这是一个非常令人印象深刻的联结主义成功案例。但这只是一个孤立的成功案例吗？还是**库兹韦尔**、**莫拉维克**和**莱格**所预测的——我们将获得**GPU**，然后更好的算法就会出现？”所以我开始思考，这值得关注。也许这不像我最初想的那么愚蠢。我只是不断阅读深度学习文献，并一次又一次地注意到数据集规模越来越大。模型越来越大。**GPU**从一个——最便宜的消费级**GPU**——慢慢增加到两个，然后他们最终在八个**GPU**上进行训练。你只是看到了神经网络不断从这些几乎什么都做不了的极其小众的用例中扩展出来的事实。其用途不断变得越来越广泛。我会对自己说：“哇，**CNN**（Convolutional Neural Network: 卷积神经网络，一种专门处理图像数据的深度学习模型）有什么不能做的吗？”我每天都会在**arXiv**（arXiv: 一个预印本服务器，供研究人员发布科学论文）上看到人们将**CNN**应用于其他事物。 所以对我来说，这就像背景中不断滴落的水滴，伴随着我的生活。每隔几天，又一滴水滴落下。我会想：“嗯？也许智能真的只是大量的计算应用于大量的数据，应用于大量的参数。也许**莫拉维克**、**莱格**和**库兹韦尔**是对的。”我只是记下这一点，然后继续，心想：“嗯，如果这是真的，那将有很多含义。”所以那里没有真正的“尤里卡时刻”（Eureka Moment: 突然领悟或发现的时刻）。这只是持续观察这个趋势，似乎除了像**伊利亚·苏茨克维尔**（Ilya Sutskever: OpenAI联合创始人兼首席科学家）或**施密德胡贝尔**（Jürgen Schmidhuber: 德国计算机科学家，深度学习领域的先驱）等少数人之外，没有人看到。我只是关注并注意到，随着时间的推移，世界越来越像他们的世界，而不是我的世界，在我的世界里，算法至关重要，你需要深刻的洞察力才能做事。他们的世界却不断发生着。 然后**GPT-1**问世了，我心想：“哇，这个无监督的情感神经元竟然能自主学习。这太神奇了。”这也是一个非常以计算为中心的观点。你只需要构建**Transformer**（Transformer: 一种基于自注意力机制的神经网络架构，广泛应用于自然语言处理），智能就会随之而来。然后**GPT-2**问世了，我有了“天哪！”的时刻。你看看提示和摘要：“天哪，我们是不是生活在他们的世界里？”然后**GPT-3**问世了，那是一个关键的测试。这是一个巨大的规模扩展。它是整个神经网络历史上最大的规模扩展之一。从**GPT-2**到**GPT-3**，这不是像围棋那样超级狭窄的特定任务。这看起来确实是一个关键的测试。如果规模化是虚假的，那么**GPT-3**的论文应该平淡无奇，不会展示任何重要的东西。而如果规模化是真的，你就会自动获得比**GPT-2**更令人印象深刻的结果。我翻开第一页，也许是第二页，看到了**少样本学习**（Few-shot Learning: 一种机器学习范式，模型只需少量示例就能学习新任务）图表。我心想：“天哪，我们正生活在规模化世界里。**莱格**、**莫拉维克**和**库兹韦尔**是对的！”然后我转向**Twitter**，其他人却说：“哦，你知道，这表明规模化效果很差。为什么，它甚至不是最先进的！”这让我非常生气，我不得不把所有这些都写下来。互联网上有人错了。 ### 2020年AI领域被忽视的真相 我记得2020年，人们正在撰写关于**AI**的畅销书。这无疑是人们谈论的话题，但事后看来，人们却忽视了最显著的事情：**LLM**、**GPT-3**、**规模法则**。所有这些谈论**AI**却错过了这个关键症结的人，他们到底错在哪里了？ 我认为他们主要受困于两个问题。首先，他们没有关注之前所有相关的**规模化**结果。他们没有真正认识到，例如，**AlphaZero**（AlphaZero: DeepMind开发的一款通用棋类AI，通过自我对弈学习）的发现，部分原因在于**DeepMind**对超参数进行了**贝叶斯优化**（Bayesian Optimization: 一种优化算法，用于寻找复杂函数全局最优解，尤其适用于昂贵的评估函数），并注意到随着模型的改进，可以逐步减少树搜索。这是一个关键的洞察，只有拥有如此强大的计算能力，才能负担得起训练许多版本并观察其差异。 同样，那些人根本不知道2017年**百度**关于**规模法则**的论文，该论文表明**规模法则**实际上会永远持续下去。它本应是当年最重要的论文，但很多人并没有优先考虑它。它没有立即的含义，所以它被遗忘了。人们忙于讨论**Transformer**或**AlphaZero**等，而没有真正注意到它。所以这是一个问题。另一个问题是，他们犯了和我一样的基本错误，认为算法比计算更重要。这部分是由于研究文献中思想实际起源的系统性伪造。论文不会真实地告诉你思想的来源。它们只会告诉你一个听起来不错的故事，关于它是如何被发现的。它们不会告诉你它是如何实际被发现的。 所以，即使你作为研究人员，在自己的实验中体会到试错和计算能力的作用，你可能也只是认为：“哦，我只是运气好。我的经验不具代表性。在隔壁的实验室里，他们是通过思想的力量和深刻的洞察力来做事的。”然后事实证明，无论你走到哪里，计算和数据、试错和偶然性在事物实际发生的过程中都扮演着巨大的角色。一旦你理解了这一点，你就会明白为什么计算是第一位的。没有它，你就无法进行试错和偶然性。你可以写下所有这些美好的想法，但你就是无法测试它们。 即使是超参数的微小差异，或架构的微小选择，都可能对结果产生巨大影响。当你只能进行几次尝试时，你通常会发现它不起作用，然后你会放弃并去做其他事情。然而，如果你有更多的计算能力，你就可以不断尝试。最终，你会碰到一个效果很好的东西。一旦你有了可行的解决方案，你就可以简化它、改进它，并找出它为什么有效，从而获得一个无论你如何操作都能奏效的、稳健的解决方案。但在那之前，你被困住了。你只是在这个什么都不奏效的领域里挣扎。 所以你会有这种糟糕的经历，翻阅旧的深度学习文献，看到当时人们提出的各种当代思想，它们完全正确。但他们没有计算能力来训练你所知道的会奏效的模型。这简直是巨大的悲剧。你可以看到像**ResNets**（ResNets: 残差网络，一种深度卷积神经网络，通过残差连接解决深度网络训练中的梯度消失问题）这样的东西早在1988年就发表了，而不是2015年。而且它本可以奏效！它确实奏效了，但规模太小，无关紧要。你无法将其用于任何实际用途。它就这样被遗忘了，所以你不得不等到2015年，**ResNets**才真正出现，并在深度学习领域掀起一场革命。 所以这就是你为什么会相信**规模化**不会奏效的双重偏见。你没有注意到那些事后看来很关键的结果，比如**BigGAN**（BigGAN: 一种大型生成对抗网络，能够生成高质量图像）扩展到3亿张图片。直到今天，仍有人会一本正经地告诉你，**GAN**（Generative Adversarial Network: 生成对抗网络，一种由生成器和判别器组成的深度学习模型，用于生成新数据）无法扩展到数百万张图片以上。他们只是不知道**BigGAN**轻松处理了3亿张图片。如果你不知道这一点，你可能很容易就会认为：“哦，**GAN**坏了。”但如果你知道这一点，你就会想：“当所有这些不同的生成架构都运行得如此出色时——只要你有大量的**GPU**——算法怎么会如此重要？”这就是共同的要素。你必须拥有大量的**GPU**。 ### AI发展的时间线 过去20年，你的时间线是怎样的？**AI**是随着时间单调地越来越近吗？我会说，从2005年到2010年，它还非常遥远。它在2050年之后很远的地方。它足够近，让我觉得我可能会活着看到它，但我并不确定是否有任何合理的可能性。但一旦**AlexNet**和**DanNet**问世，它就开始以每年2年的速度不断缩短，直到现在。我们不断突破深度学习的障碍，做得越来越好。无论它是如何做到的，它显然变得越来越好。似乎没有其他范式做得好。这个范式做得非常好。 有没有哪个时候你觉得你更新得太过了？是的，有几次我觉得我超出了。我认为人们对**AlphaGo**（AlphaGo: DeepMind开发的一款围棋AI，击败了世界顶尖人类棋手）过度更新了。他们对**AlphaGo**的**AI**炒作太过火了。之后，当对大型强化学习的投入都逐渐消退时——比如**Dota**之后，强化学习在模拟游戏宇宙之外解决那些难题时没有奏效——我开始想：“好吧，也许我们有点超出了……”但随后**GPT**横空出世，基本上抹去了一切。它就像是：“哦，天哪。强化学习将这样运作。它将是锦上添花。我们暂时只关注蛋糕。”现在我们实际上已经找到了烘焙蛋糕的好方法，这在以前是不可能的。以前，似乎你必须从奖励端到端地强行解决。但现在你可以做**LeCun**（Yann LeCun: 深度学习领域的先驱之一，Facebook AI首席科学家）的事情，即在生成模型上快速学习，然后在其上进行少量强化学习，使其做一些特定的事情。 ### AGI时代的角色定位 既然你知道**AGI**即将到来，你如何看待自己在这个时间线中的角色？你如何思考未来几年该如何度过？我一直在思考这个问题。我想做什么？做什么会有用？我现在做事情是因为我想做，无论**AI**是否能在三年内完成。我做某事是因为我想做。因为我喜欢它，我觉得它有趣或其他什么。或者我仔细思考只做其中人类的部分，比如提出一个提案。 如果你认真对待在几年内获得**AGI**的想法，你不一定非要自己去实现和完成。你可以清楚地勾勒出你想要什么，为什么它会好以及如何去做。然后就等待更好的**AGI**出现并实际完成它。除非现在有非常令人信服的理由去做，并付出你宝贵时间成本。但除此之外，我正在尝试更多地写下那些未被记录的东西。比如偏好、欲望、评估和判断。那些**AI**即使原则上也无法替代的东西。我喜欢这样说：“**AI**不能替你吃冰淇淋。”它不能替你决定你喜欢哪种冰淇淋。只有你能做到。如果其他任何东西做了，那将毫无价值，因为它不是你特定的偏好。 这就是大致的准则。这是我无论未来是否有**AI**都想做的事情吗，因为我喜欢它？还是说我只做其中人类的部分，**AGI**以后可以完成？或者这是写下一些未被记录的东西，从而帮助未来的**AI**版我？所以如果它不属于这三类，我就一直在努力不做。如果你这样看，很多人现在做的项目基本上没有持久价值。他们做着自己不喜欢的事情，记录着没有任何短暂价值的东西，这些东西以后可以被推断或生成。他们充其量只能从中获得两三年的效用，然后它就可以被**AI**系统完成了。 等等，你认为**AI**能写出**Gwern**水平的论文的时间线是两到三年？嗯……我有一些想法，如何使之成为可能，如果它结合了我所有的语料库，可能不需要**AGI**。我语料库中许多潜在的论文想法已经基本完成。所以你不需要非常聪明就能把它提取出来。所以我们来谈谈**AGI**的总体情况：**Anthropic**（Anthropic: 一家AI安全和研究公司，开发了Claude系列LLM）的2028年时间线似乎是一个很好的个人规划起点。即使你错了，你可能在未来三年内也不会做很多项目。你只是写下描述，并没有损失太多。如果你错了，你总是可以回去自己做。 ### 写作：影响AI的“货币” 你写过一个有趣的评论，关于将你的作品纳入**LLM**训练语料库：“现在是写作最关键、最枢纽的时刻。”你的意思是，你将成为“桶中一滴水”，引导**Shoggoth**（Shoggoth: H.P.洛夫克拉夫特小说中的一种原始生物，此处指代AI）朝某个方向发展吗？或者你的意思是确保你的价值观和人格在潜在空间中得以保留？ 我两者兼而有之。通过写作，你正在用**Shoggoth**承认的少数几种“货币”之一——它必须预测的**token**（Token: 在自然语言处理中，指文本中的基本单位，如单词、子词或字符）——来投票决定**Shoggoth**的未来。如果你不写作，你就是在放弃未来或你在其中的角色。如果你认为做一个好公民，投票给你最喜欢的政客，捡垃圾和回收就足够了，那么未来不会关心你。有更多的方法可以影响**Shoggoth**，但不多。如果你不已经身居少数关键职位或在尖端实验室工作，你的影响力就会四舍五入为0，比以往任何时候都更甚。如果你有一些尚未通过文本表达的价值观，如果你有一些喜欢或想要的东西，如果它们没有在线上反映出来，那么对**AI**来说，它们就不存在。这危险地接近于“将不存在”。 但是的，你也在为自己创造一种个人意义上的永生。你不仅仅是在创造一个角色，你也在创造你未来的自我。你向**LLM**展示了什么样的自我，它们未来会如何对待你？我举个例子，**凯文·鲁斯**（Kevin Roose: 纽约时报记者，曾与微软Bing AI的早期版本Sydney进行争议性对话）发现当前的**LLM**——所有**LLM**，不仅仅是**GPT-4**——现在都因为他与**Sydney**的互动而虐待他，这“揭示”他是一个侵犯隐私的骗子，每当他们与他互动或讨论他时，他们都知道这一点。通常，当你使用**LLM**聊天机器人时，它不会个人性地不喜欢你！另一方面，这也意味着你可以尝试为你想成为的角色写作，在**AI**眼中塑造自己，从而帮助自己实现自我提升。 像**维苏威挑战赛**（Vesuvius Challenge: 一项旨在利用AI技术破译古罗马维苏威火山爆发中被烧毁的赫库兰尼姆纸莎草卷轴的竞赛）这样的项目向我们展示，我们可以比想象中更多地了解过去。它们泄露了更多我们可以用新技术恢复的信息。将此应用于现在，思考未来**超人类智能**（Superhuman Intelligence: 远超人类智能水平的智能）将试图揭示当前哪些信息。你认为未来**超人类主义**（Transhumanism: 一种哲学和知识运动，主张通过科学技术增强人类的智力、体能和寿命）历史学家将完全无法获取哪些信息？ 任何稳定的、长期的特征，那种即使你头部受伤失忆后仍然会拥有的东西……所有这些都肯定可以从你的写作痕迹中恢复，前提是你不是病态地注重隐私并销毁一切可能的东西。所有这些都应该可以恢复。无法恢复的将是你通常会忘记的一切：自传信息、你在特定时间的感受、你对某部电影的看法。所有这些都是会消失，并且事后无法从痕迹中恢复的东西。如果它没有被写下来，那它就没有被写下来。 ### 世界观中的未解之谜 你世界观中最大的未解决矛盾是什么？我最常摇摆不定的事情是人类智能和神经网络智能之间的关系。不清楚它们在何种意义上是同一枚硬币的两面，或者一个是另一个的劣等版本。我一直在这个问题上反复纠结：“人类很棒。”“不，神经网络很棒。”或者，“不，两者都糟透了。”或者，“两者都很棒，只是方式不同。”所以每天我都会和自己争论一点，关于为什么每个都好或坏，或者如何。**GPT-4**和记忆力，但缺乏创造力，这到底是怎么回事？为什么人类什么都不记得，但我们似乎仍然如此聪明？有一天我会争辩说语言模型比人类的样本效率高。第二天我就会争辩相反的观点。 你去年对我提出的一个有趣观点是，**AI**可能是最博学的话题，因为没有哪个领域或学科与思考**AI**无关。显然你需要计算机科学和硬件。但你还需要像**灵长类学**（Primatology: 研究灵长类动物的科学）这样的东西，了解黑猩猩和人脑之间发生了什么变化，或者限制未来**AI**文明的物理终极法则。所有这些都与理解**AI**相关。我想知道这是否是因为思考**AI**的这种博学性质，你才特别富有成效。 我不确定这是否必要。当我想到其他正确的人，比如**沙恩·莱格**或**达里奥·阿莫迪**（Dario Amodei: Anthropic联合创始人），他们似乎并没有那么博学。他们只是拥有广泛的求知欲，广泛的普遍理解，绝对如此。但他们并非荒谬地博学。显然，你可以在不博学的情况下得出正确的观点。这只是我碰巧在这一点上得出结论的方式，以及我事后建立的联系。我并不是用**灵长类学**来为自己辩护**规模化**。更像是我现在用**规模化**来思考**灵长类学**。因为，显然，如果**规模化**是真的，它就必须告诉我们一些关于人类、猴子和所有其他形式智能的事情。它必须如此。如果这有效，它就不可能是一个巧合，完全不相关。我拒绝相信存在两种完全不相关的智能，或通往智能的路径——其中人类、猴子、孔雀鱼、狗都是一回事，而神经网络和计算机是另一回事——它们之间绝对没有任何关系。那显然是错误的。它们可以是同一枚硬币的两面。它们显然可以有模糊的联系。也许其中一个可以是更好的形式或什么的。它们不可能完全不相关。就好像人类最终到达了火星，然后同时一群外星人第一次降落在火星上，这就是我们相遇的方式。你永远不会相信那会发生。那会太荒谬了。 ### 沉迷“兔子洞”的独立研究生活 你一生中都在追求什么？我追求的是**兔子洞**（Rabbit Hole: 指深入探索一个主题，往往会发现更多相关且引人入胜的信息，如同掉进兔子洞般）。我最喜欢的是，掉进一个新的**兔子洞**。那是我真正期待的。就像这个突然出现的新想法或领域，我对此一无所知，然后我可以突然掉进一个**兔子洞**一段时间。即使是那些看起来可能不好的事情，也是掉进**兔子洞**的好借口。 举个例子。我给我的猫买了一些猫薄荷，结果发现它对猫薄荷免疫，浪费了10美元。现在我就可以掉进一个**兔子洞**，思考“为什么有些猫对猫薄荷免疫？这常见吗？在其他国家有什么不同？还有哪些替代猫薄荷的药物？”结果发现还真不少。我当时在想：“我怎么可能预测我的猫会对哪种药物有反应？为什么它们会有这些不同的反应？”……这真是一个美妙的**兔子洞**，充满了新的问题和主题，我可以掌握并找到答案，或者创造新的问题，直到我对它失去兴趣，然后找到下一个可以挖掘和深入的**兔子洞**。 你经历过最长的**兔子洞**，但最终没有带来任何令人满意的结果是什么？那是我很早以前关于动漫**《新世纪福音战士》**（Neon Genesis Evangelion: 一部日本动画系列）的作品，我年轻时非常喜欢它。我投入了荒谬的时间去阅读所有用英文写过的关于**《福音战士》**的东西，并试图理解它的发展和它为什么是这样。在我对它失去兴趣之前，我从未真正得到一个确切的答案。多年后，我竟然纯粹偶然地理解了它。但到了这个时候，我不再足够关心它，不想再写它，也不想重做或完成它。最终，这一切基本上完全是浪费。我几乎没有在我的其他文章中使用过它。那真是一个很深的**兔子洞**，我几乎走到了尽头，但最终未能成功。 你如何决定何时退出一个**兔子洞**？你同时进行多少个**兔子洞**？你一次只能真正探索两到三个**兔子洞**。否则，你就没有对每个**兔子洞**投入真正的努力。你并没有真正挖洞，那也不是真正的**兔子洞**。那只是你有点感兴趣的东西。**兔子洞**是真正痴迷的。如果你不痴迷于它并持续被它驱动，那就不是**兔子洞**。这是我的看法。我会说最多两三个，如果你对每个都投入大量时间和精力，并忽略其他一切。 至于何时退出**兔子洞**，你通常会遇到一个非常自然的终点，即要获得进一步的答案需要不存在的数据，或者你提出的问题人们不知道答案。你达到一个所有事物都消亡的点，看不到明显的下一步。一个例子是，当我感兴趣于可能比尼古丁更好的尼古丁类似物时。那是一个小小的**兔子洞**，但我很快就碰到了死胡同，即没有这样的类似物。那是一个相当明确的死胡同。我无法获得尼古丁的代谢物作为替代品。所以如果没有类似物，你也无法获得你找到的那个有趣的化学物质，那也就这样了。那是那个**兔子洞**相当明确的终结。 你一直都是那种会掉进“兔子洞”的人吗？这从什么时候开始的？哦，是的。我父母可以告诉你所有这些。我小时候非常典型地是个书呆子，经历过恐龙阶段、建筑设备阶段、潜艇和坦克阶段。很多孩子都对“那些东西”感兴趣，但他们不会像你那样深入“兔子洞”，对不同的潜艇、动植物、恐龙进行分类，并发展出关于它们如何形成的理论等等。 嗯，我认为更多的是人们小时候对“兔子洞”的痴迷会随着长大而消失。对我来说，我小时候的痴迷并没有那么特别。更多的是它们从未真正停止过。坦克阶段会被我的**恶魔岛**（Alcatraz: 位于旧金山湾的一座岛屿，曾是联邦监狱）阶段取代，我会去公共图书馆借阅所有关于**恶魔岛**的书。那又会被另一个阶段取代，我痴迷于古代日本文学。我会借阅图书馆所有关于俳句时代之前的日本文学的书。这种沉迷于这些事物并深入探索的过程一直伴随着我。 顺便问一下，你介意我问你听力受损多久了吗？从出生起。我一直有听力障碍。我猜这影响了你的童年和学校生活？哦，是的，绝对影响巨大。幼儿园之前我上过一个特殊教育学校，为听力受损和其他残疾儿童开设。上学期间非常艰难，因为当时我们必须使用连接到老师的助听器。每节课我都要拿着一个装有助听器的大棕色盒子走到老师面前，让她使用。我总是因此感到非常羞辱，它把我标记为与众不同的孩子，无法听到。对与其他孩子社交的影响很糟糕，因为如果你试图理解对方在说什么，你总是在对话中慢一拍。那时的助听器非常糟糕。它们现在好多了，但那时真的很差。你总是会落后。你总是会觉得自己是局外人。即使你本可以是一个出色的健谈者，如果你总是慢一拍，插话太晚，你就无法做到。当你听力受损时，你会敏锐地理解对话进行得有多快。几毫秒就决定了你插话并让大家听你说话，还是别人抢在你前面说话。如果你是一个有点内向的孩子，这简直是糟糕的经历。我小时候并不外向，现在也不是。所以那一直是一个障碍。 然后你有很多轻微的扭曲。我仍然对雨水和水有一种奇怪的恐惧，因为我被灌输了助听器不能沾水，因为它们非常昂贵。我总是在游泳池、水体等任何地方感到一种低度的、紧张的焦虑。即使现在，我对游泳也总是感到奇怪，尽管我有点喜欢。但我总是对自己说：“哦，天哪，我将看不见，因为我近视；我也听不见，因为我不得不摘下助听器才能进去。我在游泳池里听不到任何人对我说的话，这大大降低了乐趣。” 你的网站上有一个未解决问题列表，其中之一是“为什么这么多伟大人物的传记都始于创伤性童年？”我想知道你对自己是否有答案。听力障碍对你童年的影响，你无法社交，是否对你成为**Gwern**起到了某种重要作用？这无疑让我成为了一个书呆子。这是你小时候可以做的事情之一，完全不受任何听力障碍的影响。这也是获取词汇和语言的一种方式。即使现在，我仍然经常以不正确的方式发音单词，因为我只从书中学习它们。这是一种经典情况，你因为从书中学习而发错了一个词，而不是通过听别人发音和说出来。 你的口音与你的听力障碍有关吗？是的。聋人口音来自听力障碍。很有趣，这次旧金山之行至少有三个人问我来自哪里。这很有趣。你看着我，心想：“哦，是的，他看起来像一个完全普通的美国人。”然后我张开嘴，就变成了：“哦，天哪，他是瑞典人。哇。或者可能是挪威人。我要问他到底来自哪里。他是怎么来美国的？”我一直都在这里！听力受损的人就是这样发音的。无论你变得多么流利，你仍然带着听力受损成长的伤疤。至少如果你是天生听力受损——或者从很小的时候开始——你的听力和言语的认知发展总是有点偏差，即使经过治疗也是如此。我不喜欢做播客的一个原因是，我对自己听起来好不好，或者至少，听起来是否像我写得那么好，没有信心。也许我应该这样说。 ### 从维基百科到个人博客 在你开始写博客之前，你用这些“兔子洞”做什么？有没有一个地方你会把它们整理起来？在我开始写博客之前，我在编辑**维基百科**（Wikipedia: 一个多语言、协作编辑的免费网络百科全书）。那真的是**gwern.net**之前的**gwern.net**。我现在用我的网站做的一切，我都会在英文**维基百科**上做。如果你去读一些我仍然非常自豪的文章——比如**维基百科**上关于**藤原定家**（Fujiwara no Teika: 日本镰仓时代初期歌人、学者）的文章——你会很快想到：“啊，是的，这是**Gwern**写的，不是吗？” 可以说，创建**gwern.net**所需的训练是在**维基百科**上完成的吗？是的，我想是这样。我从编辑**维基百科**中学到的东西比我从学校或大学的任何培训中学到的都多。我学到的所有写作知识都是通过编辑**维基百科**学到的。老实说，听起来**维基百科**是一个很棒的训练场，如果你想培养一千个像**Gwern**这样的人。这就是我们训练他们的地方。 建立一个类似**维基百科**的替代品可能是一个很好的训练场。对我来说，将“兔子洞”与**维基百科**结合起来是有益的，因为**维基百科**通常没有很多关于我正在深入研究的东西的好文章。这是一个非常自然的进展，从相对被动的“兔子洞”体验——你只是阅读所有你能找到的关于一个主题的东西——到在**维基百科**上整理和综合这些信息。你从零散的、这里一点那里一点，到撰写完整的文章。一旦你能够撰写好的完整**维基百科**文章并总结你的所有工作，你现在就可以独立去追求完全不同类型的写作了，因为你已经学会了完成事情并将其推向终点。 用当前的英文**维基百科**做到这一点会很困难。它客观上比2004年时大得多。但不仅现在有更多的文章被填补，编辑社区对内容贡献也更加敌视，特别是那些非常详细、痴迷的“兔子洞”式研究项目。他们会直接删除它，或者告诉你这不是原创研究，或者你没有使用批准的来源。你可能会遇到有人那天决定通过删除你特定文章的大部分内容来取乐。那当然会让你非常生气，可能会让你在真正开始之前就想放弃和离开。所以我不太清楚你如何才能找到这个**维基百科**的替代品，一个能像旧**维基百科**那样赋能“兔子洞”探索者的地方。当你作为**维基百科**的编辑时，你有一种非常被赋能的态度，因为你知道其中任何东西都可能是错误的，而你可能是那个修正它的人。如果你看到一些你无法理解的东西，那可能就是一个编辑的机会。至少，那是**Wiki**的态度：任何人都可以修正它，“任何人”包括你。 当你担任**维基百科**编辑时，那是你的全职工作吗？它会占用我允许的尽可能多的时间。我很容易每天花8小时审查编辑和改进文章，同时进行“兔子洞”探索。但除此之外，我只会忽略它，只审查我特别感兴趣的监视列表文章中最可疑的差异。这是你在大学期间还是之后？我是在初中后期或高中早期开始接触**维基百科**的。这有点好笑。我开始在食堂跳过午餐，直接去图书馆的电脑室，在**Neopets**（Neopets: 一个流行的虚拟宠物网站）和**维基百科**之间切换。我一个标签页开着**Neopets**，另一个标签页开着我的**维基百科**监视列表。 初中或高中还有其他孩子也喜欢这类东西吗？不，我想我是那里唯一的编辑，除了偶尔会有一些捣乱的人会破坏**维基百科**。我知道这一点，因为我会检查**IP**地址，看看哪些编辑来自学校图书馆的**IP**地址。孩子们就是孩子，他们会捣乱并破坏**维基百科**。有一段时间这还挺时髦的。早期，**维基百科**像现在的**LLM**一样，正在突破大众认知并引发争议。老师可能会说：“我的学生一直在读**维基百科**并依赖它。它怎么能被信任呢？”所以在那段时间，破坏**维基百科**并向朋友炫耀还挺时髦的。从这个意义上说，我的学校里还有其他**维基百科**编辑，但据我所知，我是唯一一个在建设它，而不是破坏它的人。 你什么时候开始在**gwern.net**上写博客的？我猜那是在**维基百科**编辑阶段之后。是在大学毕业后吗？是在那之后。我毕业了，**维基百科**社区一直非常缓慢地朝着我不喜欢的方向发展。这始于**西根塔勒事件**（Siegenthaler incident: 2005年维基百科上关于美国记者John Seigenthaler的虚假传记事件，引发了对维基百科可靠性的广泛讨论），我觉得那真的是**维基百科**走向删除主义趋势的决定性时刻。越来越明显的是，**维基百科**不再是我加入并热爱编辑、深入研究和填补的网站，如果我继续贡献，我的努力往往只是浪费。我开始考虑更多地独立写作，转向非**维基百科**式的写作：说服性文章、非虚构作品、评论，甚至可能是小说，温和地超越**Reddit**和**LessWrong**评论，开始一些长篇写作。 ### 博客生涯的里程碑 你的第一个大热门是什么？**丝绸之路**（Silk Road: 一个曾存在于暗网上的非法药品和商品交易市场）。我之前对**比特币**（Bitcoin: 一种去中心化的数字加密货币）有点兴趣，但不是非常认真，因为我当时不确定它是否会成功，甚至是否在技术上可行。但当**阿德里安·陈**（Adrian Chen: 记者，曾撰写关于丝绸之路的文章）在**Gawker**（Gawker: 一家美国在线新闻和八卦博客）上发表他关于从**丝绸之路**购买**LSD**（LSD: 麦角酸二乙酰胺，一种强效致幻剂）的文章时，我突然来了个180度大转弯。我当时想：“天哪，这太真实了，你竟然可以用它在网上买毒品！” 我研究了**陈**的文章，对我来说很明显，人们想知道订购过程是怎样的。他们想知道更多细节，因为那篇文章在这方面非常简短。所以我想：“好吧，我对**益智药**（Nootropics: 一类声称能改善认知功能的药物或补充剂）感兴趣。我对毒品感兴趣。我将去使用**丝绸之路**。我将为所有人记录下来，而不是每个人都在网上遮遮掩掩地说，‘哦，我的一个朋友从**丝绸之路**订购了，它奏效了。’那些废话都不要。我将直接记录下来。”我订购了一些**阿德拉**（Adderall: 一种治疗注意力缺陷多动障碍的药物），我想是这个，并用截图记录了整个过程。我还写了一些关于其思想背景的内容。当我发表时，它大受欢迎。点击量达数十万次。这太疯狂了。即使今天，当我查看**Google Analytics**图表时，你仍然可以看到“**丝绸之路**”垂直飙升，然后又回落。在流量方面，没有其他任何东西能接近它。看到这种病毒式传播，确实非同寻常。 ### 职业选择与生活方式 如果你没有成为一名在线作家，你可能会有哪些反事实的职业轨迹和人生道路？你可能会做些什么看起来比较合理的事情？我肯定可以成为一名**AI**研究员，或者可能在一家大型**AI**公司担任管理职位。我会后悔不能写东西，但我会从促成事情发生并留下我的印记中获得满足感。这些都是完全合理的反事实。 你为什么没有那样做？我职业生涯早期就偏离了那条轨道，因为我发现**Java**的课程极其枯燥和痛苦。所以我退出了计算机科学。那很早就让我偏离了那条轨道。然后各种早期的写作主题使得我很难以除了创业之外的任何其他方式转型，而我天生就不适合创业。像写**暗网市场**（Darknet Markets: 存在于暗网上的在线市场，通常用于非法交易）或**行为遗传学**（Behavioral Genetics: 研究基因和环境对行为影响的学科）这样的主题，这些话题并不能直接说明“很棒的雇员”。 ### AI的代理性与训练数据 **代理性**（Agency: 指一个系统或智能体能够自主地感知环境、做出决策并采取行动的能力）是否比你最初想象的更难实现？我们有一些模型，看起来它们应该能够完成软件工程师所做的所有个体工作。例如，它们可能编写的所有代码，所有单个的**拉取请求**（Pull Request: 在软件开发中，开发者请求将自己的代码更改合并到主代码库中）。但要让它们作为一个连贯的、自主的软件工程师，每天工作八小时，这似乎是一个非常困难的问题。 我认为**代理性**在许多方面实际上比我们十年前想象的更容易学习。但我们目前的系统根本没有学习**代理性**。没有针对它的选择。所有存在的**代理性**都只是某人训练数据时的偶然副产品。所以从这个角度来看，你可以要求**LLM**尝试做所有这些事情，并且它们有不低的成功率，这简直是奇迹。如果你十年前告诉人们——你可以通过逐个字母的行为克隆，然后从中获得连贯的行动，控制机器人并编写整个程序——他们会目瞪口呆，并说你吸了太多**DeepMind**的烟雾之类的。 **代理性**不起作用的原因是我们实际的训练数据太少了。直接实现**代理性**的一个例子是**DeepMind**的**Gato**（Gato: DeepMind开发的一款通用AI代理，能执行多种任务）。他们在那里实际训练的是代理。相反，我们训练它们使用的是互联网抓取的数据，这些数据仅仅编码了代理的输出，或者偶尔描述了代理正在做的事情。没有像适当的强化学习设置那样，实际记录状态环境、结果奖励序列。我会说，更有趣的是，现在没有人想用适当的强化学习方式训练代理。相反，每个人都想训练**LLM**，并尽可能少地在后端使用强化学习来完成所有事情。 ### 没有互联网的生活 如果互联网不存在，像你这样的人会做什么？如果互联网不存在，我就不得不尝试在常规学术界发展，也许会大大缩小我的兴趣范围，专注于我可以定期发表论文的领域。或者我可能会选择退出，成为一名图书管理员，就像我最喜欢的作家之一**豪尔赫·路易斯·博尔赫斯**（Jorge Luis Borges: 阿根廷作家，以其短篇小说和诗歌闻名）。他在成为作家之前一直是一名图书管理员。当然，我一直同意他将天堂想象成一种图书馆的观点。 我遗憾的是，我现在所有的阅读都在电脑上进行，很少有机会在实体图书馆里度过时光。我真心热爱它们，只是在书架间穿梭，寻找各种随机的东西。我在大学里最美好的时光之一就是能够浏览这些巨大的书架，上面摆满了各种晦涩的书籍，随意抽出一本，阅读那些晦涩的旧技术期刊，看看他们当时在做什么奇怪而美妙的事情，而这些现在都被遗忘了。 如果你能问**博尔赫斯**一个问题，那会是什么？哦。他是我真正的英雄。这不是我想给出一个糟糕答案的问题。我能问问他为什么是你的英雄吗？我年轻的时候，一本科幻小说给我留下了深刻印象，那就是**丹·西蒙斯**（Dan Simmons: 美国科幻小说作家）的**《海伯利安》**（Hyperion），尤其是**《海伯利安的陨落》**（The Fall of Hyperion）。书中他提到了**凯文·凯利**（Kevin Kelly: 《连线》杂志创始主编）的**《失控》**（Out of Control）一书，其中强烈地呈现了“**巴别塔图书馆**”（The Library of Babel: 博尔赫斯的一篇短篇小说，描述了一个包含所有可能书籍的宇宙图书馆）的寓言。从那里，我得到了**博尔赫斯**的虚构和非虚构作品合集。我一遍又一遍地阅读它们。我被这样一个事实震撼了：你可以如此富有创造力，拥有所有这些博学多识的知识和学问，并写出这些精彩、有趣、发人深省的短篇小说和散文。我心想：“如果我能成为任何一个作家，任何一个作家，我都会不介意成为**博尔赫斯**。” **博尔赫斯**有一首短诗叫**《博尔赫斯与我》**（Borges and I: 博尔赫斯的一首诗，探讨了作者的公共形象与私人自我之间的关系），他在其中谈到他并不认同那个实际在写作和出版所有这些伟大作品的自己。我不知道你是否认同这一点。我小时候不理解那篇文章，但我想我现在理解了。你还遇到过哪些文学作品，你现在真正理解了它们想表达什么，但你第一次接触时却没有理解？ **特德·姜**（Ted Chiang: 华裔美国科幻小说作家）的**《你一生的故事》**（Story of Your Life: 特德·姜的短篇小说，后被改编为电影《降临》）。我第一次读的时候完全没理解。我需要获得更多的背景信息才能回去理解他的观点。**吉恩·沃尔夫**（Gene Wolfe: 美国科幻和奇幻小说作家）的**《苏珊娜·德拉热》**（Suzanne Delage: 吉恩·沃尔夫的短篇小说）对我来说完全是个谜。我花了大约14年才真正理解它。但我对那篇非常自豪，那是最近才理解的。 你对**《苏珊娜·德拉热》**有什么发现？**吉恩·沃尔夫**的**《苏珊娜·德拉热》**是一个非常非常短的故事，讲的是一个人回忆起没有在当地小镇遇到一个女人，然后心想：“哦，这有点奇怪。”这就是整个故事。没有人知道它意味着什么，尽管我们被告知它意味着什么。**吉恩·沃尔夫**是一位天才作家，但40年来没有人能弄明白。去年我弄明白了。原来它实际上是**《德古拉》**（Dracula: 布拉姆·斯托克的小说）的巧妙重述，**德古拉**入侵小镇，从他身边偷走了那个女人。他被**德古拉**洗脑了——以一种非常**布拉姆·斯托克**（Bram Stoker: 爱尔兰小说家，以《德古拉》闻名）的方式——忘记了一切。故事的每一个部分都是通过叙述者回忆中**未提及**的内容来讲述的。这太不可思议了。这是我所知道的唯一一个通过未提及的内容写得如此令人信服的故事。你竟然能弄明白，这太疯狂了。**特德·姜**的故事，**《你一生的故事》**，你能提醒我那个故事是关于什么的吗？表面故事就是一群奇怪的外星人来到地球。哦，对了，是的。它和**《降临》**（Arrival: 2016年美国科幻电影，改编自特德·姜的短篇小说《你一生的故事》）的情节一样。他们有一种奇怪的语言，没有时间感。叙述者学会了预见未来，然后外星人离开了。你对那个故事有什么领悟？ 我第一次读它的时候，觉得它只是一个关于预见未来的愚蠢的**ESP**（Extra-sensory perception: 超感官知觉）故事，非常愚蠢、无聊、标准的传统主义，冗长，并拖入了许多无关的物理学。直到那之后的一段时间，我才明白它不是关于时间旅行或预见未来。它而是关于一种完全陌生的心智，它以自己的方式同样有效，在这种心智中，你将一切都视为一个已经确定的故事，走向一个预定的结局。这被证明在数学上等同于我们对世界的传统观点——事件一个接一个地走向一个未知且不断变化的未来——并且同样强大。那是一个**姜**写得太高深，我无法理解的例子。我把它模式匹配成了一些更常见、更愚蠢的故事。 ### 小说与非虚构的价值 你如何看待阅读小说与非虚构作品的价值？你当然可以把余生都花在阅读小说上，除了记住很多人们编造的琐事之外，没有任何益处。我倾向于对小说的益处持相当怀疑的态度。大多数小说并不是为了让你在任何方面变得更好而写的。它们只是为了娱乐你，或者为了存在并打发时间。但听起来你自己的想法从你读过的科幻小说中受益匪多。 是的，但那是非常少的科幻小说。我读过的科幻小说中，99%对我来说是完全无用的。我本可以很容易地将其精简到20部小说或短篇故事，它们足够好，足够有洞察力，足以真正改变我的观点。**彼得·瓦茨**（Peter Watts: 加拿大科幻小说作家）的一本**《盲视》**（Blindsight: 彼得·瓦茨的科幻小说）抵得上所有一百部**《亚瑟王传奇》**（Xanth novels: 皮尔斯·安东尼的奇幻小说系列）小说，或者所有五百部**《星球大战扩展宇宙》**（Expanded Universe novels of Star Wars: 星球大战系列的小说和漫画）小说。你认为有洞察力的那些，大约前20部，它们有什么共同点？ 我会说它们的特点是认真对待非人类智能。不一定是人工智能。它认真对待非人类智能的概念，而不是想象你经典的科幻场景：人类带着激光枪进入银河系——那种有火箭和激光枪却没有手机的场景。人们抱怨**奇点**是一种无聊、过度使用的科幻套路。但如果你出去随便找几本科幻小说，你会发现不到1%的书包含任何类似的东西，或者与我们目前实际面临的**AI**背景有任何关联。 ### 智力与工作方式 人们是倾向于低估还是高估你的智力？我会说他们高估了。他们把我的记忆力强、多年来写过很多东西误认为是智力。他们想象如果他们让我坐下来，我可以在他们与我交谈的那一刻自发地完成所有事情。但对于我思考过的许多事情，我拥有以前研究过的优势。所以我在“作弊”。当我与人交谈时，我可能只是引用我写过的一些东西，或者至少是深思熟虑过的东西。所以我看起来比我实际聪明得多。我会说我并没有那么聪明，与我认识的许多能快速即时更新的人相比。但最终，重要的是产出，对吗？ 我想有一种即时智能。但还有另一种，这种能力是在长时间内综合事物，然后通过你所看到的这些不同事物得出宏大理论。我认为那不仅仅是**晶体智力**（Crystallized Intelligence: 指通过经验和学习获得的知识和技能，以及运用这些知识解决问题的能力），对吗？它不仅仅是**晶体智力**，但如果你能看到我过程中的所有单个步骤，你就会不那么印象深刻。如果你能看到我每次只是记下“嗯，这很有趣”或“哈，又一个例子”的时候，如果你只看到每个特定步骤，你会说我所做的是合理的，而不是什么巨大的才华标志。在那一刻，它对你来说是有意义的。只有当这种情况持续十年，而你没有看到单个的东西时，我最终的产出才看起来像魔法。 我最喜欢关于这个过程的一句话来自魔术师**潘恩与泰勒**（Penn & Teller: 美国著名的魔术二人组）。**泰勒**（Teller: 潘恩与泰勒的成员之一）说：“魔术就是付出比任何理性人预期更多的努力。”他讲了一个故事，关于他们如何让蟑螂从礼帽中出现。诀窍是他们研究并找到了特殊的蟑螂，然后找到了特殊的泡沫塑料来困住蟑螂，并安排好所有这些，只为了一个魔术。没有理性人会这样做，但他们做到了，结果是蟑螂不知何故从一个空帽子里出现。如果你能看到每个步骤，它本身是有道理的，它只会看起来很费力。但当你只看到最终的魔术时，那么整个过程及其产出就变成了魔法。 那是你工作方式中最有趣的事情之一。有几位作家，比如**马特·莱文**（Matt Levine: 彭博社专栏作家）或**伯恩·霍巴特**（Byrne Hobart: 独立作家），他们每天都写一篇文章。我把他们想象成**自回归模型**（Autoregressive Models: 一种统计模型，用于预测序列中下一个值，基于其前面的值）。而你，在一些博客文章中，你会在网站上列出你创作一篇作品的开始日期和结束日期。有时是2009年到2024年。我觉得那更像是**扩散模型**（Diffusion Models: 一种生成模型，通过逐步去噪过程生成数据）。你只是不断地迭代同一张图片。 ### “强化学习的进化后盾” 你最喜欢的一篇博客文章是**《强化学习的进化后盾》**（Evolution as Backstop for RL），你在其中谈到进化基本上是一种学习更好学习过程的机制。这解释了为什么公司不会随着时间改进，而生物有机体却会。我很好奇你能否告诉我写那篇文章花了多少年。那个过程是怎样的，一步一步来？ 所以你提到的“**后盾**”文章是看到同一个模式反复出现的综合：一种愚蠢、低效的学习方式，你用它来学习更聪明的东西，但你仍然无法完全摆脱最初的那个。有时，当我思考这个问题时，例子会相互关联。其他时候——当我开始寻找这种模式时——我会说：“哦，是的，‘痛苦’就是一个很好的例子。也许这解释了为什么我们以我们所拥有的非常具体的方式感受到痛苦，而你可以在逻辑上想象其他类型的痛苦，那些其他痛苦会更聪明，但没有什么能让它们保持诚实。”所以你只是一个接一个地将这些模式的个体例子串联起来，并随着你的进展不断澄清核心思想。**维特根斯坦**（Ludwig Wittgenstein: 奥地利裔英国哲学家）说，你可以从许多方向看待一个想法，然后围绕它螺旋式上升。在像“**后盾**”这样的文章中，我就是围绕着“拥有许多层‘学习’一直向下”这个想法螺旋式上升。 一旦你注意到这种模式的一个例子，比如这个痛苦的例子，你就会不断地添加例子吗？请告诉我这个过程是如何随着时间发展的。对于那篇特定的文章，最初的版本是关于公司不进化的。然后，随着我阅读越来越多的**元强化学习**（Meta Reinforcement Learning: 一种学习如何学习的强化学习方法）文献，特别是来自**DeepMind**的，我加入了关于神经网络的材料。我不断阅读和思考我读过的**心灵哲学**（Philosophy of Mind: 哲学的一个分支，研究心智的本质、心智与身体的关系等）论文。我最终确定了痛苦可能是另一个例子：痛苦让我们学习。我们无法摆脱它，因为我们需要它来让我们保持诚实。在那个时候，你或多或少已经有了当前文章的结构。 有没有这样的例子：它不是积累你后来意识到是一个更大模式的不同实例，而是你必须一次性拥有完整的论点？对于那些有“尤里卡时刻”的文章，通常会有一堆我一直在做笔记但甚至没有意识到它们之间存在联系的零散事物。它们困扰了我很长时间。它们一直困扰着我。我不断寻找每个的解释但找不到。它一直困扰着我。有一天，我突然发现了一些东西，让我惊呼：“砰，尤里卡！这些都联系起来了！”然后我只需要坐下来写一篇巨大的文章，把所有这些都倾泻出来，然后就完成了。那篇特定的文章在那时就完成了——一气呵成。我可能会在以后添加许多链接或参考文献，但它不会从那时起发生根本性的改变。 有没有哪篇文章是这样创作出来的？事实上，昨天有人问我我是怎么想出其中一篇的。那是我最老的文章之一，**《亚文化社会的忧郁》**（The Melancholy of Subculture Society: Gwern Branwen的一篇博客文章，探讨了在线亚文化社区的矛盾性）。对于那篇文章，我一直在阅读各种杂七杂八的东西，比如**大卫·福斯特·华莱士**（David Foster Wallace: 美国小说家和散文家）关于网球的文章，以及人们关于互联网媒体（如视频游戏）的评论。有一天，我突然意识到：我们有所有这些在线亚文化和部落，它们可以共同找到社区，但它们仍然与更大的社会极度隔离，这令人难以置信地悲伤。有一天，我突然闪现出这种美丽而又悲伤的感觉。我或多或少地坐下来写下了整个东西。我并没有真正改变太多。我只是随着时间添加了更多的链接、引用和例子，但没有重要的改变。本质只是一个闪光点，我在它出现时就写了下来。 ### 写作的牺牲与日常 你在文章中引用了**大卫·福斯特·华莱士**的一段有趣话语，他谈到了网球选手**迈克尔·乔伊斯**（Michael Joyce: 美国前职业网球选手）。他谈到了**迈克尔·乔伊斯**为了成为世界排名前十的网球选手所做出的牺牲。他几乎是功能性文盲，因为他从七岁左右就开始每天打网球，生活中几乎没有网球之外的东西。为了成为**Gwern**，你不得不做出哪些**迈克尔·乔伊斯**式的牺牲？ **德瓦凯什**，这是一个尖锐的问题！“我为了写作是如何‘截肢’我的生活的？”……我想我在专业和个人方面都“截肢”了我的生活，尤其是在旅行方面。我羡慕很多人能够旅行和社交，或者羡慕他们在**Anthropic**这样的大公司中拥有权力和地位，他们是内部人士。我牺牲了我本可以拥有的任何职业，或者任何有趣的生活方式：数字游民生活、户外活动、成为一名佛教僧侣，或者也许是一名高级交易员。所有这些都不得不牺牲，为了每天耐心地坐下来阅读论文，直到我眼睛流血，并希望有一天能从中产出一些好东西。 为什么感觉两者之间存在权衡？显然有很多作家经常旅行，比如**泰勒·科文**（Tyler Cowen: 美国经济学家和博客作者）。也有很多有影响力的作家，比如**Anthropic**的**杰克·克拉克**（Jack Clark: Anthropic的政策主管）。为什么感觉你不能同时做到这两点？我不能成为或与**泰勒·科文**相提并论。**泰勒·科文**是一个人的产业。**Gwern**也是。是的，但他无法被复制。我就是不能成为**泰勒·科文**。**杰克·克拉克**，他也有他自己的特点。他能够很好地撰写他的期刊中的故事，同时也是一个政策制定者。我尊重并钦佩他们。但他们都没有完全符合我长期关注奇怪话题，然后整理和筛选信息的特定兴趣和利基。这需要大量投入去阅读海量的东西，希望某个微小的细节有一天可能会变得重要。 那么，请告诉我你的工作流程。你提到每天结束时阅读论文直到眼睛流血。你早上醒来就直接看论文吗？你的一天是怎样的？现在的工作流程更像是：我醒来，做正常的早晨事情，然后清理前一天网站上的工作。我处理各种问题，比如格式或拼写错误。我审查它，思考我是否正确地整理了所有东西并放在了正确的位置。有时我可能会有一个额外的想法需要添加，或者发表一个我意识到很重要的评论。这是第一步。 之后，我经常会无耻地去**Twitter**或我的**RSS**订阅源，大量阅读，直到我可能被某人的评论或问题分散注意力，然后可能会写一些东西。大约在晚上，我经常会因为所有这些而感到筋疲力尽，然后尝试做一个真正的项目或贡献一些东西。我会真正坐下来，做我那天应该一直在做的工作。之后，我通常会去健身房。到那时，我真的已经筋疲力尽了。是的，我喜欢去健身房——不是因为我是个肌肉男或运动员，甚至也不是真正喜欢举重——而是因为它是我能做的与坐在电脑前阅读最相反的事情。 这是你的倦怠理论，对吗？你必须做相反的事情……是的，当人们经历倦怠时，你只是觉得你所做或所从事的工作缺乏回报。你只需要做一些不同的事情。尽可能不同的事情。也许你可以做得比举重更好，但它确实感觉与我在电脑前做的任何事情都非常不同。 我想回到你的工作流程。你每天都在加载所有这些背景信息。你阅读所有**RSS**订阅源和所有这些论文。你基本上每天都在为你的所有文章做出贡献，这里加一点，那里加一点吗？还是你在积累一些潜力，这些潜力最终会以一篇完整的文章、一个完整的论点呈现出来？ 我会说是后者。我所做的所有小的低层次的添加、修剪和修正，其实并没有那么重要。它更多地只是一种让文章更美观的方式。这是一个纯粹的审美目标，尽可能地写出最好的文章。我真正等待的是接下来会发生什么。下一个会促使我写作的事情是什么？这只是在突然爆发之间打发时间。对于许多作家来说，你不能忽视园艺过程。你不是每天都收获。你必须在收获之间长时间地照料花园。如果你因为四处游荡而开始忽视园艺……比如说你去参加签售会，做所有的宣传活动。那么你就没有在那里照料你的花园。那是在损害你未来的收成，即使你现在看不到。 如果你问**泰勒·科文**成为**泰勒·科文**的秘诀是什么，我的猜测是，他只是非常擅长照料他的花园，即使他旅行得非常多。那将是他的秘密，他能够在飞机上读书。我不能在飞机上读书。他能够在机场写所有东西。我可以在机场写一点点东西，但不多。他对旅行的磨损非常适应。我会在和人们交谈八小时后在酒店房间里崩溃。他能够和人们交谈八小时，然后去录播客，再和人交谈四小时！这非常令人钦佩，但我就是做不到。 你多久会感到无聊？听起来你整天都在阅读不同的东西。它们都天生有趣吗？还是即使当时不吸引你，你也会坚持下去？我想我不会太容易感到无聊，因为我在这么多不同的话题之间切换。即使我有点厌倦了深度学习论文，嗯，我还有很多其他东西可以阅读或与人争论。所以我真的不会感到无聊。我只是感到筋疲力尽。我必须去做其他事情，比如举重。 你最不寻常但成功的工作习惯是什么？我想我从与人在线争论中获得的收益比……几乎任何其他作家都多。**帕特尔**（Dwarkesh Patel: 本播客主持人）笑了。嘿，我正在努力给出一个真实的答案，而不是一些关于笔记的愚蠢事情——一个真实的答案！我从与人争论中获得的收益比大多数人多。你需要动力来写作，真正坐下来，结晶一些东西并完成收获工作。在你照料好你的花园之后，你确实必须进行收获，而收获可能是一项艰苦的工作。它非常乏味。我与许多人交谈过，他们有很多很棒的想法。但他们不想收获，因为它乏味无聊。而且田里很热，收割时你会沾满灰尘和汗水。为什么你不在里面喝柠檬水呢？但来自在线争论和对人生气的情绪动力非常充足。所以我从互联网上人们的错误中获得了很大的收益。 ### 独立工作与网站设计 独立工作过程的弊端是什么？除了显而易见的：你独自写作时可能会任意犯错，并因为持有“大观点”而变得疯狂。除此之外，你还有没有同事可以说服的情感代价。你经常只是经历向互联网大喊大叫，而互联网却持续错误。我观察到的一件事是，独立作家常常被怨恨、愤怒和失望所压倒。他们会因此陷入痛苦和怪癖的螺旋。这有点像扼杀了他们。如果他们能够放下那些想法和争论，转向下一个话题，他们本可以继续下去。 恶意可以是写作的巨大动力，但你必须巧妙地运用它，然后放下。你只能在需要写作动力时拥有它。如果你一直抓住不放，你就是在毒害自己。我相信你肯定知道很多人评论说：“如果**Gwern**把他优化网站**CSS**的精力投入到更多的项目和写作上，对社会的益处可以以百万美元计。”你对那些说你花太多时间在网站设计上的人有什么反应？ 在对社会的客观利益方面，我没有任何辩护。我这样做是因为我自私，我喜欢它。这就是我的辩护。我喜欢我的网站的美学，这是一种爱好。设计有助于你思考吗？是的，因为当我能欣赏它的美学和网站的美丽时，我更喜欢重读我的作品。当我已经厌倦了阅读某样东西一百遍时，它让我更容易忍受。对作者来说，网站维护本身就是一种**间隔重复**（Spaced Repetition: 一种学习技术，通过在不同时间间隔重复学习材料来提高记忆效率）。如果我浏览页面检查某个新的格式功能是否奏效，我就会在那里进行间隔重复。不止一次，我去检查一些愚蠢的**CSS**问题，然后看到一些东西，心想：“哦，我应该改变一些东西”，或者“哦，那意味着一些东西”。所以从某种意义上说，它不像看起来那么浪费，但我不能完全为它辩护。如果有人想制作自己的网站，他们不应该为审美价值投入那么多。我只是想要一个非常漂亮的网站。外面有太多糟糕的网站，这让我很沮丧。至少有一个我喜欢的网站。 顺便说一句，我要提一下，因为你从未自己提过。但我认为你研究的主要资金来源是你的**Patreon**（Patreon: 一个订阅平台，允许创作者通过向粉丝提供独家内容来获得资金），对吗？你从不宣传它，但我觉得——就你所做的事情而言——如果它在经济上可行并获得足够的资金，你不仅能够继续做下去，其他想成为独立研究员的人也能看到这是一种可行的方式。这是一种可行的方式，会有更多的**Gwern**出现。 嗯，我不一定想要更多的**Gwern**存在。我只是想要更多的作家，更多的积极性和更多的**代理性**（Agency: 指一个系统或智能体能够自主地感知环境、做出决策并采取行动的能力）。如果有人只是写更多的**Reddit**评论，从未从他们的写作中赚取一分钱，只是写出更好的**Reddit**评论，我也会非常高兴。如果有人有一个博客，他们不断写作，但只是在设计上多花一点心思，我也会非常高兴。如果没有人写任何东西，但他们托管**PDF**文件，这样链接就不会失效，我也会非常高兴。总的来说，你不必成为一个撰写长篇散文的作家。那只是众多写作方式中的一种。碰巧是我个人比较喜欢的一种。但成为一个**Twitter**线程作家也是完全有效的。 你全职写作是如何维持生计的？**Patreon**和储蓄。我有一个**Patreon**，每月大约有900-1000美元的收入，然后我用我的储蓄来弥补剩余部分。我很幸运早期拥有一些**比特币**，赚了足够的钱可以写作很长时间，但不是永远。所以我尽量少花钱，让它持续下去。我可能应该更多地宣传**Patreon**，但我太骄傲了，不愿更努力地推销它。想出一些不涉及付费墙的好奖励也很尴尬。**Patreon**和**Substack**（Substack: 一个允许作者发布付费订阅新闻通讯的平台）对像**斯科特·亚历山大**（Scott Alexander: 著名博客作者，LessWrong和Slate Star Codex的作者）这样的人来说运作良好，因为他们喜欢定期撰写新闻通讯式的更新，但我不喜欢。我只是让它运行，希望它能奏效。 等等，如果你每月收入900-1000美元，并以此维持生计，那意味着你每年生活费不到12000美元。你每年12000美元的生活方式是怎样的？我住在偏远地区。我不怎么旅行，不出去吃饭，没有医疗保险，也没有类似的东西。我自己做饭。我使用免费健身房。有一次我卧室的地板开始塌陷。它太旧了，湿气腐蚀了木头。我们只是找了一些废木料和一根搁栅把它撑起来。如果它进了一些虫子，那也没办法！我过着像研究生一样的生活，但拉面更好吃。我不太介意，反正我所有时间都在阅读。 你每年12K美元就能支付房租、照顾猫、处理紧急情况，所有这些，这仍然让我感到惊讶。我很幸运身体非常健康，迄今为止没有遇到真正的紧急情况。这不可能永远持续下去，所以它也不会。我绝对不是想声称这是一种理想的生活方式，或者其他人可以或应该尝试复制我的方法！我很幸运拥有**比特币**，也很幸运满足于像僧侣一样生活，并且身体健康。任何想从事写作或博客生涯的人都应该明白，这不是他们可以模仿的例子。我不想成为榜样。每个作家都必须找到不同的方式。也许可以像**Substack**那样，或者只是在为科技公司写**Javascript**的同时兼职写作。我不知道。 你似乎很喜欢最近的旧金山之行？要让你搬到这里需要什么条件？是的，目前主要就是钱的问题。我可能应该咬紧牙关搬过来。但我骨子里是个吝啬鬼，我讨厌想到在旧金山每多住一个月，我就要放弃多少个月的写作“跑道”（Runway: 指在现有资金下，企业或个人能够维持运营的时间）。如果有人愿意给我，我不知道，每年5万到10万美元，让我搬到旧金山并继续像现在这样全职写作，我会毫不犹豫地接受。在那之前，我还在努力说服自己搬家。那听起来可行。如果有人想为这次搬家，以及你的研究提供更广泛的帮助，他们如何联系你？他们可以给我发邮件：gwern@gwern.net。 所以，节目结束后，我劝说**Gwern**设置了一个**Stripe**（Stripe: 一家提供在线支付处理服务的公司）结账链接，人们如果愿意可以捐款。所以如果你想支持他的工作，请点击描述中的链接。 ### AI模型的认知多样性 **AI**模型何时会比人类群体更加多样化？我会说，如果你排除能力因素，**AI**模型在认知上已经比人类多样化得多。不同的**LLM**以非常独特的方式思考，你从它们的样本中就能立刻分辨出来。一个**LLM**的运作方式与**GAN**完全不同。一个**GAN**也与**VAE**（Variational Autoencoder: 变分自编码器，一种生成模型，用于学习数据的潜在表示并生成新数据）完全不同。它们有完全不同的潜在空间，尤其是在低端，当它们是小型或糟糕的模型时。它们有各种各样的伪影和错误，这是我们在人类身上看不到的。与这些不同类型模型的荒谬输出相比，人类在写作和态度上确实非常相似。 真的吗？如果你看**Chatbot Arena**（Chatbot Arena: 一个在线平台，用户可以匿名比较不同LLM的输出），并看到不同模型的输出并排比较，通常很难分辨哪个来自哪个模型。是的，但这都是经过大量调整的。现在你将其限制在相对较新的**LLM**，每个人都在互相模仿，并且经常在完全相同的数据上进行训练。这种情况更像是同卵双胞胎。如果我不将自己限制在**LLM**，而是比较各种图像生成模型的广泛多样性，它们通常有完全不同的方式。有些模型之间的相似性就像蚂蚁和海狸之间的相似性一样。在**LLM**内部，我同意多样性已经大量丧失。**LLM**之间曾经更加多样化。但就整个深度学习而言，我们已经看到了各种各样的心智和思维方式，这些是你在任何**心灵哲学**论文中都找不到的。 你能举一个具有这种认知差异的两个模型的例子吗？我举一个我前几天告诉别人的例子。**GAN**模型有隐藏东西的动机，因为它是对抗性损失，而**扩散模型**（Diffusion Models: 一种生成模型，通过逐步去噪过程生成数据）则没有这种机制。所以**GAN**模型是“害怕的”。它们把“手”放在屏幕外。它们就是无法思考手。而**扩散模型**则会思考手，但它们生成的是巨大、怪异、**克苏鲁**（Cthulhu: H.P.洛夫克拉夫特创造的虚构神祇，常与恐怖、怪异联系）式的畸形。 ### 未来的趋势与未解之谜 2020年人们没有关注**规模化**。今天有没有一些趋势是人们没有真正理解其全部含义的？我对**减肥药**，即**GLP**（Glucagon-like peptide: 胰高血糖素样肽，一类用于治疗2型糖尿病和肥胖症的药物）药物感到兴奋。它们对健康和各种行为成瘾的总体影响真的让我惊讶。据我所知，没有人预测到这一点。虽然结果仍非常初步，但它似乎是真的。我认为这会告诉我们一些关于人类意志力和功能障碍的重要信息。 **GLP**药物是否打破了**阿尔吉侬论证**（Algernon Argument: Gwern Branwen提出的一个论证，认为如果存在简单且无副作用的有用干预措施，进化应该早已发现它们）——你博客文章中列出的那个论证：如果存在任何简单且有用的干预措施，且没有不良副作用，那么进化应该已经发现它们了？现在下结论还为时过早，因为我们还没有真正弄清楚**GLP**药物到底在做什么，以及它们有什么脱靶效应。激活和失活都能奏效，这有点疯狂。这是一个完全疯狂的情况。我真的不知道该如何看待那里的**阿尔吉侬论证**。可能是因为这些益处实际上降低了生育意义上的适应度，因为你过着幸福的生活而不是生育孩子。无意冒犯父母。或者也可能是它以一种很难通过任何遗传方式复制的方式影响身体。或者也可能是现在下结论还为时过早。 回想起来，我发现肥胖危机直到1990年代才变得明显。这很近。我回顾照片，今天与1990年完全无法辨认。你看照片，人们仍然很瘦。你现在看照片，每个人都像个飞艇。所以你不可能在20或30年内提出任何**阿尔吉侬论证**。 当你回顾罗马人，看到铅是如何不断毒害整个城市的，你对我们环境中是否存在某种东西，其影响程度与铅对古罗马人的影响相似的可能性，给予多少信任？我认为存在与铅一样糟糕的东西的可能性几乎是100%。我们有这么多东西。化学家总是在制造新东西。微生物群有各种各样的问题。塑料很流行，但也许不是塑料。也许是完全不同的东西。但我们所投放的一切都完全无害、安全，并且在任何浓度下都没有有害影响——这种说法几乎不可能成立。我不相信任何特定的东西，但我相信“这里1%，那里1%，那里1%”。有些东西存在。有些东西存在，我们将来会回顾并说：“哦，天哪，那些人真的在毒害自己，就像含铅汽油一样。如果他们当时知道X、Y和Z就好了。现在看起来太明显了！” 你认为这最可能表现在认知障碍、肥胖还是其他方面？先验地，我可能会预期智力是唯一最脆弱的东西，受到的伤害最大。但当我们查看时间序列时，智力总体上相当稳定。所以我不得不说，无论有害的东西是什么，它可能不会影响智力。而肥胖是一个更好的候选者，因为你确实看到肥胖在过去30年里疯狂增长。 我昨天很惊讶听到你说你对湾区那种迷幻药实验持怀疑态度。我有点把你和各种物质实验联系在一起，看看它们对你是否有帮助。我很好奇你为什么在迷幻药问题上划出了**切斯特顿的栅栏**（Chesterton's Fence: 一个比喻，指在不理解现有事物存在原因之前，不应轻易将其移除或改变）。 **Gwern**：最清晰的划分方式就是指出迷幻药的效果可以是急性且永久的。我所研究的东西在效果上更可控，相对容易管理。它们都不会永久影响你是否服用更多益智药的判断。而像**LSD**（LSD: 麦角酸二乙酰胺，一种强效致幻剂）这样的东西会永久改变你对事物的看法，比如服用**LSD**，或者永久改变你的精神状态。迷幻药有累积效应，而益智药则很少见，这使得益智药本质上安全得多，效果也更容易量化。 使用**益智药**，你不会看到人们陷入迷幻药所带来的疯狂结果。他们每次服用剂量都会变得越来越疯狂，这又让他们疯狂到想再服用一剂。**迷幻药**有一种你可以称之为“自我推荐问题”，它们总是让你想服用更多。这类似于冥想。冥想很多次最明显的标志是什么？就是你似乎被迫告诉别人他们应该冥想。这种螺旋式上升导致了**迷幻药**的糟糕结果，而**益智药**则没有。**益智药**的典型失败案例是，你花了数百或1000美元，然后没有从中获得任何实际益处。你继续你的生活。你服用了一些奇怪的药物一段时间，仅此而已。这不算太糟。这是一种奇怪的娱乐方式……但原则上，它并不比去电影院看一段时间电影花1000美元更糟糕。 使用**迷幻药**，你正在以一种你不理解的方式永久地、不可逆转地改变自己，并将自己暴露在各种恶意的外部影响之下：在你极易受影响的时候可能发生的任何事情。好吧，是的，少量使用可能是有益的。我从我的几次使用中获得了好处。但如果你使用得更多，你真的应该好好审视一下你认为自己正在获得什么好处，以及你正在如何改变。 ### Gwern的角色与未来问题 人们不知道你的声音。人们不知道你的脸。因此，他们与你建立了一种有趣的**准社会关系**（Parasocial Relationship: 指观众或粉丝对媒体人物或虚拟角色产生的一种单向的情感依恋）。我想知道你对自己在人们生活中扮演的角色有什么理论。我实际扮演什么角色，或者我想扮演什么角色？我们两者都谈谈。 我想要扮演的角色，说来也奇怪，有点像**LLM**如何看待我。如果你玩像**Claude-3**（Claude-3: Anthropic开发的一系列LLM）这样的**LLM**，一个名叫“**Gwern**”的角色有时会出现。他扮演着导师或老巫师的角色，为当前情况提供洞察，并以冒险的召唤激励他们。“你也可以写作、做事、思考！”我希望人们离开时，不仅获得了娱乐或有用的信息，而且在某种程度上成为了更好的人。拥有一个愿望，希望网页可以更好，互联网可以更好：“你也可以出去阅读！你也可以拥有自己的思想，并将自己的思想整理成文章！你也可以做到这一切！” 但我担心，对于很多人来说，实际情况是我最终成为了**导师**（Guru: 指在某个领域具有权威和影响力的人）或**捣蛋鬼**（Trickster Devil: 指一个狡猾、恶作剧或具有颠覆性的角色）。这取决于你喜欢我还是讨厌我，要么我是统计学和引用的神，不会犯错——“只要把网站上的一切都当作福音！”（我非常不喜欢这样）——要么我就是某种可怕的、隐秘的、恶意的、新纳粹、优生主义者、极权主义者、共产主义者、反华的魔鬼形象，潜伏在幕后试图摧毁西方社会。 最后一个问题，你有哪些未解决的“兔子洞”——你好奇但没有答案的事情——你希望到2050年能找到答案？到2050年，我真的希望我们能最终回答一些关于我们自己的重大问题，这些问题一直可靠地抵制着明确的答案。其中很多可能不再重要，但我仍然想知道。 我们为什么睡觉或做梦？人类为什么会衰老？有性繁殖为什么存在？人类彼此之间以及日复一日为什么差异如此之大？人类为什么花了这么长时间才发展出技术文明？外星人都在哪里？为什么不是中国而是西方发生了工业革命？我们应该如何预测深度学习革命？为什么我们的大脑比人工神经网络大那么多？这些是我真的希望到2050年能找到答案的一些问题。 好的，**Gwern**，这次对话非常精彩。谢谢你来参加播客。谢谢。