Hello大家好，欢迎回到《硅谷101》，我是Yiwen。
相信大家都看到了本周Anthropic提交的招股书。在这份文件里，Anthropic透露了将近100页的风险因素。除了常见的金融和市场风险之外，还包括了关于前沿AI所带来的灾难性、甚至威胁人类生存的风险这样的表述。Anthropic说，他们自己也无法保证自己的安全措施一定有效。那我Ctrl+F了一下，发现safety安全这个词一共出现了248次，其中AI安全这个词出现了36次。
招股书还披露，上市后七位联合创始人将通过特殊股份掌握一般表决事项50.1%的投票权。与此同时，还有一个叫做长期利益信托的机构，有权选举董事会的多数成员。这套安排的目标，是让公司在追求商业利益时，也考虑人类的长远利益。
但有媒体还注意到了一个细节，那就是创始人可以提前指定在自己失去履职能力后由谁接替自己的投票权。这些人选需要经过内部批准，但名单是保密的。也就是说公众目前并不知道未来谁是有可能参与Anthropic决策的人。
在消化Anthropic招股书巨大的信息量之后，我有两个初步的想法：第一就是AI安全对于Anthropic这家公司的重要性，很明显再一次展现在了公众面前；但第二我担心的是，如果他们的警告成真，那作为公众，我们是否应该有权知道谁能够代表人类来做决定呢？
有效利他主义与理性主义的交汇
要理解Anthropic对于安全的重视，以及围绕它的信任和权力争议，就要提到一个近期反复出现的概念，那就是有效利他主义（Effective Altruism，简称EA）。
就在这个月，《经济学人》把EA放上封面，称它为本世纪最重要的思想。一些报道指出，围绕AI安全政策，EA的支持者与我们播客里提到过的科技右翼发生了冲突，甚至特朗普政府也加入了争论。美国国防部在社交媒体上直接喊出了一句口号：“美国主义，而非有效利他主义。”一个听起来还属于哲学讨论的概念，就这样成了美国政府公开划清界限的对象。
EA并不是一个新的概念。要理解它，我们要先认识两个人，他们的名字也会在这期节目里反复出现。所以这一期的开头和我们平时的节目比会稍微长一点，也是因为我想把这些人物和概念先给大家整理清楚，便于收听。
第一位就是William MacAskill，中文通常译作威廉·麦卡斯基尔。他是一名哲学家，曾任牛津大学哲学副教授，也是有效利他主义运动的共同发起人之一。他提出的问题很朴素：如果我们拥有的钱和时间都有限，怎样才能帮助更多人呢？比如同样一笔钱捐给不同的慈善项目，能挽救的生命可能相差很大，那我们能不能用证据和分析找到最有效的选择？他还共同创办了一个叫做“八万小时”的职业咨询组织：一个人的职业生涯大约有八万个小时，我们应该怎样使用这些时间才能给世界带来更大的改变？
很多人上一次听说EA，可能还是因为加密货币交易所FTX的创始人SBF。他曾经以“赚钱是为了捐钱”的形象，成为这个运动最受瞩目的支持者之一。FTX崩塌后，关于EA、尤其是针对MacAskill的批评也随之而来：当一个人声称自己要为全人类谋福利，是不是反而更容易为眼前的伤害找到借口？
但SBF的倒台并没有让EA的故事结束。这里就要提到另一位关键人物，就是Eliezer Yudkowsky（埃利泽·尤德考斯基）。他是一名长期研究AI安全的写作者，也是互联网理性主义社群的重要奠基者。他参与创建的LessWrong社区，名字直译过来就是“少错一点”。他在博客里反复讨论的是：人为什么会犯错？我们怎样发现自己的认知偏差？当新的证据出现时，又该怎样修正原来的判断？
这里所说的理性主义，是一套希望通过训练让人更准确地认识世界、在不确定中做出更好的决策的方法。这也能帮助我们理解它与EA的联系：理性主义关心怎样想得更清楚、判断得更准确；EA则是把证据和推理用在了一个具体的道德目标上——怎样更有效地帮助别人。两个社群有很多交集，但EA也有自己的伦理学来源，不能简单地说它是理性主义发展出来的一个分支。
后来这两条思想线索在AI安全上交汇了。尤德考斯基很早就在追问：如果我们造出了比人类更聪明的机器，该怎样保证它追求的目标与人类的利益一致呢？而在一部分有效利他主义者看来，如果AI真的可能威胁整个人类的生存，那么防止这种灾难会不会比其他事情更值得投入资源？
这些讨论也进入了AI公司的早期思想世界。Nick Bostrom的《超级智能》就是其中一本重要的书，Sam Altman曾经公开推荐过它，也写过自己对超级智能风险的担忧。Dario Amodei则很早就参与了有效慈善实践，与EA圈子联系密切。后来他和一批同事离开OpenAI创立Anthropic，对AI安全和公司方向的分歧就是其中的重要背景。Daniela Amodei的丈夫Holden Karnofsky，是EA慈善组织GiveWell和Open Philanthropy的联合创始人。
在这个圈子里汇聚了很多有影响力的人物，包括以太坊的联合创始人Vitalik Buterin，在中国大家把他称为V神。Vitalik长期关注并且资助全球健康等议题。2021年，他向未来生命研究所捐赠了一批加密货币，据他后来的回忆，这笔捐赠最终让机构兑现了大约5亿美元。但在这次采访里，你也会听到他对这个圈子的一些做法和EA的思想已经有了不同的看法。
所以这一期，我们请到了Vitalik本人，以及他的朋友、写作者和科技记者Afra。我们想和他们一起聊聊，一个从怎样更有效地做好事出发的思想，如何走到了今天AI发展的中心；而当人们开始以全人类的未来为名，决定资金、技术和权力的方向，我们又该怎样理解他们的理想以及其中的分歧。
这期播客我们分为两次录制：我和泓君先和Vitalik、Afra一起聊了Vitalik参与这些社群和捐赠的亲身经历，以及他今天的反思；之后我们又和Afra单独录了一场，请她从自己的观察出发，介绍MacAskill、尤德考斯基这些关键人物，梳理EA与理性主义的关系，以及他们如何影响了今天的AI安全讨论。节目里大家会先听到我们和Afra的对话，再进入和Vitalik的讨论。有了前面的背景，后半段提到的人物和事件也会更容易理解。
另外Vitalik虽然是加拿大人，但中文很流利，所以这期节目全程用中文录制。最后，我们用英文提到了很多人物和机构，这些名词我也列在了shownotes里面，大家可以对照收听。如果大家更希望对照字幕来听这期播客，可以去到我们的视频平台，包括YouTube和B站，就能看到含有字幕的播客版本。
EA的四个演进阶段与理性主义的差异
Afra，介绍一下自己吧。
大家好，我是Afra。我是一个写作者，也是一个科技记者，主要报道的是中国还有硅谷AI的一些故事。
我们今天聊有效利他主义，要不我们就先从EA这个词的定义开始吧。Afra你觉得你是怎么理解EA这个思想的？
对，我觉得EA它字面意思就是有效利他主义。怎么能够体现一个所谓的EA的逻辑，就不得不提到一个人，就是牛津的一个哲学副教授叫做Will MacAskill。他之前创立过一个组织，我觉得这个组织其实能够体现很多EA的精神。这个组织的名字叫做80,000 Hours，就是八万小时。这个组织它其实是帮助年轻人、正在寻找职业方向的年轻人去找到一个对的方向，所以它有很多职业导师，有很多关于职业的资源，有很多job posting。
现在80,000 Hours虽然已经变成了一个跟AI职业很有关的一个东西，但是我觉得这个项目的名字非常能体现EA逻辑。就是说，一个人一生的工作时间加起来大概是八万个小时，那么你如何把这八万个小时当成一个有限的资源？你会怎么分配这八万个小时才能给世界最大的改变？这个问题一旦问出来，整个EA的整套思维方式就在里面了。就是说，你在一个有限的、你所拥有、你能够支配的这一套资源当中，如何能够最大化地去使用、去分配你自己可以去使用的这些资源。
这些人非常有agency，他就非常有能动性，他们执行力很强，他们的野心也很大。因为他们经常就会在琢磨一些像是我有八万个小时我应该怎么做这样的事情，但是我觉得这个问题其实很多人他不太会考虑，所以我觉得EA某种程度上它的精神还是非常启发人的。
你觉得总体来说，有哪些话题是EA会比较关注的？
怎么说呢，我其实需要把EA影响全球格局的这十几年的时间分成大概四个阶段，它其实每个阶段关注的重点都不太一样。
第一个阶段，就是所谓的这种蚊帐时期。这个时期就是你用非常详实的、可量化的证据去改善做慈善的效率，去影响比方说全球的健康指数。这是一种可以测量的善，它是一个由证据来支持和数据来支持的善。因为在EA刚刚成立的那段时间里，许多人想要行善，许多人想要通过philanthropy（慈善）去捐钱，但是philanthropy的效率非常低下，以及他们捐的钱就捐不到位。但是EA这群人他们就想用一个能够可以量化的科学的方式把这个钱捐到位，然后去最大化它的价值。所以这就是蚊帐时代的来源。这个蚊帐指的就是，蚊帐是一个你捐多少钱就能够挽救多少个生命的一个最最有效的方式。
接下来EA的下一个阶段就到了叫做所谓的长远规划时期。这个长远规划时期大概是在2015年左右发生的，就是这群人开始以不成比例地去研究这种存在风险和关于未来世代的一些问题，资金和机构也开始扩张。他其实也不再关心一个蚊帐能救多少人，而是关心未来几千年、几万年人类的世世代代的子女，这些人的生活质量和生活标准。所以就大量的资金——同时也是SBF以及很多其他富豪的资金——在这个阶段进入了社区。我觉得可能SBF是这个时代最极端的一个象征，因为他自己就是一个非常非常关注这种long-termism（长期主义）问题的这样一个人。我读过一篇关于Will MacAskill《纽约客》的人物特稿，里面就读到一个……我自己读完之后我的一个判断是，SBF可能是整个EA转向长远规划long-termism的决定性因素之一。
接下来就是整个社群的声誉崩盘的时代，出现了很大的信任危机。大家也开始去反思EA的群体到底出了什么问题。同时ChatGPT也诞生，也带来了一个AI的转折。所以之前EA还有理性主义群体讨论的这种AI风险、生存问题，突然变成了一个更多人关心的问题。所以这个阶段我觉得它是一个也有很多挫败但是有很多曝光的一个阶段。首先它曝光出了非常多比方说Will MacAskill本人的识人的失败，就是他自己本人一直被社群批评，也是他现在仍然对SBF的反思不够，以及他当时一直在庇护SBF。但是这个时期也是一个真正让EA变成了一个就像是《经济学人》所说的一个对21世纪影响最重要的一个思想流派。
再接下来就是我们现在熟知的AI safety era（AI安全时代）。我觉得是AI安全的这个时代让大众——包括我爸、我奶奶这样的人——都能够听说有效利他主义这个词，是因为AI safety成为了他们最核心的议题之一。整个EA的网也通过一是有很多的成员就是在这种前沿实验室的员工，包括大量的资金去资助AI safety的这个事情，使得整个EA的圈子和政策圈、和国家安全的圈子、和华盛顿那些圈子发生了交汇，也导致就特朗普总统、比方说美国国防部会发推说“我们美国肯定不会变成EA的，EA不行”怎么怎么样。对，我觉得就是我们当下的这个阶段是一个EA的新的阶段，有新的挑战，但是它也是一个最进入到了公众意识当中的这样一个时代。
你刚也提到了理性主义这个社群。因为其实我们很多时候是把AI安全和理性主义者联系在一起的，是因为他们之前有Eliezer Yudkowsky这个人，他自认为是一个理性主义者，并且提出了很多反对EA思想的声音。但是现在这两个社群之间又好像有一些重叠。能不能具体给我们解释一下，理性主义者和有效利他主义者他们有什么区别？有什么一样的地方？
你如何去最大化地行善，你最有效地做altruistic的——就是这种利他主义的事情，这个思想的源泉其实就是理性主义本身。这其实是一个大的合集当中的一个分集。Effective Altruism它其实是在某套思想体系当中，rationalism（理性主义）肯定是占很主导的地位的。但是EA说白了它是一套道德主张，但是rationalism它是一套认知论和思维的训练，这两个是不一样的。当你给自己冠上了“我是一个EA”、“我是一个有效利他主义者”的时候，这是一个有点类似于宗教或者说道德主张的这样一个词汇，就是你就变成了那样的一个人。但是rational其实是一个怎么去看这个世界、怎么去想这个世界的方式。它研究的是贝叶斯的认知论，它研究的是认知科学，甚至很多是互联网文化。这个群体他关心的问题更加像是一个思维方面的、元思维的这种辩论，就是人如何在不知道自己不知道什么的时候做出更好的判断。人类为什么会有认知偏差，对吧？我们怎么去更新自己的信念？怎么在不确定的情况下做出更好的判断？
其实rationalism没有人会到处跟别人说自己是rationalism。但是我觉得EA它会给你有一个成员的身份感和社交感，它是一套你自己要做很多事情，而且你做的事情需要有很大的回报，这个回报又反过来加强你自己是谁的这样一个东西。所以你会看到rationalist这个community、这个社群会变得越来越小、越来越微弱，但是EA这个社群会变得越来越大，而且越来越有影响力。其实就是因为他们想要做的事情是完全不一样的。
对，就像你刚才说的，EA感觉是一种生活方式或者是一种行动的指南，因为它本身是从一个慈善运动开始发源的。所以如果你认同自己是一个EA，你是会去做相应的事情的。
没错。很多EA，比方说EA它成员内部本身有很多小圈子，大家都是天使投资人，相互会给对方喂一些讯号，说这个公司要融资、这个公司怎么样、要不要投。其实EA也有一个自己赚钱的这些小圈子。EA也有非常多的alpha，就是未来非常有潜力的这种公司的比方说关于股票或者是关于原始股的一些信息。其实很多EA的社群当中的人他对赚钱这个事情是很敏感的，他对捐钱这件事情也很敏感。我觉得EA对我来说可能最大的一个感受就是，它更像是一个社交的、有点宗教性质的小圈子。而rationalist的话，是没有人要求你到底要不要对这个组织有什么忠诚感的，因为rationalist它本身就是一套认知论和方法论。
前沿实验室、资金争议与圈子文化
我觉得我们讲一下AI安全对这些frontier labs（前沿实验室）的影响吧。因为这是我们现在作为普通人关注到EA比较常见的一个方式。你觉得这些包括OpenAI和Anthropic这两家lab的创始人，他们是不是都在不同的程度上受到了EA思想的影响？这个具体是他们当时接触到了什么，包括什么样的文本、什么样的人，怎么样去塑造了他们对于做AI、做superintelligence（超级智能）这件事情的最初的想法？
在这里我就陈述一些我自己平时刷推或者是只言片语，或者是平时看书读到的一些东西。如果用EA的滤镜去审视Anthropic和OpenAI这两家公司的话，那么Anthropic是非常EA，而OpenAI是不是很EA的一个公司。我觉得这是一个很重要的区别，是因为Anthropic的七位创始人当时是都在OpenAI工作的，但是他们是看到了OpenAI不够有效地去管控这个AI可能带来的风险，他们都觉得忧心忡忡。他们觉得不行，我们不能在这家公司待下去了，因为他们对整个AI安全——当时EA的一个非常强烈的主张——不够重视。这几个OpenAI的员工于是他们就决定自己出去单干，于是Dario就召集了一些他认为跟自己理念比较相同的人，就出去成立了Anthropic这个公司。
Anthropic这个公司本身的名字也是人本主义、人本公司，也就昭示着他们成立这家公司的初心就是去做一些和OpenAI非常不一样的事情。Anthropic里面的成员，Dario本身是非常的EA，我知道。因为他之前就比方说给GiveWell捐钱什么的，他自己也经常会在自己的博客里面提到他自己对于更加有效地用AI去制造全球的福祉，他会发一些这样的文章，就比方说Machines of Loving Grace这样子的文章，就很能体现一个EA是怎么想事情、是怎么看待这个世界的。同时这个公司的另外一个创始人叫做Chris Olah，也是对Vitalik影响很深的一个人，他自己应该也是一个很EA的人。
Afra，不知道你最近有没有关注到Anthropic还有一些安全审计机构和EA的关系？我们知道9月Jacob Coxon这个研究员从Anthropic辞职之后，其实有一个叫做Kevin Bass的独立研究者，他在X上梳理资金链，他主要看的就是Anthropic去安排给他做独立安全审计的这样一个机构叫做METR。他就说METR还有其他的一些安全机构，他们的资助方同时也是Anthropic的早期投资人，他就是Coefficient Giving这个机构的创始人Dustin Moskovitz。他持有大量的Anthropic股票，所以这个所谓的独立评估实际上可能是和Anthropic成功利益绑定的。那这样一来，其实网上就有很多声讨EA的声音，很多人开始质疑所有的安全机构的资金来源。我想知道你怎么看待这些质疑呢？
就是因为Jacob这个推特火了之后，大家才开始牵出来就整个这个EA对于AI safety的资金注入，其实大家就开始编造各种阴谋论。对于我来说其实是一个阴谋论。
你为什么觉得它是一个阴谋论？
像很多传统媒体它就会质疑说，这些资金流向这些组织到底有什么目的？到底有什么隐藏的议程？在我自己看来，我觉得一定会有某种议程的投射，但是EA这群人的议程是什么呢？就是他不想让AI变得不可控，同时造成让人类无法承受的后果，这就是他们的议程，其实没有什么隐藏的议程。
最近前《纽约时报》的一个很有名的记者、同时也是播客《Hard Fork》的主持人Kevin Roose，他写了一本书，这本书叫做The AGI Chronicles（AGI编年史）。这本书Kevin在写作的时候，他就拿了一些有EA背景的钱，于是就有很多人就质疑说：你这本书的钱的来源是不是不明白？是不是你是一个接受了EA的钱，你就一定要去把这个议程写进书里的这样一个事情？
但我觉得最大的问题可能是，当一个思想运动有了这么多钱以后，它到底是在发现最重要的问题，它同时也是开始在参与，它决定什么问题会被认为是重要的。我们现在其实已经生活在了一个EA这群人的、很早他就跟我们说过他们要做的这个事情的后果当中。他们很早就说AI安全这个问题是重要的，他们很早就说过我们要往这个里面注入很多的钱、我们要创造影响力，我们现在就生活在这个影响力当中，对吧？
我见过一些华盛顿的传统智库，它甚至很难招聘到合格的AI政策的分析员，因为年轻的这些人才、有能力的这些人才他都流入了EA赞助的各种智库和各种组织中。如果你是一个比方说20岁出头的年轻研究员，你刚刚从学校毕业，拿了斯坦福的PhD，你想要研究AI的经济，然后你会发现AI alignment（AI对齐）和AI safety这个领域有大量的fellowship（研究员席位），有大量的grant（科研资助），有很多这种research positions（研究职位），有很多给你的这种岗位，而且你能拿到很不错的年薪，而且这些机构只管给你钱，也不怎么管你的研究方向。而与此同时，其他的研究机构就没有这么多资源，也没有那么多给你的自由程度。你在这个AI safety这些机构当中也没有人要求你改变信念，所以我就见过越来越多这样子的年轻人逐渐被跟AI safety有关的这种所谓的带引号的“EA机构”所吸纳。我也见过越来越多因为跟这些机构、每天跟这些人不断地见面讨论问题，从而被safety-pilled（被说服）的一些非常聪明的人。
但是从我的观点来看，我认为被safety-pilled——在现在这个阶段被safety-pilled是一个很正常的事情。即使你对AI安全问题不是那么关心，我觉得你就每天的各种普通的新闻，看各种电视的报道，你也会被safety-pilled。
我知道你其实会经常去伯克利还有旧金山一些EA的组织，或者我们把它叫做理性主义的组织。我还听说在旧金山，比如说我们刚刚提到的METR的这家组织，如果你要进去参加一些类似于比如说Anthropic或者是研究员的活动，你说自己“我不是一个EA主义者”，他们会问。你说你不是EA，你可能连旧金山的很多活动你都进不去。
我觉得EA也很有意思，就是你问一些人说你是EA吗，他们说“我也不是EA，但是我跟他们的人走得很近”。没有EA的人天天把自己是EA挂在嘴边的，其实有很多我的EA朋友，他们很EA，但是他们并不觉得自己是EA成员，我觉得这个也是很有意思的。
伯克利是一个怎样的氛围？我觉得伯克利是不是它更偏向于理性主义的社区？我知道有一个组织叫Lighthaven，大家也经常聚会办活动，它跟旧金山的氛围还不太一样。
对，我觉得现在伯克利它已经自成一个体系了。就是伯克利有非常多AI安全第三方的审计机构，或者像METR这样的组织，就伯克利已经有几十家了，说实话。
Lighthaven它其实是一个理性主义者和一些EA赞助的活动场所吧。它是在伯克利有大概六到七个独栋的房子组合而成的一个活动场所。你在那里面可以听讲座，在里面可以自由地社交，在晚上还有篝火什么的，你可以在上面烤棉花糖。Lighthaven就是被看作是AI safety和EA还有理性主义的一个大本营。
我自己会偶尔去Lighthaven开一些跟AI相关的会，去认识一些人。我两个星期前刚刚从两个会议回来，其中一个会议叫做The Curve，另外一个会议叫做Progress Conference。一个是关于AI呈以curve、就呈爆炸式的水平发展的这样一个跟前沿AI研究很相关的一个会；第二个会是Progress Conference，它更加主张的是要推动社会的进步，就很像是Ezra Klein写的Abundance（《富足》），如何我们用现有的科技去营造一个更加富足的、更加有未来感的一个社会。它其实讨论的是各种前沿的科学研究，比方说如何教育下一代对未来更加有信心，讨论的是这样的话题。
你觉得这些话题就是大家在讨论的时候，对很多比如说推动事件的进展、推动AI是加速发展还是它应该慢一点，那在真正对事情的影响上会有强大的影响力吗？
我觉得会。我记得去年的The Curve——就是关于这个前沿AI的会议，其实有很多华盛顿、就国会的人在，也有很多加州的政府这些议员们在。The Curve它其实带来的这种群体效应还是挺明显。它是一个华盛顿和硅谷最好的一个Venn diagram（交集图）。Venn diagram就是两个圈圈碰在一起，圈圈和圈圈中间的那个相交的地方就是Venn diagram。
所以我理解他们的影响力可能是在推动政策、推动监管上。
是的，没错。
那理性主义的社区呢？
我觉得理性主义的社区就更佛系一点。理性主义的人他其实不那么想要去寻求影响力，就是impact。所以理性主义社区的那些人，他们还是像之前那样，大家就写写博客，然后研究研究这个、研究研究那个，就他们没有那么多现在硅谷所说的就4D Chess（4D象棋）。他们脑子里面没有那么多“我今天要做A可以达到B，所以我能最后达到我的目标Z，但是我要怎么怎么逆向工程一下这个事情，然后我怎么怎么样”。Rationalist的人他其实没有那么多宏大的计划。Rationalist还是很可爱，就像是Vitalik说的，就Rationalist他们就喜欢做自己爱做的事情。有很多人写小说、写博客，讨论一些很nerdy的数学问题，讨论一些很nerdy的AI的问题。
我看你之前还去伦敦参加过一个叫做GovAI Fellowship的项目，你是有见到我们刚刚提到的EA的一个精神领袖叫做Will MacAskill，你是有见到他、有跟他们交流吗？
我见到Will MacAskill应该是在The Curve见到的。其实他在GovAI这个组织当中他算是一个导师，但是我从来没有在办公室……因为我那个fellowship就三到四个月，就是在伦敦的King's Cross、十字国王那个车站旁边。我本来当时还挺期待见到他的，因为在网站上他是导师之一，但是我反而是在加州见到了他。因为听说他要搬来旧金山了，就是在牛津待了16年以后终于要搬到旧金山了。
对，我就是第一次见到了Will，然后我跟他聊了十几分钟吧。我觉得他身上几乎浓缩了EA过去十几年的很多的思想变化。《纽约客》的Gideon Lewis-Kraus在2022年给他写过一篇非常好的profile，这篇profile大概七八千字。文章里面这个Will本人，尤其是刚刚开始创立EA的这些组织的时候，他有一点先知和那种苦行僧的味道。Gideon他自己作为一个作者，他自己有写到就是说，你在Will周围，你会有一种“我应该去行善”的道德压力，因为Will他的吃穿住行非常的朴素，而且他还不断地在捐自己的收入。
你觉得他对整个EA圈核心影响是什么？就是一个精神领袖？
对，他算是一个EA的精神领袖，同时他也是创立了牛津的一些核心EA组织的这样的一个人。他在22岁那年的时候遇到了一个澳大利亚教授叫做Toby Ord，两个人一拍即合。Toby Ord他是一个非常注重EA、也非常注重long-termism的这样一个人。Will就是当场就在22岁的时候他就承诺说：“我要自己要力所能及，把自己的财富永久地捐出去。”他非常愿意把自己未来的自己绑住的想法。这也是之后很多人会不断地在批评的一点，就是说EA他有一个“我和我未来一个更加富有的自己去签订合约，去做我现在的自己想要做的事情”。
但是我记得Vitalik对于EA的这种理念的批评就是，你未来的自己永远会背叛你现在的自己。因为你10年、20年之后你的想法会变，你的行为会变，你身边的朋友、你的圈子会变，你想做的事情会变。你怎么能够保证你未来为了今天你想要行的善而变得更加富有的自己，能够执着地坚守你今天承诺的事情呢？
但是这就是当时的Will，他说我要把自己的收入全部都捐出去。我觉得还有一个，EA它其实在刚刚设立的时候几年之后，就出现了占领华尔街的运动。在占领华尔街如火如荼的时候，当时的这种道德主张就是华尔街的这些人是吸血鬼，他们是造成了美国的很多中产和更加底层的这样的一些人的生活更加拮据、甚至毁掉他们这些生活的这些邪恶的人，对吧？但是当时Will在牛津大学发表了一场题为《医生、非政府组织工作者还是其他什么》
就是哪种职业能够更加造福社会。这样一个演讲其实是在帮助当时牛津的这种刚刚毕业的学生，去思考以后应该从事什么职位。同年他也创立了“八万小时”的项目，他其实做的事情就是想要为一些本科生提供道德生活优化的一些建议。这个时候他提出了一个观点，就是说：你们这些牛津的精英院校的学生们，你们如果想要去造福这个世界，你可以选择在贫困国家当医生。但是你这个医疗生涯当中，你八万个小时你能救多少人？你可能会拯救相当于一百四十条生命。但是你也可以加入这个非常邪恶的华尔街，或者是邪恶的咨询行业，你通过明智的捐赠，可能你拯救生命的数量是前者——你在贫困国家当医生的十倍。因为你能够捐那么多钱，你能够买很多很多蚊帐，每个蚊帐可能都可以救很多人。所以在当时，在华尔街最有道德污点、最臭名昭著、最没有办法去吸引到精英学校学生的时候，其实是有些人听了Will的道德建议，而去投身进了华尔街。
我觉得之所以有效利他主义能够被SBF、像Jane Street这样的一些交易者所吸引，其实也是他们在试图用EA去弥合某种道德错位感。他会经常可能会扪心自问说：我做这件事情真的是有意义的吗？就是疯狂地、不断地做量化交易，然后去赚钱，通过各种杠杆、各种措施去赚钱，我做得真的好吗？但是，如果我把这个全捐出去，那么我做的事情就是好事了对吧？EA的这套主张会给很多在华尔街做一些最大化利益的一些人提供了一个借口。这个借口就是：我其实过来是做善事的。这个借口是一个非常会被人利用，或者是被很多人去剥削的一个事情。
这个点很精彩。然后在2015年，Will MacAskill受聘成为了牛津大学最年轻的哲学副教授，他当时只有28岁。在同年的夏天，他的“八万小时”项目也被Y Combinator（就YC）所接纳。有效利他主义的这个全球峰会在谷歌总部举行，像从Elon Musk到很多其他的这种硅谷富豪，都出席了其中的一些panels。比方说Musk就出席了当时关于人工智能小组的这个讨论。我觉得可能2015年的EA是某个方面的一个顶峰，可能在Will MacAskill的眼中这是一个顶峰。因为他其实EA的这套哲学思想，已经渗透到了硅谷最有钱、最富裕，也是最有资源、最能推动社会往某个方向走的这一群人。
对，我注意到EA整个的起源是在牛津大学，但是它后面的发展，包括你刚刚提到了，像今年Will MacAskill已经搬到硅谷来了，这说明了什么？
我觉得这说明EA本身的核心主张和核心想要做的事情，已经完全变成了AI safety，和之前已经不是很一样了。之前的所有做的事情，比方说预防全球的疾病，或者是提高行善的效率，关注其他意义上的生存风险，到现在其实已经很难找到了。就基本上所有EA的关注点和精力其实都已经放在了AI safety，或者说AI safety已经不成比例地被放大了。
我怎么觉得EA也在追热点？
我觉得热点是被EA创造出来的。我觉得我们现在生活在一个EA在很多年前就已经规划好的一个现状当中。
有意思。
就是EA其实在很多年前就已经说过了，说我们就是要花这么多钱去做这么多的impact，我们现在就是要impactmaxing。而我们现在已经活在了EA所创造的他们impactmaxing的世界当中了。
你会对外说你自己是EA吗？
我不会，因为我真心觉得我不是。我很关心AI safety，但是我不是EA。比方说我不会捐钱，我觉得我自己现在做的事情还不到我自己能够去捐钱，或者说过度地去考虑全球范围内的一个我应该行怎样的善这样一个地步。我自己最感兴趣的是EA的哲学和他们的intellectual（智力的）的世界，我对他们来说就可能是一个想写一群很有意思的人的这样子一个智识上的吸引。就像是我自己也会很关注比方说在旧金山认为AI会替代人类的这样的一群人，我会很喜欢关注这些奇奇怪怪的群体。
但是你有接受过EA的钱吗？就比如说你刚刚提到伦敦的fellowship的这件事情，他们应该是有一个资助的，还是说这个要自费去的？
这个是有资助的。这个其实也没有那么多钱，大概就是一两万的英镑。因为我当时在伦敦我不需要在伦敦付房租，所以这个钱我并没有拿来付房租。但是这个钱如果是让一个年轻人在伦敦住四个月的话，其实甚至都不是很够房租的钱。在伦敦这个物价，这点钱是算不了什么的。
所以我觉得很有意思。就你刚刚说你不是EA，是因为你觉得从EA的核心理念来看，你可能还没有到你可以把你的钱捐赠出去的这样的一个实践者。但是其实你同时又是被EA的思想吸引的，就你觉得这里面的很多在智识上的东西，它是有带给你在精神上的，不管是愉悦感，还是你觉得你可以有很多的东西去探索。我在想这是不是也是很多我们接触到的EA群体大家一个比较共性的画像跟吸引他们的点？
我觉得EA它有一点很吸引我的地方。我其实在某种程度上想要在形式上更加EA一点点，是因为我觉得EA这些人，他能够把自己想要做的事情和自己想要对这个世界带来的影响，能够转化成对自己要做什么的某种激励，有点类似于“先做人再做事”。有一点点燃的是你自己心里面的一个火苗。因为我会发现很多EA的人，他自己想要做的事情，他其实并不先管我想赚多少钱，而是先管我想要做什么事情，再去想要我怎么去搞到这些钱，或者我怎么去实现这个事情。我觉得这是一个很有意思的点。
就像是我同样也会被AI创业的这种氛围所吸引一样，或者硅谷的founders文化吸引一样，很多founders他其实也是这个理念：我想要创建一家什么样的公司，然后我再去想融资这件事情，然后我再去想我怎么去具体操作这件事情。我觉得这很多逻辑是很像的。Maybe这也是为什么硅谷和EA一拍即合的原因。硅谷很多这种亿万富翁和被EA的这种理念非常吸引的人，因为我觉得EA它首先做的事情是让你很有野心地去在你心里面去画一个你对未来的图景，然后你再回到现实，让今天的自己去实现那个你画出来的图景。我觉得这是一个很有意思的一个思想和行动的一个指南。
其实我们知道现在在整个EA里面，大家关注AI safety，大家的主流立场是我们应该尽量去减缓AI的发展，至少说我们在保证安全以前，AI它不应该那么快速地发展。相对应跟它立场相反的，就是我们说的e/acc（有效加速主义）派，就是以a16z为代表，他们是希望能够加速AI的发展的。所以刚刚其实你有提到，比如说在2015年有效利他主义它的全球峰会是在谷歌举行的，Elon Musk也出席了他们的活动。但是我觉得今天站在这些创始人各自不同的立场上，可能有些人认为我们还是要去让AI加速发展，因为它已经变成了一场竞赛了，但是同时安全问题也是大家关注的一个非常重要的点。所以你觉得我们应该因为AI安全的问题，现在减缓AI的发展速度吗？
我首先先想要回答你刚刚说的，就是e/acc和EA之间的一个张力。e/acc这群人他其实和EA是很不对称的。e/acc他其实完全没有形成一个真正的力量，就是所谓的e/acc那群人认为自己是有效加速主义者、是e/acc，他其实是一个没有那么清晰的现象。e/acc其实在很多人眼里是一个meme，它是一个在网上的hashtag，它其实不是一个真正的行动力量，而EA它是一个真正的行动力量。
其次就是对AI safety这个事情，我觉得我过去的在开完The Curve还有Progress Conference这两个会之后，我自己也和OpenAI还有Anthropic的十几、二十个researchers聊了天之后，我觉得我自己对于AI safety有了非常多新的理解吧。我变得更加愿意去相信RSI，也就是AI的自我迭代、自我进化的速度，和现在的RSI的进化曲线是一个让我觉得有点忧心忡忡的事情了。然后有好几个研究员都跟我说，就过去一年AI的进步甚至已经超过他们自己原本的预期。
对，我觉得现在就是一个前沿的AI发展是一个很严重的认知论的问题，这个认知论我不知道该怎么解。所以我觉得可能现在放缓一个AI的发展，尤其放缓RSI的发展，可能是一个好事。就是让大家先坐下来相互说一说到底应该怎么办、到底发生了什么，我们能不能用人话把这些事情解释清楚，再去进行疯狂的AI race（AI竞赛）。
非常精彩，最后这一段。谢谢Afra。
好，谢谢。
EA巨额资金流向与Vitalik的视角
刚才和Afra聊下来，我们看到了EA怎样从一场讨论如何更有效地做好事的运动，逐渐影响了今天的AI研究、资金流向，甚至政治议程。
这些思想能够产生今天的影响，也离不开背后巨额资金的支持。比如当下最大的慈善机构Open Philanthropy（Coefficient Giving），从2014年以来累计推动的拨款已经超过70亿美元。其中多数资金来自这对夫妇：Facebook的联合创始人Dustin Moskovitz和妻子Cari Tuna创办的Good Ventures。资金流向了全球健康、动物福利、疫情防范以及AI安全等领域，也支持了一批研究机构和人才培养项目。
另一位重要的捐赠者就是Vitalik。2021年，他曾经向多家慈善机构捐出一批加密货币，媒体按照当时的价格估计约15亿美元，用途涵盖疫情救助、全球健康和科研等领域。不过加密货币价格波动很大，账面价值与机构最终拿到的钱可能相差很多。其中他捐给未来生命研究所（FLI）的那批代币，据他后来回忆最终兑现了大约5亿美元。FLI也明确表示，Vitalik是它迄今最大的捐赠者，远超其他人。
所以接下来与Vitalik的对话，也是与一位重要捐赠者对自己选择的回顾：他当初为什么支持这些机构？当他们后来的方向与自己的期待出现分歧，他又是怎么看的？
这个特别巧，因为是我问Afra，就是我们想做一期关于有效利他主义的节目，问Afra有谁可以跟我们一起聊一下。Afra直接说要不就直接叫Vitalik来聊一下。所以你为什么觉得Vitalik非常适合聊这个节目？
我觉得Vitalik比较适合做这期话题的嘉宾，是因为我之前看他的一些博客，比方说教人们怎么更加有效地做一个digital nomad（数字游民），就是你应该去打包什么行李。在这个打包行李的这篇文章当中，他就有讲解，就说他从来不坐商务舱。但是在那个时候，如果这篇博客是三四年前写的话，那他其实已经是一个身家好多好多个亿的人了。但是他不坐商务舱的其中一个很大的原因就是因为，他觉得坐商务舱的一张机票其实可以挽救很多人的生命。这其实是一个底层逻辑非常，就是有效利他的、很EA的一个逻辑。
之后，在三年前的2023年，我参加了Vitalik在黑山组织的他自己的network state（网络国家），叫做Zuzalu。在Zuzalu的两个月当中，我就认识了很多EA这个群体的一些成员，包括接触了他们的很多哲学思想和他们当时很在乎的一些议题。其实当时已经开始的有一个对于AI安全的整体的转向。我觉得其实我对于EA、对于这个rationalist所有的思想逻辑、所有的ideology（意识形态），其实都是从Vitalik这边来的。
那Vitalik你要不要讲一下，你最初接触EA是什么原因？当时它是什么吸引了你？
大概我第一次听到理性主义和EA这两个概念，可能是2013年和2015年之间。那个时候两个都很早期。Eliezer Yudkowsky他是在理性主义的那边，但是他有一个博客叫LessWrong，写过很多很多的文章叫The Sequences，他们在谈关于什么物理学、道德，所有的有意思的话题。
Effective altruist的这群人有说到，其实我们大部分人做的慈善大家的目的是非常好的，大家的心是非常好的，但是大部分的效率是很低的。他们在那个时候讨论了很多在非洲健康的话题。他们有一个很出名的一个statistic（统计数字），就是如果你用——那个时候是2000美元——给一些在非常穷的非洲国家的人买那个蚊帐的时候，你可以防护很多人不让他们得疟疾，那就可以救下很多很多人的命。他们的这个statistic就是：你每次付2000块，你就可以救一个人的命。
其实大部分的人，他们会花2000块做什么？有可能是一个公务舱的机票。如果你是一个非常非常的土豪，有可能你会买一个私人机，比如从亚洲去美国可能会需要20万块。你可以想一想，就是第一个选择，20万块那你可能12个小时、可能24个小时更舒服；第二个选择，就是你可以救100个人的命。如果真的是这样子的，那我自己也必须花自己的钱到这样的环境。
2016年和2017年的时候，以太币涨了10倍，于是我把我一小部分的以太币都卖掉了，捐给那些组织。有时候是捐给非洲的那些买蚊帐的，有时候我也捐了一些其他的。就是我也特别支持Aubrey de Grey的那些longevity（长寿）的话题。他说我们现在几乎有足够的技术可以活到150岁或者200岁，或者还更多。这个话题是很重要的，但是几乎没有人研究。所以我大概就是我自己用我同样的那个算法，我就是说好，就是现在这个领域有的钱可能是100万、可能是300万，如果我自己给100万，那我可能会加速一个月，那可能就会救100万人的命，还可能更多。所以我就往这个方向开始思考了，我就开始捐很多自己的钱给这些领域，包括那些global health（全球健康），包括longevity，还有更多。所以我大概从2017年和2018年开始，就给他们比较多自己的钱。
所以Vitalik，您刚开始关注EA的时候，其实您关注的话题主要是像global health、刚才提到的这些longevity，就更多是健康方面的议题？
对。
OK。大家因为刚才提到了理性主义，我们要不要讲一下Yudkowsky他的核心思想是什么样的？包括Scott Alexander，因为他是做了Slate Star Codex这个博客，也是在这个圈内影响非常深的这样一些算是思想的源泉吧，还有文本。我们能不能聊一下理性主义和有效利他主义的区别？这两位关键的人物，他们的核心思想是什么样的？
我可以简单地说，EA最核心的目标就是帮我们了解怎么最有效地帮助其他人改善生活。理性主义是帮我们更有效地思考怎么更理性地为了帮助其他的人做事情。
所以再讲LessWrong，Yudkowsky会有很多文章关于很多很多的哲学的话题，就是人是怎么错误地思考，然后你怎么能思考得更正确的，你怎么能犯少一点的错误，就是在生活的每一个方面。可能10年后有一个人做了一本书，《Rationality: From AI to Zombies》。From AI to Zombies（从AI到僵尸），这个名字他是故意选的。就是AI是因为那个Yudkowsky大概从1995年开始，他就知道AI是一个非常重要的话题。其实他一开始认为AI会对人类非常非常好的，所以我们应该非常快地让一个非常强大的AI进来，帮助我们解决我们的所有问题。
但是他自己多思考了这个话题，他也发现了这个AI alignment problem（对齐问题）是很难解决的。如果你做一个非常聪明的AI，你怎么能保证它的目标跟你的目标是相同的？有一个很简单的例子就是：如果你有一个非常聪明的AI，你给它一个目标，比如治愈所有人的癌症，就是做一个没有人有癌症的世界，如果这个AI不够了解你的一些含义，他可能会觉得好，那我可能把整个世界就毁灭了，这个世界没有人就没有癌症。这是一个非常简单的例子，但是它有一个核心的概念，就是value fragility（价值脆弱性）。如果你在设置一个非常聪明的AI目标的时候，如果你只犯一点点的错误，还是有风险会有这种结果。所以value fragility是一个话题。
第二个很重要的，就是他说的一个Orthogonality thesis（正交性论题）。很多人他们会说一个更聪明的AI，它一定也会比我们更好。但是他思考了这个话题好多，最后他发现了其实这个理论是错误的。其实你思想的能力和你的目标是两个完全不相同的事情。有可能有一个很善良的但是很笨的AI，有可能有一个善良的和聪明的，有可能有一个邪恶的和笨的，但是邪恶的和聪明的也是有可能的。善良的这个概念不是宇宙的一部分，这是一个人的进化制造的概念。所以如果我们要做一个对我们好的AI，并不是一个会自动的、by default（预设）发生的一个事情，就是我们需要非常努力这么做。
对，所以他了解了这两个之后，他发现了他之前的思想——因为他之前可以说是一个accelerationist——是非常笨的。如果他自己是那么长时间没有意识到这些概念，那这个意味着帮助人能够更好地思考是非常重要的。所以他开始了写很多的文章，他开始做网上的一个community。所以这是AI要变得更rational的一个很重要的原因。就是如果你在用不对的思想开始做superintelligent AI，最大可能就会发生非常大的错误。
Scott Alexander他是第二个很重要的人物。他有很长时间有一个blog叫Slate Star Codex，那个blog 2021年的时候他换到了另外一个blog，现在叫Astral Codex Ten，在这里面也有复杂的故事。但是他的文章也有很多非常聪明的，但是他关于政治说得比较多，他关于那些culture war，就是我们现在会说的那些woke（觉醒文化）和anti-woke（反觉醒）会说得比较多，所以他会写更多的时候controversial（有争议）的东西。他们的核心都是我们怎么能更合理地，也就是更聪明地去思考。
所以Effective altruist其实是另外一个群，他们有很多很多的连接，尤其是那个时候大部分的effective altruist他们也会读所有Yudkowsky和Scott在写的东西。但是他们的一个区分就是，在英国、在牛津大学有很多，在旧金山也有William MacAskill，他比较早期开始了捐很多自己的钱。
所以这个群的核心可能有两个：第一个就是学术派的哲学家，就是在大学里面很长时间做教授的那些人。就是Yudkowsky和Scott他们两个都很明显的都是自学的，EA的他们更conventional（常规）一点，所以他们在大学里学了很多，他们参与了更主流一点的体系。EA的群的另外一部分，这个也是很重要的部分，就是有钱的人。吸引有钱的人是他们的一个目标，如果你有钱，那你想做好人，那你也会有很多的吸引力。所以Jaan Tallinn他是Skype的co-founder，他很早期就参加了，还有那个Dustin Moskovitz。其实有很多的他们是很安静的，就是他们也不会那么大声地说话，EA的社区有好多这种。
所以理性主义的这个群，他们只会思考；EA的群可能会一半去思考，一半去做。做的大部分就是这样，但是他们也开始了有自己的组织，把他们的过程更形式化一点：每一个慈善机构的效率是多高的、怎么选择最好的、他们的钱到底能帮助多少人。大概2015年和2020年之间，EA开始变得越来越institutional，就是他开始做自己的机构，所以他们就不只是一个社区，就是一个比较复杂的体系。
其实我非常好奇，Afra你可能对这个也了解比较多，就是他们认同自己是有效利他主义者的人，和认同自己是理性主义者的人，他们之间有很多的冲突吗？他们会互相认为对方的思想是不正确的吗？
其实这个问题我也是在大概一周前才搞清楚的，因为我直接去问了一个rationalist领域的元老之一，他名字叫Zvi，他写一个叫做Don't Worry About the Vase这样一个newsletter。这个newsletter主要是关于理性主义思维，还有AI安全问题的。Zvi就说，其实有的时候一部分rationalist（就理性主义者），他们会认为EA抢走了一些理性主义者在很多年之前就已经发现的，比方说AI安全问题的这样的一些见解的功劳。比如说十几年前开始担心AI safety问题的人，其实是Yudkowsky，但是Yudkowsky他从来没有认为自己是EA的一个成员，但是EA的一些成员就会说Yudkowsky是他们的人。
我觉得就是在现在，AI安全领域和AI对齐领域它变成了一个更加具体的研究和实践的领域，也是因为我们现在在很大的这个AGI的浪潮当中。所以很多研究AI安全问题的人，他其实有可能不认同EA，也不认同EA所秉持的这种长期主义，甚至不认同理性主义，甚至没有看过LessWrong，但是他们仍然在研究这个问题，仍然非常担心AI会有一个系统性的失控。
所以说就是，对，我觉得就是现在可能大家在提到rationalist、EA、什么AI safety的时候会把这几个词混用。但是其实我觉得，就你一旦进入到内部的这个群体之间的这些关系，你会发现它其实是一个来得早、来得晚，以及有很多分歧的人和人之间的小圈子。
那Vitalik，你觉得你开始关注EA的时候，你对AI安全的思考是什么样的？你当时捐款、去接触一些组织，他们对于AI安全的涉猎是大概什么样的一个情况？
那个时候我关于AI安全的思想还是非常抽象的。我知道了AI理论上是一个非常重要的话题，有可能他们说的是真的，有可能AI的安全就会决定人类未来的命运。但是不管这个可能性的效率是100%还是0.1%，在那个时候思考这些话题和研究这些话题的人非常非常少。有个机会就是你可以花可能100万、可能500万，就这么多，你可以自己加速这整个领域可能6个月、可能一年，这个结果是非常大的。所以这是一个我们都应该做的一个bet。
所以我对longevity和AI safety从开始有这样的想法，2020年和2023年之间这个都变了非常多。主要的原因就是AI变成了一个真正的话题。因为2015年我们现在在说的AI是几乎不存在的，我们大概2018年担心的所谓的AI可能就是那个摄像头和AI帮助的数字监控。对，所以那个时候和2023年已经是非常不一样的。那个GPT-3出来的时候就改变了非常多。所以我们在做Zuzalu的时候，就是2023年的一个春天，那个ChatGPT出来了，我们开始了理解，就是有可能AI真的会发展得非常非常快，AI也真的会给我们带来很多很多的变化。所以大概这个时候，可能所有人的思想有非常大的变化，所有的人能做什么也有非常大的变化。可能2022年之前唯一的答案就是你怎么能多帮助研究、人类知道的更多那对我们更好，但是2022年之后就变了，从一个抽象的话题就变成了一个具体的话题。
你会担心AI的安全问题吗？
大家问我P(doom)（人类灭绝的概率），AI或者其他的风险会完全毁灭我们的世界，就是人类会不存在的概率，我会说0.1。我为什么说0.1？为什么不说0.03？为什么不说0.3？其实说得更明确是很难的，因为我从开始就有非常大的这个uncertainty（不确定性），因为有很多很多不确定的点。
第一个点就是AI的发展会多快的。就是有可能到达大家说的这个所谓的AGI会需要10年，可能300年，这是第一。
第二，Yudkowsky说的这个alignment problem到底是不是一个真正的问题？会不会这个问题很简单地自己解决？因为我们可以回到第一个我提到的这个例子：那时候我们做一个非常聪明的AI，我们跟它说希望有一个没有癌症的世界，这个AI又觉得最简单的办法就是把整个世界毁灭了，就是把所有人都杀了。其实如果你现在跟Claude和GPT和现代的AI说话，你就知道现在的AI它们其实比较了解context，就是它们了解我们的含义。这是10年前比较难预测的一个变化。但是这个也不一定意味着alignment problem不是一个非常大的问题。如果你现在问那个Yudkowsky，就是你跟它说你看现在的AI，如果你跟它们说要治癌症，它们就不会完全毁灭这个世界，那是不是alignment的问题解决了？它会说并不会，这个问题只是alignment问题的一小部分，还有很多其他的部分，还有很多的我们完全没有解决、完全不知道的风险。这里的不确定性也非常多，这是第二。
第三就是政治的不确定。因为现在有不同的国家、有不同的人、有不同的公司都在做AI，在一个竞争的情况下大家有不同的目的，大家同时希望有安全，大家也希望自己赢了。如果比如在一些AI也变得非常危险的时候，就同时第三次大战出来了，那可能会最危险的并不是因为什么技术的问题，而是因为在那个时候大家会最不思考安全，就是只会思考就是自己赢是最重要的。所以就是有技术的不确定性乘以另外一个技术的不确定性，乘以政治的不确定性，就乘以更多更多。所以AI是不是对我们真的会危险，是非常难预测的。
对，因为我注意到您在2021年的5月12号，应该是同时捐赠了非常多的EA的组织。在2017年其实是捐赠了尤德考斯基他当时创建的机器智能研究所（MIRI）的这些组织。可不可以讲一下在2021年的那一天，您在捐赠很多组织的时候，当时你在想什么？你是怎么样做出这样的一个捐赠的决定的？
这个故事是非常好玩的。其实这个故事可能2016年开始，从第一个所谓的meme coin，就是狗狗币。狗狗币就是Dogecoin，它2016年出来的。就是它有一些开发者他们说：我们要做我们自己的一个新的币，大家都在做自己的币，都在做自己的链，我们要做一个Litecoin的分叉，就是基于Litecoin的一个代码。我们的这个新的链、我们的新的币是做什么的？什么都不做。那你为什么要买？因为有个狗狗，这个狗狗很可爱。那个时候大家都并没有思考刻意这么做。那个时候就是在区块链的群还是更理想主义的，他们也就觉得这个很好玩，就说我们做这个笑话，我们在想做一个完全没有用的一个币，我们把它发了。
那个狗狗币它从开始就变得特别火。其实我自己在2016年的时候，我花了25000美元买一些狗狗币，我的钱都变成了可能1000多万，对，所以我也是一个早期的狗狗币的投资者，比较成功。
狗狗币是第一个meme coin吗？我好奇。真正意义上的第一个meme coin对吧？
对，第一个很多人知道的一个meme coin。2020年的时候狗狗币是非常非常成功的，很多人开始了思考，如果第一个狗狗币能到达一个500个亿的市值，如果他们自己开第二个狗狗币，如果第二个狗狗币能够到80个亿，那这个也是很爽。所以对，他们都开始了发自己的狗狗币。
所以最大的就是Shiba Inu（柴犬币）。他们也做了一个很好玩的事情，就是他们把他们的币的那个supply（代币供应量）的一半放在我的钱包里。因为我的那个钱包有一个公开的机制，他们把他们的币的supply的50%都放到里面。那个时候我的那个钱包是一个冷钱包，那个钱包的私钥只在两个地方存在了。
第一个地方是一个电脑，就是一个跟互联网完全没有连接的一个电脑，那个电脑那个时候在多伦多。第二个地方就是有两张纸，每一张纸上有一个数字，一个数字是在多伦多，另外一个数字是在我包里。如果这两个数字加起来，就会变成那个私钥，所以这是一个纸张备份。
那个时候还是疫情的那个时候，所以我很长时间什么都没有做。但是有一天我发现了，这些币的市值就真的到了80个亿，就真的非常非常夸张的。所以我就选择了，那好吧，它们有可能一周之内它们的市值变得那么高，但可能一周之后这个泡沫就会被炸了，就是它们再次会很低。我那个时候在西雅图，我买了一个新的电脑，我给我的妈妈打电话，我让她读在多伦多的纸上的数字，我在电脑里把两个数字加起来了，我用了那个私钥。我研究了那个Gnosis Safe，就是一个更安全的多签名的钱包的代码，就是我自己把Gnosis Safe的整个代码两天之内审核了，就是为了会有一个新的我能放我的以太币的一个钱包。
对，所以我做了很多的很复杂的工作，最后我把那些狗狗币拿出来了。然后我把那些他们给我的、他们放到我的钱包里的那些狗狗币卖了。一开始我把它们很快速就卖成以太币了，大概我赚了可能7000万美元的以太币。我把大部分捐给了Against Malaria Foundation（抗疟疾基金会），就是他们给人买那些蚊帐的组织。这个钱可能是我能够拿出来的最多的钱，那应该给一个比较安全的、无争议的一个组织。也许有一些人会说给非洲人买蚊帐是一个你能做的非常非常重要的事情，也有一些人觉得这个不怎么管用，但是没有人觉得这是坏的。我也给了一些longevity的组织，还有一些其他的。
我因为market depth不够高，完全没有这个liquidity（流动性）让我买那么多的那些狗狗币，所以我卖成以太币之后，我还是留下了非常非常多。所以我就决定了，那好吧，大概现在这些币都会跌得很快，都会跌得很惨，但我还是把我剩下的币给一些其他的我觉得比较好的组织。如果他们自己卖掉的时候，他们能拿到一点点那就好，就是在我的思想里，他们最多能拿到可能是2000多万。对，所以我给了可能一半给印度的一个抗COVID的组织，另外的一半我给了FLI。FLI是Future of Life Institute（未来生命研究所），他们在那个时候是一个研究开始对抗所有的Existential risk（可能终结人类的风险）的一个组织。于是他们研究了生物相关的风险、AI相关的风险、核战争相关的风险，就是每一个非常非常大的风险他们有一个部分在研究。他们跟我介绍了他们的一个计划，就是他们说了他们理论上能达到最多一个亿，但是2000万他们也能做非常多。所以我说那好吧，我给你们我的柴犬币。
对，所以三个月之后，我发现了那些狗狗币它们并没有跌。所以FLI和那个印度的CryptoCOVID卖完了他们的币，他们一共——就是几个组织拿到了4.7个亿，就是印度的CryptoRelief（加密救助基金）的组织，对不对？对，然后FLI他们，我不知道他们具体拿到了多少，但是有可能4个亿，有可能6个亿，就这么多。
4到6个亿？
对，我完全没有想象的一个结果。如果我想过这个结果是有可能的，就是我会做的事情会非常非常不一样的，但是是这样发生的。所以我下一年，其实我跟CryptoCOVID的那个组织的Sandeep聊天了，就我说服了他，把他的钱的一半还给我，然后我们开始了做自己的一些抗疫情的工作，包括研究过滤器、疫苗。我们捐了给一些开源的疫苗的公司，一个是RADVAC（开源鼻喷疫苗项目），一个是PopVax（印度生物技术公司）。PopVax它们上周就发布了一个文章，就是它们现在的发展非常好，所以现在至少一部分的开源疫苗现在是存在的。对，所以这是第一部分，还有对什么过滤器、紫外光——就是那个UVC（短波紫外线），还有口罩，还有long COVID（长新冠）的研究。一开始是抗COVID的工作，但是下一年，其实COVID并没有结束，但是大概2022年初大家都觉得COVID结束了，所以我们开始了抗疫所有的空气传播疾病这种项目。对，所以我们用了两个亿就做非常多。然后Sandeep，他用了他的2.7个亿，可以说是升级了印度的整个Medical manufacturing（医疗物资生产能力）的能力。
FLI它们大概在这个时候，GPT-3出来了，所以他们的思想有一个非常大的变化。第一是他们从关心所有的Existential risk，他们变成了只关心AI；第二就是他们从一个研究的态度变成了一个政治行动的态度。他们开始了用一个很具体的strategy（策略），他们开始了思考他们应该支持哪些法律、应该支持那些什么政客，他们开始了做很多我要么不认同，要么如果是我的钱我不会自己做的事情。所以他们就开始了走自己的一个方向。然后我跟他们说了两三次，就是沟通我们用那两个亿的钱做的那些看Airborne disease（空气传播疾病）的工作的项目和他们的结果，因为我跟他们说了，我的原来的目标就是支持所有的Anti-existential risk（对抗存在性风险）的领域，所以我就是希望他们diversify（扩大范围），我有很多已经成功的项目他们可以diversify，但是他们拒绝了。他们要把他们的钱都放到一个AI-centric和一个Policy-centric（以政策为中心）的方向。同时他们的那些法律又开始出来了，有很多的a16z——就是有很多的那些硅谷的投资者开始很不开心，所以他们就开始了把AI safety当他们的主要的敌人，这个大概2023年的时候开始的。
捐赠选择与有效利他主义的演变
你当时选择捐赠的时候，它其实有非常多的组织。您刚刚提到了像CryptoCOVID Relief跟FLI，你是捐赠的SHIB（柴犬币），还有一些捐赠的是ETH（以太币）。我注意到你还捐赠了GiveWell跟MIRI，这四个组织你是怎么选出来的？当时是会有一个什么样的目标去选择了这些组织？
大概我在每一个领域我选择了大家认同的一个比较default（默认）的组织，大概我选择了那一个我认为很重要的领域。如果你五六七年前问我，在一个领域里面应该捐给谁，他可能会有同样的答案。
你觉得现在你的这些想法有变化吗？怎么捐以及如何捐，包括其实捐赠以后我们也看到整个世界在发生变化，AI在迅速地成长，他们可能把这个钱用的方向跟开始我们想去非洲治愈疾病会有一些初衷会不太一样。
我觉得EA里面有一个重要的概念就是neglectedness（被忽视程度）。Neglectedness的意思就是有没有其他的人已经在做。比如我们可以思考一个问题，就是水，水是非常重要的。有可能在非洲有这个问题，就是给有一些人脏的水，如果他们有干净的水，他们不会得什么病毒。这个已经是一个Global public health（全球公共卫生）的部分，这个EA的组织已经在研究，但是我们自己参与是没有意义的，因为已经有非常多其他的人在思考。所以neglectedness这个概念就是，如果一个话题是重要的，现在已经思考这个话题的人是不是真的太少了。大概我10年前认为每一个EA和每一个理性主义相关的领域——包括其实EA他们从来没有理解为什么，他们从开始没有特别研究longevity，但是他们每一个领域10年前都是非常被忽视的。
但是现在我觉得并不是这样子的，现在AI的安全是一个非常高级的话题，还有在longevity的这个话题。Global public health其实2025年的时候它受了很大的伤害，因为那些Elon Musk做过的都是和那些美国的一个政治变化，他们之前支持了很多的Public health相关的项目，他们很快很快就停了，制造了更多的问题。所以对global public health，我觉得现在是变得更重要的。但是比如在疟疾蚊帐的那个话题，现在开始有一些抗疟疾的疫苗，有很大的问题，但是发展现在也有。对，所以现在有可能Global public health还是一个非常值得支持的话题。但是大部分的其他的领域，他们的问题现在并不是neglectedness，他们的问题是如果大家做得不对，那就意味着问题并不是资源太少，而是大家做的方法可能是不对的。这种问题的解决方案是完全不一样的。
AI安全挑战与政治化困境
现在你本人会关注AI安全问题吗？因为我发现我们在说EA的时候，它的重心是有好几波的转移的。最开始可能是由比如说全球健康问题，类似于蚊帐问题、驱虫问题；中间还有一波，大家有一段时间我记得还关注过动物的福利问题；现在来说它其实就是长期主义和AI风险。
对。
所以现在AI安全会是你关注的问题吗？还是你觉得它已经有人在关注了，你更想把注意力转移到其他更多、更重要的问题上？
我觉得现在越来越多的问题是跟AI安全有关系的，所以不思考AI安全是有点难的。但是现在更大的问题不是研究AI safety的人不够，而是那些AI公司里面很多的incentives（激励机制）——就是很多的激励方式出了问题。就是OpenAI和Anthropic它们都希望自己的公司赢了，对，所以他们都做得非常快。如果现在大家AI的发展做得那么快，其实风险是最多的，因为我们就不会有足够的时间去思考怎么把AI做得安全，怎么能用AI做一个我们希望有的世界。
还有一点，大家可能最重要的并不是我们现在做的AI安全相关的研究，而是那些公司在做一个最强的AI的时候，它们的目标是安全还是它们自己赢了是最重要的。现在我们很可能会需要用现在的AI的版本——就是我需要用AI version N为了研究AI version N+1，我们会需要现在的AI的级别去足够了解下一个AI的级别相关的安全问题。所以很可能我们三年前、四年前做过的AI安全的研究也不是很有意义的。他们会发现我们花了很多的时间、很多的资源在研究AI安全，发现了现在在一些最核心的问题，包括那些AI alignment的问题并没有很多的发展。所以更重要的我觉得不是我们现在做的研究是多少，而是那些做AI的公司在做一个最强的、就是开始有非常大风险的AI的时候，他们会不会放足够的注意力在自我的安全，这个我们不太知道。
然后解决这些问题也并不是一个研究的问题，真的开始变成一个Policy（政策）的问题。但是policy的问题一个最大的挑战，就是你很难知道一个policy是好的还是坏的。对，所以一个policy的问题是跟之前EA的人思考的问题是非常不一样的。因为之前的EA他们平常会思考的问题就是：如果你捐给一个charity A，你可能会救10个人的命；如果你捐给一个charity B，你会救100个人的命。你的挑战就是你要知道哪个是10，哪个是100。但是现在是完全不一样的，是因为你在支持一个policy，那个policy有可能它会有好的效果，也有可能它会有坏的效果，其实都不知道哪个效果是好的，哪个效果是坏的，是很复杂的。这个policy它有一些直接的效果，就是它怎么直接影响那些公司的激励；它也有一些indirect effects（间接影响）。比如如果一个很有钱的人比较公开地花5个亿就支持一些政治的话题，很可能其他的人会很不开心，他们都会觉得有一个土豪在影响我们的政治，然后这个AI safety的agenda（议程）他们会开始觉得就是一个只有土豪思考的东西，所以很多很多人就可能会开始反对AI safety。
这是一个man versus man的问题。因为至少在加拿大的学校，我们在研究那个literature，在研究文学的时候我们会说有一些是man versus man，有一些是man versus nature。Man versus nature就是人对抗天然，Man versus man就是两个人直接在打架。Man versus nature其实更简单，Man versus man是特别复杂的，因为你在对抗的那个挑战是跟你一样聪明的，所以你做的事情能有的效果有可能是会非常复杂的，对。所以我就觉得EA的思想它们在man versus nature的这些领域我觉得是非常管用的，但是在man versus man就变得复杂很多。
我觉得这个说得特别好。我觉得你刚刚讲的关于只有土豪在关注AI safety这件事情它好像已经发生了，而这个大家好像已经就觉得和EA有关的这些捐赠其实已经导致了对AI safety现在和EA的联系非常的密切。包括说互联网上也有很多对于EA反对的声音，就是因为很多EA相关的组织它们和最近我们看到的一些比如说安全研究员，他们从OpenAI、Anthropic离职有很大的关系。
对，所以这个也是一个很多EA的人错过的很大的错误。其实大概就是这个故事是从FTX的那个事情开始，因为如果你骗很多人的钱，你同时用这个钱捐给一个政治的话题，那一定很多人会开始觉得这个政治的话题就是骗钱的人会思考的。所以他们做过的那些大规模的政治相关的事情就同时有非常多的错误。还有一点就是其他的人能怎么知道他们是不是犯错误的，一部分是了解这个问题，但是其他的部分就是了解其他的人。大部分的EA他们都并没有意识到SBF有可能是有问题的，有可能也是一个man versus nature变成man versus man的一个例子。就是因为EA变得更institutional和更political之后，以前的一个思维方式就开始变得更容易犯错误了。
现在EA也已经分成了很多很多复杂的不同的部分，因为很多Anthropic的人他们也是很长时间关注AI的，现在也有那些Dustin Moskovitz，也有一些FLI，也有很多其他的，他们每一个都会说他们和其他的是不一样的。但是他们变得特别复杂的是，他们也有很多也觉得Anthropic是不好的，但是Anthropic自己一定是觉得Anthropic是好的，对，所以就变得很复杂。
理性主义者与AI各派系分歧
对，我觉得这些大公司好像都在变。如果归纳总结一下，感觉硅谷有这样几个大的派系：EA是一个，理性主义一个派系，还有一个就是以Andreessen Horowitz a16z为代表的e/acc，它是AI加速主义。感觉现在应该主要是这三大AI流派，还有你的d/acc。
对。
对。
对，其实也有更多。我可能会说第一是支持Anthropic的EA，第二是离Anthropic更远的EA，第三还有PauseAI（“暂停AI”运动）。PauseAI它们是更populist（偏向民粹的）一点，他们是更愿意跟一些更主流的人合作，他们也更愿意直接说所有的理性主义和AI是不好的。第四就是叫那个e/acc，包括Jeff Bezos，还有a16z。
理性主义者他们的位置现在是很有意思的，他们有很多人他们的思想也是很不一样的，但是他们也一直会觉得他们和EA是类似的，但是也有很多很重要的区别。如果你现在看到理性主义的人和一些新闻，你会发现差距是很大的。从开始我的解释就是，EA是更会思考那些人他们可以做的事情是不是正确的；理性主义他们主要的motivation（动机）就是curiosity（好奇心），就是思想，他们喜欢思考很多有意思的话题，他们喜欢更公平的思想。我觉得理性主义者他们从开始就更喜欢玩，EA是非常严肃的、非常认真的：“我们在救人的命，我们不能玩，我们有我们的工作，我们是拯救这个世界的战士。”但是理性主义他们从开始就是，比如Yudkowsky他写了那个书HPMOR——《Harry Potter and the Methods of Rationality》，那个书可以说是一个同人小说，也可以说是一个Parody（戏仿改编）的Harry Potter，他的假设就是如果哈利·波特是一个理性主义者，他会怎么看Harry Potter的世界，我觉得那个书其实很好玩。Scott Alexander其实有更少的人知道，他也写了一个书叫UNSONG（《无歌》），对，UNSONG，他的书也很好玩。然后Yudkowsky他开始写得更多，就是他有很多的受动漫启发的虚构作品。
上个月有Aella做的那个活动更drama，然后有很多、很多的EA他们都对Aella和Lighthaven的那些人很不满意：“就是你们在做这个活动是很controversial的，其实这个活动的reputation（声誉）不好，你们为什么非要这么做？不是AI safety比你们想做的这些其他的事情更重要？”但是我一直觉得理性主义的人最终他们不愿意听这种论点，他们不能为了自己的reputation接受就是有一些话题、有一些行为是封闭的，他们更喜欢be yourself。我觉得他们在心里觉得人应该忠于自己的心，如果你喜欢这么做，如果这个不直接伤害其他的人，那你应该去做；如果其他的人被得罪，就是他们的问题。所以他们不那么愿意be strategic about how we think, how we behave，就是他们会更直接：“我觉得X有意思，我就要研究X。”
那些EA他们更会觉得：“我们应该说什么为了得到最多的支持？为了降低我们的风险？”其实因为他们这么做，我觉得也有更多的人怀疑他们。比如人在判断政客的时候，大部分的人他们总是会更喜欢genuine（真诚），大部分的人他们也会更喜欢——如果一个人很明显地隐藏自己在想什么，这个可能也是一部分为什么有很多人只喜欢特朗普的而不喜欢民主党的，对。所以EA的人他们确实会特别努力地、特别optimize（优化）自己的一个public perception（公众观感），但是有时候还是会有一些他们很难预测的后果。
我还注意到，其实我们现在说刚刚我们提到的几股派系的时候，EA它是真正把钱跟机构运转起来的，但是我们说理性主义者他好像并没有拿很多的钱。e/acc我可以理解背后的力量，它其实是有VC在背后支持的。我们如果也把这个理性主义者作为一支力量，一个运动它不建机构它能走多远呢？
可能不太多。理性主义者他们的心里他们就是猫，cat，对，把他们放到一个机构里他们就会不开心，他们会觉得不自由。
确实，我觉得Vitalik其实更是一个spiritually（在精神气质上）是一个理性主义者，而不是一个EA。其实你做的很多事情很理性主义者，比方说你最近写小说，对吧？
对。
你在写什么小说？
科幻小说，非常推荐大家去看，叫做《Snow Moon》。
好。刚刚听下来，我感觉这是我听过的对理性主义者最好的一个评价。因为Yudkowsky是什么？他八年级的时候就退学了，他就相当于是——就是一个小孩，然后他就在家里想，他就come up with这么一个宏大的世界观，就说AI有一天会成为凌驾于人类之上的智能。然后他拿到Peter Thiel的钱写fan fiction（同人小说），《哈利·波特》这个可能有60万字。所做一切事情，其实就从我们角度来说都觉得他很奇怪，但是可能他确实又影响了这么一批人，对。所以感觉理性主义者确实是，我觉得我接触的很多理性主义者都是需要很长的时间去理解他们到底在想什么，为什么要做这样一个事情。
刚刚你提到有支持Anthropic的EA和反对Anthropic的EA，这部分可以展开讲讲这两类人他是有什么样观点上的不一样吗？
围绕Anthropic的争议与立场审视
支持Anthropic的人他们会说AI是很危险的，但是不做AI是不可能的，因为这个世界有很多不同的团队、不同的公司、不同的国家。所以唯一的办法就是如果一个公司有好人，应该由这个好的公司赢，因为它们在赢的时候至少它们会有更好的原则，它们在最需要的时候会花更多的精力把AI做得好。那么其实有很多的方面你也可以说就是Anthropic比OpenAI更好。你看那些公司它们在公开做什么，你看到OpenAI的那些internal drama（内斗），你看到核心的人的思想和思维是什么样子的。还是应该保证至少唤醒人类的人会变得最强大的AI的公司，就是Anthropic的人他们也会说他们真的在做非常多的安全相关的研究。
他们的一个co-founder Chris Olah，其实我有一个好玩的故事，就是我和Chris Olah跟天主教的爸爸——Pope（教宗）。
Pope（教宗）。
对。
爸爸？没有，对不起，因为在很多语言Pope就是爸爸，教父，对，主教。
我和他在多伦多我们去了一个非常小的private school（私立学校），它叫Abelard School，它一共有45个人，所以每一个班就有11个。我进入了九年级的时候他在十一年级，他给我介绍了很多关于计算机科学、关于数学的东西。其实我开始用Linux、我开始非常支持开源的一个原因就是他。
这是一个私立高中，对吧？
对，私立高中。我觉得至少Anthropic co-founder是一个好人。那反对Anthropic的观点就是：第一，incentives，这个激励还是很强的，一个人很可能从开始会觉得自己特别好，但是如果把它放在一个更危险的、有更多的竞争的一个情况，那不然会很容易开始找理由说为什么对它好的事情都是对的。不管Anthropic是不是更好，他们还是把AI的发展速度就加快了很多，现在有这个AI race的一个很大的原因就是他们。
那是我最近听到的一个有意思的一点：OpenAI他们其实愿意把AI的发展做得慢一点，所以就是他们2024年、2025年的时候就没有把他们的所有的资源放到做更好的frontier models（前沿模型），他们开始了要做Sora，他们的那个video model，他们开始了做更多。然后今年初Mythos（Anthropic的前沿模型）出来了。Mythos出来之前，我觉得我们都会觉得GPT是最强的，我们都会by default在用GPT的，但是有一个事件，他们开了那个Mythos后，他们给了我们Fable之后，真的有这个感觉，Anthropic是走在前面创造的人。于是大家都开始觉得那Anthropic同时是一个更强的，它可能会赢的。就是在有很多人开始了用Claude那个时候，OpenAI他们也开始了把他们的很多side projects（副线项目）就关掉了，他们加速就是更focus做非常强大的models。所以就是有可能他们还是帮助了AI race做得更快，这个效果也可能会超过他们所有的安全相关的工作的效果，对，这是第一。
第二就是——所以这个是理性主义的和EA对Anthropic的一个批评，就是一个理性主义和一个AI的人怎么会说Anthropic做的事情是有问题的。就是他们有可能觉得他们做得更安全和他们更好，但是他们还是参加这个race（竞赛），他们还是因为他们的参与加速了AI race，还是增加了我们的危险。
还有另外一个可以批评Anthropic的一个方向就是，你可以说这是一个正常人的针对Anthropic的批评，他们的philosophy of safety（安全哲学）：“我们应该有权力，因为我们好；你们不应该有权力，因为你们不好。”其实这个philosophy of safety有很多人是这么思考的，那比如独裁也是这么思考的。但是很多人也会觉得就是：那好，你们觉得自己是好的，其他的人是坏的，那如果我们不同意呢？谁在决定？他们的这个safety strategy，第一就是我刚才说过的，就是他们还是参与这个race，这是一个好主意——如果他们真的比OpenAI更好，比中国的那些AI公司更好等等。但是在这个世界里有很多人他们都有自己的很多的观点。就是我们上周我看到了有一个好像是一个DeepSeek的一个人写了一个文章，就是他觉得他们在做开源的这个AI是非常重要的，他也说了他觉得Anthropic赢了是一个希特勒的那个级别那样坏的一个情况。
对，所以如果一个公司能说“我们应该赢，因为我们好，你们都不好”，那为什么其他的人也不能这么说？他们今年开始的时候就是他们反对open source，于是这个变成了一个很流行的话题，就是开源的AI是更危险的，就是因为没有人控制它。但是现在按照我的理解，所有的最危险的攻击还是都是通过GPT和Claude做的。所以你可以听他们的每一个论点听起来是有可能有道理的，如果你同意他们的前提那你也会同意他们的结论，但是你也会发现他们做的事情和他们公司的利益的相关性可能高于90%。就是他们真的是为了安全，还是他们利用安全和EA的这些掩盖他们的——我也不想说他们的profit motive（逐利动机），因为如果你真的相信AI就是profit并不重要，于是他们都觉得这个不是profit，是大概就是谁会控制未来的世界。他们做的事情公开说的论点是很美好的，但是他们做的事情和提高他们自己的权力的事情的这个相关性高于90%，那我们应该怎么想，对？所以大概我可能会接受这个就是批评Anthropic的这个立场，大概这么解释的。比如那个PauseAI的人他们大概也会这么说的，就是很多人不太相信Anthropic公司，他们觉得那些公司他们的人都是EA，他们都有很奇怪的这个思维方式。一个奇怪的思维方式是可以有的，但是他们比较明显地觉得他们希望的结果就是他们自己控制这个世界最强大的AI。如果你的思想不是AI，那你为什么会相信他们？我觉得他们现在的这个问题还没有很好的答案。
其实我也在想，这是不是就是这几家AI公司刚开始成立它就刻在基因里的问题。因为最开始OpenAI成立的时候它也是一个非营利组织，我觉得它成立跟AI安全就有关系。然后在中间的过程中，其实我看见《纽约时报》里面的一篇文章写说，OpenAI早期就是Greg Brockman他是每天会带着员工去读这个Yudkowsky在这个LessWrong上的文章的。后来其实Sam Altman被踢出OpenAI是个标志性的事件，其实那个时候就是OpenAI非盈利性的这一部分的性质、就是EA的这一部分的组织相当于取得了一个暂时性的胜利。但是他之后的回归可能又是e/acc跟EA之间的一次抗衡，最终e/acc又阶段性地胜利了。但是我觉得在它的组织架构从非盈利性到公司的转变，包括Sam Altman这种被踢出去又回来，包括现在大家对AI安全的所有讨论，就可能从一开始就是在他们公司基因里、在他们公司价值观里就一直存在的。
对，就是OpenAI的一个很主流的批评的方向。我有一次说过了，就是他们一开始是OpenAI，然后他们sacrificed openness for safety，然后他们sacrificed safety for acceleration。
大概真的是这样发生的。就是他们可能2020年的时候就开始说，GPT-3太危险了，不能把它开源，因为我们是注重安全的。然后他们一开始有了一些safety pledges，就是他们许诺了做一些事情，做得更小心，为了安全。但是他们把很多他们许诺过的事情，包括给一些政府的组织，他们最后没有做，因为对他们的发展是很不方便的。
d/acc概念与去中心化防御
你觉得你提出的d/acc这个方式，是一个替代的解决方案吗？
那我可以先介绍一点这个d/acc的概念，大概就是defensive（防御性的）、decentralized（去中心化的）或者democratizing（民主化的）acceleration（加速主义）。大概有三个点：
第一个点是acceleration，就是技术的发展是重要的。
第二个点就是defensive，我们现在需要花更多的能力，做一些可以保护我们的技术。比如现在有AI的黑客会不会攻击我们系统的一个风险，那我们需要放很多很多的资源在这个cybersecurity里面。以后AI会不会让一些更危险的病毒更容易出来的这个问题，那我们现在就开始多做一些抗病毒的事情。对，就是defensive的这个部分。
然后还有一个部分，就是democratizing或者decentralized，就是我们在做的事情都是不集中权力的，就是我们做的事情是empower regular people，这个也包括开源，也包括一些其他的原则。
其实defensive和democratizing也是很相关的。如果你看，比如在欧洲的中心，比如在瑞士、在一些其他的地方有很多山，在那个地方其实更去中心化，就是更小的国家，更容易有很多的更独立的城市，每一个国家也会尊重每一个地区的自治等等。但是你走2000公里往东边，你会发现完全没有什么山，河也很少，如果有一个人在骑马，他就可以骑1000公里，就完全没有问题。那在那些领域更容易就有一个很大的国家，那个国家有一个独裁，就是这个专制就变成一个default。所以如果没有decentralized defense（去中心化的防御能力），如果没有瑞士和欧洲有的那些山，那唯一的有可能的效果就是centralized defense（集中防御），就是一个组织会控制一切。对，所以这是一个analogy（类比）。
下一个问题是，我们怎么在我们的世界里能够做更多的这种去中心化的防御？所以就需要研究这个数字安全、生物安全。其实这个pandemic prevention（疫情防范）是很重要的。
但是在一些疫情防范的领域，就有一些d/acc的方式，也有一些完全不d/acc的方式。就是比如，我发现了很多的现在EA的组织，他们会把他们的资源的80%放到一个问题，就是我们怎么能在AI的模型里面不让它能帮助人去做更强大的病毒，他们就想在AI的模型中解决这个问题。但是这是一个中心化的防御，因为如果有其他的人在其他的国家有自己的模型，那他们就有可能不会用你的技术，那你还是有这个风险的。
还有一点就是，其实我在跟很多的研究抗病毒这个话题的人在研究，他们现在担心的话题也并不是什么科幻的那种超级病毒，他们在担心的是短期更可能会有更多的比较正常的病毒。如果是这样子的话，那其实你们做的那些在AI上的限制也不会有很多的作用。
如果去中心化的防御是完全不可能的，那集中防御有可能是唯一的办法。但是集中防御也是更fragile（脆弱）的，就是它更依靠于你的假设关于谁会做最强大的模型、危险会是什么样子的，是完全准确的。对，所以去中心化的防御，比如在一些抗病毒这个话题，就是要做更好的检测，做更好的过滤器，能够做更快的疫苗，能够把每一个新的病毒刚发生的时候就更快地发现它，更快地开始做一个疫苗，就是一些更正常的事情。但是那些事情是更类似于public health，就是不那么类似于一个玩电脑的一个问题。有可能是因为很多人不那么容易往这个方向思考，因为他需要一个他们没有专门知识或技能。但是我觉得这个一边是更能成功，另一边是不需要你自己控制这个世界的每一个AI才能成功。
AI发展中的认知论困境与公众担忧
我特别喜欢你这个说法，因为我觉得我对于AI安全最大的一个问题就是，好像很多的不论是现在在媒体上被放大的这些说法，还是这些安全研究员在X上推崇的说法，好像我们都是在考虑长期的影响，但是我们在现实生活中已经看到了很多这种短期的影响，比如说像deepfake（深度伪造），甚至网络安全这些问题。对，所以我觉得我们今天这个播客，其实我还是希望能够落脚于对于很多普通人来说吧，我们到底应该怎么样去思考AI安全这个问题。
然后我知道Afra你最近其实也有一些想法上的变化。
现在其实整个AI领域遭遇到了非常多的认知论上的一些问题，而这些其实都是在逻辑上是很难应对的问题。所以现在的现状就是，感觉是进入到了一个幼儿园，然后这个幼儿园里面有一群哇哇大哭的小孩，但是在这个房间当中没有大人。是因为其实很多研究员也不知道到底是什么情况。但是与此发生的是，巨量的资金仍然在投入到各种各样data center的建设当中，就数据中心的建设当中。按照当下的这种data center的建设速度来说的话，这种涌现的效应只会越来越多。所以这也就回应了之前人们的认为，就是说AI的这个能力不会一直这么提高，这种低垂的果子总会被摘完的，这样的一个现象。但是其实现在当下的AI，是感觉这个果子的数量是无穷无尽的。
所以我自己可能觉得最困惑和有点害怕的地方就是，现在这个AI的发展是有一个很严重的认知论的问题，就是这些研究员不能用人话和不能用一个数学的方法去解释这些AI到底有多强，以及解释这些AI到底想干嘛，这是让我比较忧心忡忡的问题。
最近的民调也显示说，美国的很多普通民众开始对这个话题感觉到恐惧，就包括Bernie、像华盛顿的一些政客也开始加入到PauseAI的行列当中。同时，就美国当下的这个政治现实是，AI民粹主义非常严重。所谓的AI民粹主义就是，人工智能并不是某种中立的技术，而是被一个科技界的亿万富翁所掌控的一个精英的技术，这个技术的目的就是要集中权力，并且取代普通人、取代劳动者。所以人们现在对于AI又有这样一种恐慌，然后再加之这种AI末日论的言论，再加上什么Jacob Coxon，对吧，他自己的吹哨。所以我觉得现在就是这样一个很奇怪的现象。
对，因为我觉得我会比较想听的是，你觉得as a normie（作为一个普通人），就是作为普通人，你觉得从AI safety的这场辩论当中，你希望他们的takeaway（结论）是什么？
不确定性、机制设计与经验主义的AI安全
现在的一个最重要的关于这个世界和现在技术的发展的fact，还是有很多不确定的。我们还是不知道：第一，AI发展会多快；第二，一年后、五年后、二十五年后，人会比AI在哪些领域里面更能做事情，就是人会做什么；第三是那些安全的问题是不是能解决的；第四，有可能OpenAI和Anthropic还是会最强大的AI公司，还是有个情况会变，就是比如会不会Google变成第一个，或者会不会一些中国的AI的公司会catch up。所以是有非常多的不确定的。
这个其实也包括一些话题，就是一个AI是不是更像一个工具，还是更像一个人，还是更像另外一个东西。就是对，我同意你说现在已经完全不是一个简单的工具，但是我们一年后和三年后跟AI会有什么样的interaction？如果AI不会完全自动的，那我们在什么情况下会干扰它？我们怎么会指导它在做什么？这些都有很多不确定的。
对，所以我一直就是不愿意说我的P(doom)是99%，也不愿意说是1%或者0，真的有很多很多能发生的事情。比如四年前，我们并没有知道AI发展的下一个阶段会不会通过这个chain of thought发生。
那现在有一个问题就是，因为现在它们开始思考，有这个neuralese（神经语言）的概念。因为现在AI在思考的时候，它还是用英文在思考，你或者机器人还是可以研究它是怎么思考的。其实我发现我喜欢用开源的模型的一个原因之一就是，你可以看到它们思想的每一步，其实你在看它们的思想的时候，你也可以了解更多，你也可以学习很多。但是neuralese的这个概念就是，如果AI不会用英文思考，如果它们开始用一些只有自己了解的，就是很多很多百万个数字开始思考，那我们了解它们的思想的能力会降低很多，但是会降低多少，这个也不知道。
我们一年后会有很多的parallel agent，还是会有一个agent？还有一点就是，AI safety的那些strategies会有什么样的变化？
其实在这个领域里，我有一个思想就是，我觉得AI safety更可能不像一个工程的问题，就是不像一个engineering problem，其实更像一个political design的问题。就是如果你在思考，比如现在的一些政府的架构是怎么做的，有不同的部分，有checks and balances的部分，就是每一个部分的一个目标限制其他的部分，就能降低犯很大错误的可能性。还有，有很多的不同的人互相说话的一些地方，但是也有一些情况，就是有一些人是不应该互相说话或者互相有太多的关系，所以同时有communication，有separation，有一些部分是更慢的，有一些部分是更快的。这些他们都是想用一些非常聪明的但是不完美的组成部分，就是人作为一个更稳定的一个机器。
有可能就是一个安全的AI，并不会有一个数学家会喜欢的一个证据，就是这个AI的目标设置的是对的。有可能我们会有三个不同的方法去设置我们的目标是什么，有可能它们三个之间会有一个机制，它们就是互相限制自己的风险，它们也会知道什么时候应该再一次问那个用户他到底想要什么。这也就是有可能AI的安全会往这个方向走。
但是如果它这么走的话，那它也会变成一个非常empirical的一个话题，就是你会需要跟现在存在的AI在合作，就是你会需要了解它们，你会需要跟它们做事情，你会需要知道它们在什么情况下会成功，在什么情况下会犯错误的。AI safety就会变成一个不那么theoretical，但是跟我们已经在用AI做事情的有关系的一个领域。但是这个也只是有可能。
有可能最重要的就是，最近十年AI的发展的速度还有方向有非常多的surprises，我觉得不能现在过于决定一定会这样子的、一定不会那样子的，keep an open mind才是最重要的。
好，谢谢大家。
感谢大家，谢谢。
谢谢你们。
拜拜。
拜拜。
结语与主播感悟
聊到这里，我们再回头看“有效利他主义”这个名字，就会发现，当初那个朴素的问题其实一直都在，那就是怎么用有限的钱和时间帮助更多的人。我在大学期间也接触到了学校里的EA社群，和Afra说的一样，我接触到的EA的参与者都是心怀理想、坚持实践的一批人。不过对于如何将原则落实到现实当中，这些具体的实践手段，甚至什么才是我们必须要关心的议题，我们都产生过很多争执。在AI的社群内部，关于你究竟该做什么，也像嘉宾说的，一直没有一个完整的共识。
或许当EA所关心的对象从眼前需要帮助的人延伸到尚未出生的世代、甚至未来可能出现的智能，判断什么是有效就必定变得越来越困难。对我们来说，理解EA也是为了更具体地理解今天的AI：谁在决定它的发展方向？谁在定义哪些风险值得关注？当有人以全人类的未来为名做出选择的时候，其他人有没有参与、质疑和纠正这些选择的机会呢？这些问题会随着AI的发展，越来越直接地影响我们的生活。希望这期和Vitalik还有Afra的对话，能给大家一些继续思考和讨论的线索。
那么以上就是我们这期播客的全部内容了。国内的听众可以通过小宇宙、苹果播客、网易云音乐、喜马拉雅、QQ音乐、蜻蜓FM、荔枝FM来关注我们。海外的听众可以通过苹果播客和Spotify，或者在YouTube上搜索“硅谷101”播客来关注我们。我们部分的文字稿还会收录在《硅谷101》的微信公众号上。谢谢大家的收听，那我们下次再见啦！