--- author: 硅谷101 date: '2026-06-05' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=F7oNfszczVc speaker: 硅谷101 tags: - recursive-self-improvement - artificial-intelligence - reinforcement-learning - scientific-discovery title: 田渊栋谈加入RSI、递归自我改进与AI发展趋势 summary: 田渊栋专访中介绍了其联合创立的AI研究公司RSI、递归自我改进理念及自动化AI科研愿景，并就大模型竞争格局、组织架构影响及蒸馏员工等行业趋势分享了观察与思考。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: - 田渊栋 - Richard Socher - 熊蔡明 - Tim Shi - Tim Rocktäschel - Jeff Clune - Josh Tobin - Alexey Dosovitskiy companies_orgs: - Recursive Superintelligence - Meta products_models: - Muse Spark media_books: - 《硅谷101》 status: evergreen --- ### 播客引言与背景 大厂不需要那么多人了，所以大家就得找到自己的意义。 今天的这期视频播客，我们来到旧金山城里，嘉宾是我们的老朋友了——田渊栋。田渊栋作为Meta基础AI研究实验室FAIR前研究总监，在去年被裁员之后，历经半年，他最近是官宣了新动向：与其他7位顶级研究员一起创立了新的AI研究公司Recursive Superintelligence，简称RSI，融资6.5亿美元，估值达到46.5亿美元。 这个令人瞩目的新实验室想做什么样的事情？为什么资本会如此看好他们？那么过去半年，AI市场的格局迅速变化，他又如何看待模型技术的趋势与瓶颈呢？ “你是正式的官宣来到了RSI。” “半年前接受你们采访的时候，其实已经差不多定了。很小很精的团队把一件事情做成了，成为一个大的趋势。” “但RSI有8个co-founder（联合创始人），在没有任何产品出来的前提下，为什么觉得资本会对你们买账呢？” “最顶级的资本还是看人。” “Recursive self improvement（递归自我改进），你们为什么觉得这个方式很关键？” “用AI来优化AI自己的一些东西，让AI变得更强。用AI来做新的发现，我们可以增加人类社会进步的速度。” “那如果说你们的最终目标是10的话，你觉得我们现在大概是在一个什么样的阶段？” “也许我们现在在1和2的这个位置上。” “你们实验室会从pre-training（预训练）从头开始做吗？商业化方面有任何的思考吗？迭代速度可以披露吗？你们为什么要把自动化AI科研作为第一步？” “我们应该把目标放得更长远一点。因为如果我们对科学的研究的过程本身有建模的话，你可以拿来做很多事情。” “你怎么看世界模型的？” “我觉得语言跟视觉相比，语言还是一个更加有信号的东西。有一些前沿的路线是想把diffusion（扩散模型）跟LLM有一个组合，速度上来说肯定会变更快。pre-training（预训练）的上限其实是决定了RL强化学习的上限，这也是我的观点，所以有可能是错的。” “你说大家迟早全部都要失业的。” “L4和L5的这些工程师，他们的能力就是AI很多事情其实可以做的了。” “coding（编程）之后的下一个，the next big thing（下一个大方向）是什么？” “我觉得是AI research（研究）。” “OpenAI跟Anthropic的一个比拼，你会觉得是什么样的一个结果？谷歌还能够追上来吗？你觉得xAI发生了什么？说说Meta，你怎么评价Muse Spark？” “大模型里面没有永远的赢家。应该这么说，前沿大模型之争其实最后变成了一个组织架构之争了。应该说组织架构在这次的技术进展中有很大的一个角色。” “Meta最近有点争议，他们要强制蒸馏员工这个事情。” “吸星大法，顷刻炼化。炼化了之后你就被踢出去的话，大家都不会开心的，应该比较不太顾及员工感受。感觉是个大趋势了，它就相当于一条鱼在水坑里面跳，水总的来说是越来越少的，所以你永远找不到，你最终一定要变成一个四维生物你才能活下来。” 接下来就跟我走进RSI，以下就是我与田渊栋的专访。 ### 加入RSI与选择小团队 >> 非常感谢渊栋，欢迎来做客《硅谷101》。 >> 非常感谢你们又过来，我们可以继续下一轮的采访。 >> 现在距我们上次聊的时候，其实过了半年的时间。我知道当时你刚从Meta出来，你当时跟我说，已经有很多的团队跟公司在跟你接洽了。那其实现在你是正式的官宣来到了RSI，能不能跟我们说一下，为什么最后选了这家公司？ >> 应该说这么说吧，其实我当时半年前接受你们采访的时候，其实已经差不多定了。对，其实应该说是一个比较快速的一个决定的过程。 我其实也有不少人当时联系我，应该说就是在10月底到11月初这段时间之内，我的手机基本上是被打爆的状态，我所有的消息我就属于不能回复，因为太多了，看不过来。 那最后还是选了这个，觉得对于现在的大模型的这个趋势来说，应该说团队小型化，然后团队的速度变快，团队之间的摩擦变少，很小很精的团队把一件事情做成了，成为一个大的趋势。有这个趋势之后，你再在大公司里面再待着可能就不太方便。 其实我也亲眼目睹过很多这种大团队有大团队的一些问题。当时也不少的大团队想来找我，当时有Anthropic的，有xAI的，有Amazon的、Apple的、Microsoft。但是后来你会发现在找我之后的大概两三个月之后，有很多人——当时找我的人都走了，大家看到了很多的消息，当然我也就不一一列举了。其实这个原因是因为对大团队来说、对大公司来说，他们这个组织架构比较臃肿，或者人比较多，那么就一定会有问题。 就是对CEO，CEO是非常急，他希望这公司能成功，他就会有很多的命令或者说很多的指示去指导下面去做。但对于大团队来说，他就要花很多很多时间去适应上面的这个要求，同时对齐下面员工的一些想法和愿望。那如果是这样的话呢，这个过程、这个速度应该说是远远慢于小团队的这个对齐速度。所以你会发现最近有很多的大公司、大团队，他们频繁地会reorg（组织重组），频繁地会裁员，会改变自己的方向和战略，主要原因还是因为这个组织沟通上的速度是根本已经跟不上AI的发展速度，所以是这样的原因。 当时我毕竟在Meta我也待了快11年了，所以我也是能亲身都感觉到了这样的一种趋势。所以这段时间之内，就是正好Meta也给了我这个机会，那我就去过一个不一样的人生，大概是这样的想法。 >> 那其实当时来找你的可能也不只是RSI这一家的初创公司跟neolab，对吧？ >> 对。 >> 为什么最后选了——当时是Richard Socher亲自来找你的嘛？ >> 是的。 >> 为什么选择了这一个团队？ >> 我觉得应该是这样吧，一个是这支团队刚刚组建，所以当时我也跟Richard，还有（熊）蔡明，还有Tim Shi（施天麟），还有Tim Rocktäschel都聊过。所以我觉得一个是团队刚组建，所以机会应该比较大，这是一个。 另外就说这团队里面有两到三个人我以前认识，而且其中像Tim Rocktäschel跟我以前是同事，他以前也在Meta，在Meta伦敦做reinforcement learning（强化学习），我在加州这边做reinforcement learning（强化学习），所以也比较熟吧。 同时，这个团队刚刚组建，所以也是一个很好的一个机会。蔡明跟我之前也有很多联系，对，所以有这个联系之后，我觉得其实可以尝试一下，所以可以做一下这样的事情。 那么其他的很多的初创团队他们也来找我，但很多时候这个机会相对来说是稍微没有那么好。比如说他们希望招聘员工，或者说希望让我进来做比如说像head of AI（人工智能主管）或者head of research（研究主管）这样一个职位。当然了，对我来说要创业的话，那你希望做co-founder（联合创始人）更好一点，那当然是有这个机会。 ### RSI的8位联合创始人阵容 >> 但RSI有8个co-founder（联合创始人），这个还挺罕见的。当时是怎么样一个架构？您给我们讲一讲。 >> 我觉得是这样吧，因为每个co-founder（联合创始人）他们的专业知识是不一样的，他们各自有各自的擅长的地方和比较欣赏别人的地方，对吧？所以相对来说我们这8个人还是比较互补的。有这个互补的基因的话，而且大家都是聪明人，所以我觉得合作起来其实也比较顺利。 >> 能不能跟我们介绍一下这8个co-founder（联合创始人），你们各自分别负责什么样的工作领域呢？ >> 像Richard Socher大家可能知道，他一直是做CEO的角色。他之前创立了MetaMind，然后被Salesforce收购了。收购了之后他在Salesforce待了四年吧，做chief scientist（首席科学家）。这个之后他出来开一个新的公司叫You.com，现在也是有盈利，还是不错的。现在他又出来成为我们这边的CEO，是这样。 然后像蔡明，熊蔡明之前是跟Richard一起做MetaMind的，他们被Salesforce一起收购了。收购了之后，在Richard走了之后，熊蔡明他就成为了Salesforce Research的Senior VP（高级副总裁），然后在Salesforce待了十年多的时间。 还有比如说像Tim Rocktäschel，他以前是我在Meta的同事，他在Meta待了四年之后，他就离开了Meta去了Google DeepMind。在DeepMind他是Project Genie 1、2、3的负责人，一个负责人，这个是大家都知道做世界模型的。同时他也领导了一个团队叫agent Open-Endedness，这个团队的方向其实应该说跟我们现在做的方向是非常接近的，是非常有相关性的。他其实在Google的口碑是非常好的，其实我们融资应该说他有很大的一个贡献，就是说他其实在Google口碑非常好，所以Google Ventures当时他们做背调就是给了个非常好的一个分数。 比如说还有Jeff Clune，Jeff Clune也是做这个agent Open-Endedness这样的一个方向，那么他的团队其实在过去的10年里面一直在做这个方向，应该说非常投入、非常深入。他们最近的一篇文章叫《The AI Scientist-v2》，这篇文章其实已经被Nature收录了，所以应该说这个方向上他的学术影响力是非常大的。 像我们这边还有Josh Tobin，Josh Tobin他是以前OpenAI的早期员工，他自己出来开公司之后，公司被OpenAI收了，之后他又回到了OpenAI做agent（智能体）science lead（科学主管）。那他在agent（智能体）这方面有很大的经验，还有工程上有很多经验，然后他就到我们这儿来，是这样子。 还有一个像Alexey Dosovitskiy，他很早以前是做强化学习的，我大概十年多以前就认识他。当时我们都是做强化学习的，当时有个游戏叫Doom，是叫《毁灭战士》，我们当时是一个赛道的第一名，他是第二赛道的第一名，所以我们通过这个方式认识的。后来他去了Google做Vision Transformer，他也是Vision Transformer的一作。Vision Transformer是一篇非常有影响力的文章，他第一次把Transformer带入了computer vision（计算机视觉）这个领域，证明了数据量足够大的情况下Transformer在视觉上效果也很好，这篇文章其实影响力非常大，他其实是在里面做很大的贡献。之后他离开了Google，去了比如说一些小公司、AI for science公司，他现在过来也是给我们做co-founder（联合创始人）。 还有比如说像Tim Shi，施天麟对吧？ >> 对。 >> 他是之前Cresta的CTO对吧，所以他在Cresta做了很多年的时间，把Cresta做成一个非常好的公司。那么他现在对recursive（递归）、对我们这个愿景有很大的兴趣，然后他就离开了以前的公司，他把CTO的职位都辞了，来到我们这儿来做联创。 所以这么8个都是非常顶级的人，非常核心的AI researcher（研究员）跟行业从业者聚集在一起。 >> 你们不会打架吗？就是我觉得每个人都是非常的有自己想法的人，如果你们遇到不同的意见怎么办？ >> 这个我们还是比较民主，我们会有很多讨论，很多思想上的碰撞和考虑，最终还是会有一些想法和逻辑大家同意的，我们一起做的。所以应该说至少目前为止，我们的合作还是相当好的。 而且大家都是聪明人，和聪明人合作其实应该说是比较省心的。大家都希望花很多时间、很多精力把事情都做好，然后把盘做大，我觉得这个其实是一个很好的一个状态。 ### 融资背景与个人职责 >> 你们宣布的这轮融资我觉得还是挺让人瞩目的：6.5亿美元的融资，46.5亿美元的估值。在没有任何产品出来的前提下，为什么觉得资本会对你们买账呢？ >> 应该是这么说吧，我觉得资本其实还是看人的，最顶级的资本还是看人。因为投资融资也好，比如说最终的商业愿景也好，最终的产品也好，在AI这个变化非常大的领域里面，其实很难在一开始就讲得非常的清楚。很多时候是这样了：就是你今天说我们要做这个，然后过了两个月发现谁谁谁又出了点新东西，那么这个时候团队要怎么应对？他是不是能很快的执行力做一件事情出来？这个其实是最重要的。应该说资本最重要的还是看对人的判断，人的以前的经历，还有人的能力，和团队成员之间的一个磨合和合作的程度，这个是最重要的。 所以这么多钱进来，这么多人愿意投资我们，其实还是能看中我们以前的履历和我们对于这个愿景上的一个投入吧。 >> 你在其中主要负责的部分是哪些？因为我记得上次我们聊的时候，你说下一份工作想做工程加前沿研究结合的这样的一个岗位。 >> 因为我在说这句话的时候，我已经知道我差不多要来了，所以…… >> 埋了一个伏笔。 >> 我可能埋了个伏笔吧。就是我大概说的时候我心里在想，我不能跟你说，我不能跟陈茜说我已经加入这家公司了，或者说我即将加入这家公司，因为这还是保密的。但是我也希望给大家说一些比较明确的一个路径，所以大概是这样。 那确实就是我现在来了之后，也是大概是这样的一个结合。因为我们这边以前，像我和（熊）蔡明是做modeling（建模）做得比较多的，那我们还可以继续做这个modeling（建模），做一些建模，做一些训练、后训练这样的一些工作。然后工程上也是有些东西也可以做，像agentic harness（智能体控制）我们也会做一些。 ### 递归自我改进与自动化科研的愿景 >> 那接下来我们就聊一聊公司，聊聊RSI。首先你们的这个名字，RSI是Recursive Superintelligence的缩写，所以可以看出来这个recursive，它中文叫递归式，这个技术是一个关键词，非常的重要。能不能给我们介绍一下RSI主要想做什么？Recursive self improvement（递归自我改进）究竟是什么样的一种方式？你们为什么觉得这个方式很关键？ >> 我觉得是这样，递归自我改进的意思就是说，我能不能用AI来优化AI自己的一些东西，让AI变得更强，通过这方式再左脚踩右脚再踩上去，大概是这样的一个逻辑。 具体来说，就是说我们希望用AI做现在的很多也需要人工来做的一些事情，比如说像科学家发现新的想法、新的逻辑，科学家像比如说训练的过程需不需要用AI来做强化，用AI来做新的发现。这个其实都是在我们这个recursive（递归）里面的。 我们最终的愿景是希望有一个很好的系统，这个系统里面就是我放进去各种各样的计算资源，输出的时候能输出新的知识、新的见解、新的洞察力，大概是这样的一个东西，对。所以其实我们recursive（递归）的网站上就说了，maximizing knowledge discovery rate（最大化知识发现速率），对不对？所以通过这个方式我们可以增加人类社会进步的速度，提高人类社会对新知识发现和新知识理解的一个能力。 >> 目前我们看到比如说前沿大模型，OpenAI、Anthropic、Google，主流做法还是依靠人类去设计模型，然后收集数据，大规模地训练，人工标注对齐。那我听你之前有一些分享，你认为说这条路上人类是一个瓶颈，你们押注的是让AI能够自动化研发过程，是不是？中间能不能跟我们展开来解释一下怎么能实现？ >> 对，因为其实应该说现在人类或者说研究员，其实在做研究的时候，或者在做AI发现的时候，大部分时间还是浪费的。也不能说浪费吧，就是说因为人有自己的生理极限，你要吃喝拉撒，你要睡觉，所以你没有办法百分之一百的时间花在这上面。所以很多时候就是如果用AI来至少代替，或者说让AI来做一些人类认为比较繁琐、比较繁重的或者说比较重复性的劳动的话，这肯定是可以的，这是第一步。 第二步就是说，我们是不是能够让AI在这个劳动之上，自动发现新的一些洞察、新的一些重要的这样的信息，用它加速AI的整个人类发展的进程。 ### 评估困境、主观性与可解释性 >> 那AI系统学会的东西，它是一个真正的能力上的提升，还是在某个评估指标上的过拟合呢，你觉得？ >> 我当然希望AI最终能达到能力上提升。因为能力上提升，就是说可能AI现在能做比如说相对来说本科生能做的事情，那么我们希望AI以后能做硕士生或者博士生能做的事情，或者说更高的，比如说研究员能做的事情，我觉得这样的程度是我们想要达到的。 你说benchmark（基准测试）这个事情，应该说是这样：你刷榜或者说各种榜单是达成这个目的的手段。因为这个手段本身是比较虚的，或者说是比较高层次的，你要把它真的break down或者说把它分解成一步一步的这种小步骤的时候，你基本上每一步可能都有一些metric（指标），有一些number（数值），这就是benchmark（基准测试）。 >> 所以当这个AI系统它开始自主地去设计实验、自主地去评估结果，那人类还可以作为一个可靠的评判者吗？你们怎么去解决所谓的evaluating the evaluator，也就是评估者本身也需要被评估的这个递归的难题呢？ >> 我觉得是这样的，就是说至少现在AI还是达不到人的评估的那个标准，我觉得。所以至少在一定时间之内，人类还可以作为评估者，这个没有问题。 另外一个，第二个点，就是说等到AI厉害到一定程度之后，应该说很多的评估标准变得主观了，而不是非常客观。比如说你拿AI写code（代码），比如说你发现AI对于人类的指令遵循得非常好，已经做得很好。那再往上走，比如说你要让AI去做一些人类的设计，比如这个代码怎么设计、人们怎么安排各个模块之间的关系，这种问题上来说，其实每个人的见解是不一样的，这样的话你就会有一个subjective的、一个主观性的因素在里面。这种情况下其实应该说已经很难有一个正确答案了，所以说每个人其实有自己的想法，大家都是对的。在这种情况下，其实并不存在说人类的能力达不到的水平，很多时候是依照每个人的想法去完成你想做的事情。 >> 那怎么评估呢？如果它变得非常主观的话。 >> 这个时候其实很难去评估这个数字，就是说你可能最终看最终结果。我与其说评估中间的状态，不如说我加AI或者说人类加AI最终得到一个东西能够让大家喜欢，或者说能够完成某件事情，那就可以了。所以这个评估就成了从中间的benchmark（基准测试）到最后的结果的评估，所以这个评估会往后走，这是我的一个预测。 >> 就会变得非常result driven（结果导向）。 >> Result driven（结果导向），对。那么中间这些过程其实变成了一个非常自由的一个地方，就是你可以做任何想做的事情，但最终目的是人加AI最终得到一个结果，这个结果是想要的。 >> 那这样的情况下，可解释性这件事情还重要吗？因为你之前也提到过，就是无论scaling（扩展）最终成功还是失败，可解释性都是必须要解决的：如果成功，我们需要确保超级AI不作恶；如果失败，我们需要理解为什么模型在某些地方崩溃。那比如说在你们RSI的这条路上，当AI可以自己修改自己的代码或者权重，AI可以设计出一系列的实验的时候，那可解释性这件事情会不会变得更加的困难？ >> 我觉得这是非常重要的，而且应该说是比原来更重要。 一个当然是因为关于safety（安全）的问题。我们在launch（发布）这个recursive（递归）的时候，其实非常注重说我们要做safe（安全）的这个superintelligence（超级智能），对不对？那么safe（安全）这部分，其实一个方案就是说通过可解释来完成。因为如果你对这种模型的内部机制有理解和有一些想法的话，那你就大概知道这个模型是怎么work（运转）的，那么这样的话你就知道这个模型本身尤其是将来可能会有什么样的威胁和问题，所以这是一个非常重要的地方。 另外就说，可解释性本身也提供了一个非常好的指标去更快地找到我们想要的东西。就比如说你要做Recursive self improvement（递归自我改进），其实它背后是意味着你可能需要大量的算力做这个事情。比如说你可能需要花几千块卡或者几万块卡训练一个模型，如果你对模型本身不理解，那你可能只能等到这个模型训练完毕之后，你才去预测或者才去评估这个模型好不好，这样的话这个速度就很慢。那如果有可解释性的话，那我们是不是可以把这个评估放在前面去完成？那如果是这样的话，那我们是不是能提高这个运算效率？所以应该说可解释性在这个过程中扮演很重要的角色。 >> 所以你们内部还是有人专门去研究可解释性的方面？ >> 对，会有的，会有的。 >> 那你们的设想是让AI系统长时间地自主运行，去追求研究者定义的目标，同时产生出超出人类预想的新思路。但是这个超出人类预想和失去控制之间的这个边界在哪里？你们打算用什么样的机制来保证这条线不会被越过呢？ >> 我觉得其实主要还是可解释性。就是你如果知道这个模型在发现的过程中找到什么东西了，这个东西你们可以让human（人类）来做evaluate（评估），这个是一个重要的。模型本身的机制如果能够被inspect（审查）的话，那么我们就可以通过这方式来判断这个模型究竟是越界了，还是发现一些新的东西但没有越界，这是很重要的。你甚至可以用另外一个模型去验证这个模型是不是好的，这个都是可以的。 所以应该说在这样的一个越难的问题上来说，我们希望这个模型找到一些人类做不到的事情，同时希望这模型安全。那这种情况下，我们不能代替模型去发现新东西，那我们就得知道模型是怎么想的，模型是怎么去思考的，模型是不是有一些疯狂的想法，有一些地方是超过了我们想要它要做的事情，这个其实就需要可解释性。 ### 阶梯发展与潜在空间推理 >> 我记得你谈到自己在用GPT-5的时候的一些感想，当时你发现模型能够帮你做很多事，但是它缺乏高层的人类洞察力和专业知识，目前仍然需要人类去引导。但是RSI的路线和目标恰恰是让AI能够自主地提出实验的假设，然后自主地验证，也就是说要自动化人类的洞察力这件事情。你怎么解释这后面的矛盾？还是说现在技术其实已经有进展了，然后改变了你的想法？ >> 应该是这么说，正因为现在AI做不了，所以我们希望AI能做，是这样的一个逻辑。 >> 所以你们选了一个更难的这样的一个路线。 >> 是，正因为做不了，那就是说这就是我们将来研究员能发挥的地方，那么我们当然希望开公司让AI能做这事情，这个是重要的一个点。 至于当然这个事情本身不是0到1的，就不是说是要么做不出来、要么做出来。这不像无人车，无人车说你要不在路上100%，要不路上就撞人了，不行。对，所以它其实有很多层次的。也许AI今天能写代码，但是AI读不了paper（论文）；然后明天AI能读paper（论文），但AI还是理解不了这个问题的本质；后天的话也许AI能理解一点点了，但是AI还不能理解太难的问题。所以它会一层一层的这个层次上去，所以它就有个很深的一个阶梯在那里。 那阶梯到底能爬到什么程度，我们现在并不知道，但是我们是能往上爬一点。每一步其实应该说会带来大量的一个应用场景和一些可能这个方向，所以应该说这个本身是一个非常吸引人的一个东西。对于研究员来说，当然是希望勇攀科学高峰，所以这个肯定是一个很有意思的阶梯可以走。 >> 那如果说你们的最终目标是10的话，你觉得我们现在大概是在一个什么样的阶段？ >> 我觉得我们现在还是在那个1-2、2-3这个阶段吧，甚至我可以说我们现在可能就是0点几，也可能是0.5吧，非常早期。 因为这个阶梯应该说非常非常高，能有多高这个是不知道的。因为它可能会这样，假设我们说人类的那个边界是10，也许我们现在在1和2的这个位置上，但是过了那个边界之后，也许还有100，那部分我们是不知道的。 >> 就是你要翻过那座山，才能看见后面的山有多高。 >> 是的是的，对。而且在那个时候其实人类边界会往上走，因为发现人家AI能力已经超过我们以前的人类最优水平。像最近OpenAI他们发现了一些——就能证明一些完全非平凡的定理，那么这个事情其实应该说对于以前的人类来说是很难想象的。但是现在你会发现证定理把以前定理都证完了，它的这个新闻的频次是越来越快了，所以我相信以后应该会出现这种情况。 >> 你当时在Meta其实比较重要的工作之一就是coconut（连续思维链），这个方法就是说让AI在连续的潜在空间里面去做推理，做latent reasoning（潜在空间推理）。我很好奇说，coconut（连续思维链）的相关研究在RSI里面还会有一个继续地去推进吗？我也很好奇说，你怎么想当前的Chain of Thought（思维链）CoT的这个路线，以及你接下来的研究工作会不会对这个方向有一个继续地往前推演？ >> 我肯定还会做的，这个是没有问题。当然具体细节来说，我们毕竟是公司，所以很多事情我不能讲太细。 >> 没问题。 >> 对，不能讲太细。但是我们就说，对我们来说，我们如果有一个很好的machinery，就是我们有一个很好的系统能够做自动化地研究、自动化地理解的话，那我们可以用这个东西来继续做研究。那么这样的话，其实我们的研究更像是一个product（产品），我们可以说我们的系统非常厉害，我们做了很好的工作，这个工作我们本身可以publish（发表），我们本身可以拿来就给大家show（展示）说我们很好的结果。至于这个东西怎么做出来的，我们可以作为一个黑盒子，我们可以说这是我们公司的一个secret source（秘方）。 >> 刚才我们也稍微提到了一下latent reasoning（潜在推理），所以你会认为说当前的Chain of Thought（思维链）的路线是错的吗？ >> 我觉得当前Chain of Thought（思维链）路线不是错的，一个是非常实用，大家都在用，所以肯定不是错的。但是我觉得人类在思考问题的时候，最终还是需要一个非语言的媒介来做这个事情。其实至少对我来说，我在思考问题的时候，其实我并不是需要用语言来做的，很多时候是有图像的成分，有一些是一些比较说不清道不明的一个思路，在这个思路里面发现了一个问题，然后我把它写下来变成语言。所以语言更多情况下是一种解释，而不是说是训练的一个或者说思考的过程。 而且其实我们当时在做这篇文章的时候，我们也发现就是如果通过latent reasoning（潜在推理）来做思考的话，那么这个reasoning（推理）这个pass这个过程，应该说效率应该比这个语言要高的。为什么呢？是因为latent reasoning（潜在推理） 就是每个latent token，它里面可以存的这个信息其实高于每个语言的token的。Latent token你可以存很多信息，比如说你可以同时存几个不同的思路，同时存在一起，最终这里面有一个思路是对的，那么你这个路径就出来了。但如果你要用语言去想的话，你就得人工地去写下来每个思路是什么，得一个一个出来。对，所以这个效率就是不一样的，所以至少在原理上来说，是能看到这个不一样的地方。那么当然了，具体地在实现和最后的那个运用场景上来说，可能还是有各种各样不一样的地方。但是这个方向本身也是很有意思的。 而且现在你会发现，就我们之前这篇coconut paper（思维链论文），应该说已经有很大很多citation（引用），有很多很多人在这上面做很多拓展。当然包括最近有一些像Looped Transformer这样的一些结构，它本身也是latent space（潜在空间）的reasoning（推理），它也有很好的效果。应该说这个方向本身将来应该是有很大的东西可以挖的，而且我觉得也许以后可能是一个有意思的突破点。 >> 你觉得现在哪一家是比较重视这个方向的？ >> 我听说Anthropic的Mythos model，它用的是Looped Transformer，但我也不知道是真的是假的。这个是一个可能的路径吧。为什么大家说这个呢，是因为他们看到，我们大家看到就是Mythos它在一些图上的搜索的问题上，它的效果比之前的模型好很多很多，所以有人就在怀疑是不是它用了一些新的架构。当然这个问题你去问A家的人，他是不会回答。 ### 顿悟研究与数学建模 >> 之前你其实有跟观众分享过顿悟的研究，能不能再跟我们展开聊聊，以及最近有没有什么研究上的新的进展？ >> 新的进展我就不说了，因为我们这边也是比较保密，我们不希望有更新进展马上说出来。 >> 但是你还是在研究这一块？ >> 对，做肯定是会做的，这个没有什么问题。而且确实应该说这篇文章在发出去之后，我收到不少人来信，就是说挺有兴趣的，而且当时给我跟我说这篇文章我做了一个拓展，你能不能帮我看一下。其实我也挺开心的，有很多人愿意来找我，跟我去讨论这个问题。 所以我觉得顿悟本身应该说是很有意思的一个问题，就是这个模型怎么样从记忆突然变成一个泛化的这样的过程。这个过程本身是，应该说是能不能解开整个神经网络的训练过程这个秘密的所在，应该是这样子。 这篇文章主要的逻辑就是说，我们在一些比较具体的，比如结构化的数据输入的时候，你会非常清楚看见这个模型从记忆变成了泛化这个过程。这个过程本身可以通过一个比较清楚的数学过程来描述，比如这里面有个能量函数，这能量函数在数据不足的时候，它得到的最小值都是记忆的解。但这个数据足够大到、多到一定程度之后，突然之间这个能量函数这个结构就变成了泛化的解，那么这个过程就是顿悟的过程。而且我们可以知道，我们究竟需要多少数据能够产生这样的一个变化。所以这个其实是很有意思的一个过程。这个过程如果理解清楚的话，那我们是不是就可以对神经网络的训练过程有更好的理解？我们是不是有更好的效率提高这个速度？ >> 这个的研究其实还是我理解比较早期的阶段，我们现在知道多少数据可以调用？ >> 对，我们有一个，这篇文章主要还是比较偏理论。在这样一个设计下，我们可以说如果我们总数据是$M^2$数量级的，我们就需要$M \log M$的这样一个数据。就是说可能比线性多一点，但是也没有太多，就比总数据的数目相比还是少很多的。 >> 你们实验室会从pre-training（预训练）从头开始做吗？从头开始做吗？ >> 我们都在照操作尝试吧，在尝试，对。因为pre-training（预训练）一个比较好的地方是，因为一个是它本身的这个训练过程比较smooth（平滑），它那个loss curve（损失曲线）相对来说比较稳定，所以其实也是挺好的一个方向。 >> 所以你们什么都会自己做？ >> 对，会有一些。就是目前我们还处于探索阶段，我们会有一些不同的那个方向都会去试。 ### 商业化落地与自我改进 >> 那在产品方面或者是商业化方面，有任何的思考吗？ >> 我觉得这个是我们现在已经有一些思考了。应该说我们这个团队是一个非常落地的实际的团队，团队里面应该说有超过半数的人以前开过公司，也知道就是怎么样落地、怎么把产品做好、怎么样去满足用户的需求。所以其实应该说，就是我们内部在聊的时候，很多时候就是说的话和讲的故事和聊的那些内容都非常接地气，就是说是非常实际地说这个东西是不是能用，那个东西是不是能用，这个东西是不是可以赚钱，或者说可以make commercial benefit（产生商业效益），这个都是在讨论的。 其实，但应该说就是self-improvement（自我改进）这个方向又会有很多的事情可以做，很多的东西可以完成。 >> 比如说呢？ >> 比如说我们是不是能够训练一个模型，让large model inference（大模型推理）变得很快，那其实是不是我们就可以让这个inference speed（推理速度）、inference efficiency（推理效率）提得很高？这个当然是可以的。比如说我们找到了新的recipe（训练方案），那么这个recipe是不是可以有更好的结果？这个都是可以commercialize（商业化）。是这样子。或者说我们对这个模型本身的、会对人类在做研究的过程中它的思维方式做一个很好的建模的话，那我们是不是可以拿它来做一些很难的人类社会、人类能做的一些研究，我们是不是可以让AI来做？这都是可以commercialize。但是目前看起来，就是说这个方向本身应该说还是比较开放的，有很多事情可以完成。 >> 你们现在其实因为8个人，你们现在有一个非常有共识并且清晰的这样的一个技术的路线图了吗？ >> 对，我们差不多是有一些。 >> 我之前看有报告说，就是你们第一步是要训练一个具备5万名博士能力的系统来自动化AI科研本身，计划是在今年年中左右推出一个Level 1的自主训练系统。那比如说在Level 1之后肯定还会有Level 2、3、4，就大概的这样的迭代速度可以披露吗？ >> 目前是现在可能在，就是一开始的一年到一年半里面，我们会把这个系统很好做好、做深入，之后我们就想办法让它落地，找到一些更好的一些use case（应用场景），大概是这样的一个时间。 >> 我看到那个Socher之前有在采访说，就是说要想设想的这个技术可能需要好几年的时间才能够完成。那在你自己的心目当中，这个RSI从自动化部分的科研，到真正的递归自我改进，再到超越人类的整体的能力，每个阶段的时间点大概是什么样子的？我们需要多长的时间能够完成这件事情？以及如果我们要达到这样的突破的话，技术上面有哪些是关键的一些信号呢？ >> 我觉得其实还是要几年的时间。目前应该说是很好的一个时点切入的，因为在这个时间点大家开始形成了共识，就说以后研究，或者说以后新的知识获取和知识发现，这个问题肯定还是让AI来做。因为人，一是没有这么多时间和精力去看那么多文献；另外，二是说人不像AI有那么大的广博的知识，有无穷无尽的时间和精力，也可以让一个AI做很多事情，就是说你可以有几千个AI同时进行，所以这个事情也可以让AI来做。所以这个一定是个趋势，这没问题。 但另外就说这个时间点比较好的地方，是因为大家现在都不知道怎么做，所以也在探索阶段。所以像这样的一个时间点，就是大家有这个excitement（兴奋感），同时大家都不知道怎么做，是一个很好的节点开始这个旅程。当然旅程非常长，但这个旅程可能要持续比如说好几年的时间，才能开始有眉目，有一个结果，这个我觉得是肯定会发生的，大概是这样。 技术上来说，应该说这个技术比较好的地方是它到每个层次应该说都有一些应用价值，就不管是在什么地方，它不像有些方向就是说要不全部做出来、要不全部做不出来，不是这样子的。像比如说如果你要去找比如说新的材料，你要找新的什么核聚变或者说超导的这样的一个solution（解决方案），那么这个bet（赌注）就很大，要不就是百分之一百，就是你真的成功了，要不就是你没有办法成功。但是如果做这个self-improvements（自我改进）的话，就是它每一步的进展它其实都会有一些应用价值。所以这总的来说，应该说这个趋势是比较平缓的，所以我觉得这也是一个我对这个技术比较有信心的原因之一吧。 >> 就这点还挺有意思的。因为我也想问说，你们为什么要把自动化AI科研作为第一步？因为它这个商业化毕竟还是会更困难一点，相比起比如说一些比较to B的落地的一些企业服务或者消费的产品。那为什么你们选择这个作为起点，而不是一个更容易产生收入的方向？ >> 因为如果你要想更容易产生收入的方向的话，那其实一个问题在于就是，大家会时刻担心你用的为这个产品的收入产生的具体的技术，会不会在明天或者在下个月被AI取代。这个其实是应该说是硅谷或者说是很多投资人的一个很大的一个痛点。当然说今天我们可以拉很多人团队，我们做一个单独的一个事情，比如说我们要做语音陪伴，或者说我们要做聊天助手，或者我们要为某个垂直领域把一个事情做得很好，但是这件事情本身之前其实应该说在过去的三年里面已经有很多的样例证明，就是说为了某件事情做一个比较特殊化的一个模型做的事情，也许有一天会被一个大的、被更加一般化的模型给取代，或者说给盖掉。 所以有这样的一个concern（顾虑）之后，其实应该说我们应该把目标放得更长远一点。就是说我们希望就是在这个范式上花时间花精力，这个范式说我自我来自我进化这个范式，这范式只要不变，那我们的公司立场是不变的。在这范式之下，我们再看有没有什么好的应用，有没有什么好的可以商业化的机会。我觉得这个是一个比较好的一个立足点。 >> 我看到Socher也在采访中说到，说希望RSI之后把它的应用范围扩展到物理学、化学，还有临床、生物学等等。那在你们vision（愿景）当中，RSI未来的一些具体的应用场景是什么样子的？比如说谁是你们比较想要重点target（目标）的用户群体？ >> 对，这个其实是，RSI for science（科学）当然是其中的一个。因为如果我们对科学的研究的过程本身有建模的话，我们知道人是怎么样去获取知识的，人是怎么样去获取信息的，怎么样去得到新的假设、新的逻辑，怎么样去验证，最终怎么样产生一个有意思的、不平凡的结果，过程我们能够建模建得很好的话，你可以拿来做很多事情。像刚才我们说AI for science这样一些方向，这个本身就是很大的一个市场，我们可以做。 然后另外就是说，我们是不是通过这个方式能够提高研究人员效率，提高整个研究过程的自动化的程度？这本身能够提高比如说大模型本身的训练的一个效率，这本身可能也是一个非常重要的一个commercialization（商业化）的一个方式。 ### 大小团队与技术路线分歧 >> 那其实这个领域竞争也慢慢地变得激烈起来了。我们看到OpenAI，特别是DeepMind它自己有AlphaFold、AlphaEvolve等，就是他们其实也是在做AI for science、AI自主科研。包括刚才我们提到DeepMind这个AlphaEvolve已经是能够用LLM（大语言模型）不断去变异和组合算法。比如说这和你们的recursive self-improvement（递归自我改进）有什么样的根本性的不同呢？以及你们的差异化优势会在哪里？ >> 我觉得一个当然是大公司小公司的区别，就是说大公司有大公司的bet（押注），小公司有小公司的bet。大公司的bet往往是这样的，就说大公司非常多人，几万个人，可能会有一些研究团队做一些不同方向的事情。但是这个一个是对大公司来说，这个bet可能是一万中的一个，或者一百中的一个，所以他们不会因为这个大bet获得很多很多资源，这个是一个问题。然后大公司的那些人，他们的incentive（激励机制），就说他们薪酬结构和对于目的的追求，这本身可能跟小公司也是不一样的。小公司说我们的使命或者我们的目的就是要做好self-improvements（自我改进）。如果是这样的一条方向的话，那小公司会集中所有的能力和所有的资源，把所有的时间都花在一个地方把它做出来。这样的话，小公司其实应该说是更focus（专注）的，这个是一个重要的点。 另外AlphaEvolve其实一个就是说，他们还是用AI去优化某个具体的一个，比如说一个代码或者什么的，但是我们这边希望AI来优化自己。 >> 就是你刚才也说到说现在是一个很好的timing、很好的时机去做这个事情。 >> 对。 >> 为什么去年不是好的timing（时机）？为什么明年不是好的timing？为什么今年是最好的timing？ >> 应该这么说，因为去年这个时候，应该AI的coding agent（编程智能体）还没有成熟。因为大家还是在用AI辅助coding（编程），比如像Cursor这样子的。那么用这个AI辅助coding的话，就是大部分时间你还是要写代码，然后让AI去审核、去修改、去重构。但是应该说去年年底基本上跨过了这个突变点，突然之间大家发现让AI来做一件事情，然后人去下命令，去找一些high-level（高层次）的一些想法，这个模式其实是更有效率的。所以为什么现在AI coding tools（AI编程工具）、AI工具现在变得如此的易用或者说如此的普及。所以这个时间点是不一样的。 在这时间点过了之后，应该说有很大一段时间，人整个、应该说整个软件工程行业、整个科技巨头他们都需要花钱去适应这个过程。这个过程本身应该说是小公司弯道超车的一个非常好的时机。因为大公司可能需要一年甚至两年的时间去慢慢适应新生产力工具产生的变化，但是对小公司来说，特别是如果小公司非常小，大家都是很厉害的人，他们聚一起就很快能够figure out（想清楚），找到一个方法能够一起合作。这个过程应该说远远快于大公司这样的适应过程。那么在这种时间内，也许小公司有这个能力去追上大公司，会有很大的upside（上升空间），所以应该是这样吧。但是如果再过一年的话，可能就已经晚了，因为大家都已适应了之后，你再去出来创业，这可能也是一个很大的问题。 ### 盘点NeoLab与多流派探索 >> 我觉得你说的这个timing（时机）非常对，也是为什么我们最近看见很多neoLab出来，很多核心的研究员从大公司出来，以及我们看到很多的VC的资金开始涌向了这些neoLab了。那现在看一下neoLab的这个版图，能不能跟我们来分享一下，就是你对neoLab是怎么看的？因为我觉得大家是有很多的派别：Ilya他的SSI，然后Yann LeCun的AMI Labs，包括David Silver，包括Thinking Machines Lab，就比如说这4家比较典型的公司吧。 >> 明白。 >> 能不能跟我们来分享一下你对他们是怎么看的？ >> 首先是Ilya，Ilya的那个SSI应该说非常保密，我们现在都不知道他内部在做什么，所以也很难评价吧，也很难评价。我们现在不知道，希望他接下来又会有很大的进展，但我们现在并不知道现在的内部情况怎么样。他们之前的口号是要做Safe Superintelligence（安全超人工智能），就是安全的超人工智能，但是我们现在并不知道怎么样。 >> 你觉得他也是要做模型的，对吧？ >> 对，但是他可能不会做像GPT或者是像Gemini或者是Claude那么大规模的模型。因为他虽然融了很多钱，但是可能他的钱也不够支持他去完全做一个新的模型出来。这个不好说，比如说我们发现了一些新的这个模型的训练机制，也许能够极大地提高这个训练的速度和效率，这是有可能的，这个就是不知道的。因为我一直觉得现在AI的训练过程应该说还是不是很有效率的，如果能发现的，那就有很大的upside（上升空间）。所以他有可能是在研究一个新的范式，有可能是这样。 但是这个我也是在猜，因为这些猜测都是基于Ilya去年的一个访谈，他就出来做了个播客，然后又没有声音了。因为其实很有意思的是，就Ilya去年的访谈跟我们之前《硅谷101》我们一起做的那个访谈有很多东西是很接近的，比如说像做research of taste（研究品味），像他也在考虑比如说为什么模型会泛化，generalization（泛化）、memorization（记忆），这些东西其实都是有的。 >> 我很好奇就是你们在跟VC聊的时候，他们对于这种很长期、也不发什么产品、我就mentally（纯粹地）研究、我也不知道他能不能研究出来，现在VC的资金对这件事情的tolerance（容忍度）有多高呢？就是包括你自己在跟VC聊的时候，你怎么感觉这件事情？ >> 我觉得其实VC很多时候还是投人，我觉得这是很重要的。就大家觉得这个人靠谱，或者这团队靠谱的话，至少这第一笔的这个融资应该还是主要是看这些。之后就是说如果还要想融资的话，那当然希望这团队有进展，有一些很有意思的、非常让人觉得印象深刻的东西，才会给你更多的融资，是这样子。所以应该说我们团队内部进展还是比较顺利的，比较顺利，应该说是好于预期吧，所以我们还是很有信心的。 >> 这一轮这么多钱，你觉得runway（可运营时间）会有多久？ >> 其实runway也就一两年、两三年的时间吧，大概是这样子。因为毕竟大部分计算资源还是需要钱，需要这个资金去投入的。如果我们有比较多的资金的话，那么会有更多的GPU、更多计算资源探索更多的事情，这个是我们现在想做的事情。 >> 你怎么看世界模型的？你觉得Yann LeCun的这个AMI Labs能走出来吗？ >> Yann毕竟是我以前的老板，所以应该是这么说吧。一个就是Yann这边他是探索一个完全不一样的方向，这个不一样的方向应该说是一个之前的人探索的程度不足的一个方向。比如说那个世界模型，特别是在视频上的、在图像上的一些世界模型，那么可能怎么跟robotics（机器人）又能结合，这个其实很有意思的问题。但对我来说我可能也不做视觉很多年了，我现在基本上都是做language（语言），或者说做一些symbolic（符号化）的和neural（神经网络）的一些结合，应该说就是图像这边我可能不太熟悉。 >> 有批评说，觉得JEPA这些视觉模型还是太早了，太早了，可能还要再找到一些新的关键突破才可以。 >> 是有一些。当然我这边是有一些，也不一定这个事情是一个非常公正的opinion（观点），但是我这边还是有些opinion，就是说我觉得语言跟视觉相比，语言还是一个更加有信号的东西。像对于视觉模型来说，就是视觉、图像的问题在哪里呢？图像它里面这个像素和它们像素之间的组合相对来说是固定的。你今天看到这个杯子，这个杯子在那了，然后我们就知道这个杯子形状什么样子，你就知道这些像素组合是个杯子。但是对语言来说，语言里面的信息流很多时候可以重新定义的，还可以定义很多新的东西。比如说你今天说了一半，说我们定义新概念，这个新概念什么意思，以后这个词可能就会指向之前的所有新概念的定义。所以说语言可以无限嵌套，它可以自指，它可以有很多新的信息和新的深的这种理解在里面。所以我觉得语言应该说它的上限可能会比图像更高一点，这是我的一个观点，但是我不一定是对的，这是一个想法。 >> 我看到现在有一些前沿的路线是想把diffusion（扩散模型）跟LLM有一个组合，然后去做一些Diffusion LLM的东西，你觉得那个路线你自己看好吗？ >> 我觉得这个其实一个速度上来说肯定会变更快。其实我们之前应该说在我离开Meta的时候也有一篇文章是做这个的，就是怎么样能够让diffusion、Sandwiched Policy Gradient（夹层策略梯度），这个就是我们能不能以更快的方式来训练比如说diffusion model（扩散模型），用强化学习来做训练，是有一些文章。所以我觉得我的感觉上是这样，就是它加速上来说是非常好的，能够很快地加速，能够提高decoding（解码）的速度。但另外一方面，就是它现在还是没有到这个SOTA（最优）的水平，还有很多的问题还是做不到像大语言模型那样那么厉害，所以这个还是有一定的距离。但是还是一个很好的方向可以去做研究的。 >> 你怎么看David Silver的Ineffable Intelligence？我理解他也是一个专注于RL强化学习，他目标也是要打造一种能够通过自身经验自主探索的学习知识的这样的一个超级学习者，你觉得他们跟你们有什么异同吗？ >> 据我所知，可能David Silver他们这边可能更多的像是希望完全不用大模型，这可能是跟我们的区别。我们这边还是比较实在的，就是说如果大模型很厉害，我肯定用大模型，然后找到更好的方法来训练大模型，这都是可以的。David他可能更想要做一个就是纯粹是用这个强化学习来把这个事情做起来的这样一个东西。因为David Silver是大家都知道的，就是AlphaGo和AlphaZero的主要发明人。AlphaZero其实就是完全没有人类的任何的知识，通过左脚踩右脚踩上去的。他当然希望在大语言模型或者说在新一代的大模型这个范式下重现这个故事，我觉得这是他的一个愿景。 当然我之前也做过像OpenGo这样的project（项目），其实也是类似于AlphaZero这样的左脚踩右脚踩上去。但我觉得围棋毕竟还是一个，或者国际象棋，其实还是一个比较局限的领域。这个领域里面，它的evaluation的function（评价函数）或者说胜负的评分，应该说都是定义得非常清楚的，所以可以做到这一点。但是在做一个比较开放式的方向，其实很难做到这一点，所以可能需要大量的算力，这个算力现在可能很难满足。 ### 预训练、强化学习与合成数据 >> 我看到行业里面有一种说法，是pre-training（预训练）的上限其实是决定了RL强化学习的上限。你同意这样的说法吗？ >> 对，这个确实我是同意的。我们确实也发现了就是强化学习后训练，它的目的、它的很大的功用，就是说你把原来你排在比如说第200个的答案把它放到第一个去了，从这个方式可以让模型做一些问题做得比较好，是这样。但这个条件是这个问题一开始的答案至少有一个是对的。比如说你让它try（尝试）一千次、一万次，也许大部分答案是错的，但是也许有一到两个答案是可以的。有这个种子之后，强化学习可以通过这个种子把它慢慢提到最高，通过这个方式来提高这个水平。最终如果种子都没有的话，那强化学习再做还是没有用的。 这就是为什么强化学习产生的效果是因为在大语言模型已经变得比较成功之后才会有这样子。如果你只做强化学习的话，其实它没办法去生成一些比较深的东西。所以其实我这边是觉得大语言模型最关键的地方还是它的预训练。它在训练之后，它里面各种各样的表示就涌现出来了。涌现出来之后，这些表示其实能够一定程度上来说能够解释数据上的一些结构，一定程度上能发现或者说能够学习数学中或者说数据中的一些有意思的这样的一个推理模式。这个推理模式在强化学习中慢慢地被放大，最终得到一个答案，是这样的方式。如果前面部分的推理模式没有学习得特别好的话，那么后面强化学习再做是没有用的。所以它光是来押注强化学习这一件事情，还是上限是在那，这也是我的观点，所以有可能是错的。 >> 你觉得数据还能怎么样发展吗？因为现在其实大家这个模型的参数情况已经是穷尽了所有互联网的数据了，接下来大家就是看更多的这种synthetic data（合成数据）。这个数据还能够怎么样更好？怎么样从数据上去优化模型的结果呢？ >> 我觉得数据上来说还是很重要的。现在数据应该说很多大量的用户数据、大量的人类数据都已经被用上了。接下来一个问题说，我们能不能制造一些新的数据？其实应该说最近这个模型一波的大进展，很多时候原因是因为我们把推理模型的数据放回了以前的预训练或者说中训练的过程中，我们通过这个方式这个模型变得更强，然后就达到了一个自我进化的初步的目的，应该这么说。以后你可以想象，如果我新的模型更强了之后，让它生成很多数据，然后把这些数据放回预训练或者中训练，那是不是模型会更强？这也是一种可能性。 当然这个过程本身比较慢，需要花大量计算资源来做这个事。那么接下来怎么办？有人就会提出来叫连续学习，叫continuous learning（持续学习）。持续学习就是说我希望新数据放进来之后能够学得很深，但是同时不用花那么多代价，所以就是为什么大家会提出概念这样的原因。但是我觉得最终的目的还是，现在可能数据是非常重要的一个点，能够很快让这个模型变得很强，但是模型最终变得跟人类一样强，或者达到人类这样的效率，可能还是需要看有没有好的算法，有没有好的新的范式去训练这个模型本身，所以这个可能是最大的问题。当然了，目前如果按照现在范式走的话，数据还是很重要的，因为如果出现的范式不改变，那么数据越多确实效果也会更好。 >> Thinking Machines Lab…… >> 怎么说呢，应该说我对他们也没有特别了解。应该说是有一些，我看他们最近是发了一个human-computer interaction（人机交互）的interactive model（交互式模型），这个模型效果也还是不错的。有很多的你可以跟它一直在说话不用打断它，它会一直在倾听你的话，通过这个方式你可以获得可以跟那个模型产生一个独立交互的这样的一个效果，就是持续交互，不需要是这个turn-by-turn（一问一答），而是持续地交互。这个应该说是挺有意思的。之后它会不会走比如说跟Hume AI这个公司一样的路线，这个我就不清楚了。这可能是更多侧重于人和AI如何交互这样的一个方向。 >> 其实我们刚才聊了一些neoLab大家在押注的路线。如果我们从一个更加宏观的角度去看现在的neoLab的一个发展的话，你觉得neoLab大家护城河到底在哪里，以及大家最主要面对的挑战是什么呢？ >> 我觉得其实最终还是，挑战我觉得重要的一个点是如何在neoLab这样的一个环境下能产生research（研究）结果，能很快产生一个progress（进展），这是重要的。因为很多neoLab的那些成员以前都是比如大厂来的，或者说是资源丰富的地方来的，他们说我们做个实验吧，我们就花很多钱把实验做了，可能这个实验花了几百个million甚至一个billion，但是这都是公司付的钱。所以应该说对于这样的新成立的这样的一个小公司来说，像我们这样的lab来说， 或者说需要融资的这样的一个实体来说，我们非常重要的想法就是说，我们怎么能让这个学习过程变得更有效率。我们希望整个迭代过程、整个流程，发现更加有意义，同时能发现新的东西。这个其实是一个很大的挑战，我觉得是这样子。 所以其实你说我们是不是还会用传统的scaling law（缩放定律）来做这个事情，这个其实是需要考虑的。比如说我们以前有一些朋友，比如说他们在大厂里面，在一些资源丰富的地方，对他们来说资源可以是无限的，或者说是相当充裕的，那么可以用各种各样的方式找到一个很好的scaling law（缩放定律），把这个事情做成。但是对于我们来说，我们可能需要思考的就是成本，思考各种各样的巧妙的方法去绕开大量的计算资源的堆叠，获得更好的结果。可能这是一个很大的挑战。如果一个人只有scaling law（缩放定律）这个思想的话，可能不太容易成功，你还是需要在scaling law（缩放定律）之外还有什么其他的一些新的、对问题更深的理解，那么就能成功。 >> 就是要看research taste（研究品味）了。 >> 是的，就是要看research taste（研究品味）。 >> 因为你刚才也说小的lab肯定会比大公司跑得更快。 >> 对。 >> 而且小的公司，他们可能押注的技术路线目前也是大公司他们现在还没有时间去搞的。他们可能现在卷coding（代码），卷frontier model（前沿模型）。 >> 对的。 >> 那你觉得你们在押注的这些路线，跟OpenAI或者是Google、Anthropic他们在押注的路线，一定是一个平行发展的关系吗？他们会不会还是有一天会有竞争？如果是的话，这个竞争会发生在什么样的地方呢？ >> 我觉得首先还是一个平行发展的关系。因为对于那些大公司来说，其实我也跟大公司很多人聊过，我觉得一个问题是大公司一般现在是有一个趋势，是大家趋同化。原因是因为大公司很多的方向和方案都是让CEO或者说让高层定的，但对高层的人来说，他们可能会觉得，因为他们往往去追热点，他们会觉得这个是我们想要做的事情，因为别人也做了，或者说别人做得很好了，那么这样就会导致，因为是自上而下的这个结构，这样就会导致大公司之间相互之间同质化比较严重，大家做的东西都差不多。 比如说coding agent（编程智能体）火了之后，大家都做coding agent（编程智能体），因为所有人都觉得我要让AI写代码。所以就算是你在大公司里面，你想做些不一样的事情，你会被这个环境和压力所逼迫，然后去做跟大公司、公司方向有关系的东西。所以这个事情其实应该说是一个很大的趋势。 所以最终大公司可能会产生这样的结果，就是大公司里面那些人，他们没有这个能力——不是没有这个能力，是有能力，但是没有这个时间，也没有这个精力去做一些跟大方向不一致的东西，这非常难了。所以其实自然而然，小公司他为了能够很快产生一个效益，很快产生一个结果，他自然会选择一些跟大公司不一样的方向。所以他们相当于是平行的。只有等到以后，比如说小公司他公司业务做得很好了，这个方向开始变成一个新的，或者说变成一个大家关注的新方向的时候，可能会有竞争了，但这是另外一回事情。 这件事情应该说在历史上已经出现过很多次了。像Anthropic一开始做的是代码，他做coding（编程）的时候，其实应该说关注的人很少。我还记得，应该说去年或者说前年的时候，大家都在刷什么？刷math（数学），我们把那个AIME（美国数学邀请赛）提得很高。但是当时我记得Anthropic，他就在每次宣布的时候说，我们这边不刷这个东西，他们的模型放出来之后没有math（数学）的Performance number（表现得分），他们就刷那个coding（编程），他们就把这个coding（编程）传上去。最后大家发现这个东西确实能赚钱，它是一个很好的商业模式，突然之间所有人都涌过来了。所以这个应该说是以后会发生的一个常态。 >> 所以说这就要求小公司的成员有这个耐心和有这个眼光做一些方向。大公司现在不做，但是怎么能确保说，大公司看到这个机会之后，小公司不会被大公司这么多的资源、无限的资金给盖住？ >> 其实也很难。应该说首先第一个，就是你不会觉得大公司真的那么有效率。你像Google现在也在追赶coding（编程）。 >> 对，出了那个Antigravity。 >> 对，Google的coding（编程）其实应该说还没有做得特别好，还是有一些问题。大公司有大公司的毛病，这个都是会发生的。而且其实在这种事情发生的时候应该说，这个小公司如果真的成功了，那么他已经获得了很多钱，收了很多的资金去投入，所以那个时候小公司也有很大的一个leverage（优势）。 >> 你觉得现在你们面临的挑战包括招人吗？你觉得现在大家抢人这件事情抢得厉害吗？ >> 这么说吧，首先一个就是我们公司确实还是比较受欢迎的，有很多的人愿意投递简历给我们，所以我们也挺惊讶的。另外就是大公司招人和小公司招人，应该说是在不同的方向上招的人。对于大公司，比如说你说TBD，他们花很多钱招人，吸引的人可能跟小公司吸引的人不一样。大公司吸引的人可能是那些“我有很强的技术能力，但是我觉得这个技术能力对大公司有用的，但是这个能力本身可能不是那么新的”这样的一些人；对小公司来说，可能有些人他们是愿意看我们的愿景，我们这个方向是不是在将来会产生一个很大的影响。所以这两边应该说mindset（心态）和思路是不同的，所以不能说两边相互抢吧。 >> 你们喜欢招什么样的人？ >> 现在我觉得感觉上是这样，首先一个是他有一定经验，经验比较丰富的。因为现在AI coding tool（编程工具）非常强了，所以很多时候经验和品位和方向是更重要的。但另外就是说，我们希望这些人还是比较hands-on（亲力亲为）的，所以就是说又有经验，同时又愿意自己把事情做成的人，这两个合起来是比较重要的。 >> 所以你们不考虑毕业生？ >> 这个也case by case（具体问题具体分析）。 >> 你觉得现在毕业生还能找到工作吗？因为很多junior（初级）的工作，其实我理解说，你们都可以让agent（智能体）去做了，对吧？ >> 对，但是要看，如果毕业生本身是很厉害的，他有很好的工作，这个工作业界知名，大家都觉得这个工作非常好，那也是有希望。 >> 你现在跟一些年轻的researcher（研究员）聊的时候，他们更想去大厂，还是更想加入neolab的这种小一点的公司？ >> 其实我这边有bias（偏差）。你说跟我聊的很多人说：“我们能不能来这？”“我想去Meta。”你想去Meta的话，就不会跟我聊了。所以其实有一个self selection（自我筛选），所以这是一个点。大厂也有大厂的，因为大厂往往大家讨论的是比如工资是多少、总包是多少、有多少福利、多少钱和股票，这样的一个；但是对小厂来说，更多时候谈论的可能是比如说愿景、方向、做的工作内容，还有是不是有意思，这样的一些问题。 >> 要做成RSI想做成的事情，除了你们这个很强的8位联合创始人之外，你们还需要多少人？什么样的一个规模你觉得是会比较舒服的？ >> 我们现在是25个人左右，之后我们希望能够比如说到40个人，40个人左右，大概是这样的一个规模。但是这个也看市场情况变化而变化。 >> 你觉得现在整个的就业的版图里面，在发生什么样的事情？你看到的。因为我记得在上次采访里面说，你说大家迟早全部都要失业的。 >> 对。 >> 对。你觉得半年过去了，我们现在距离你说的那个场景会更近了吗？ >> 对，我觉得是更近了。你看Meta最近又裁了一些人，很多地方都在裁人，Amazon年初也裁了一些人，之后也还有其他地方会裁人。原因是因为agent（智能体）确实是能够代替一些工作。我觉得一个是AI确实效率提高了，以现在的AI能力，比如说相当于以前的四级或者五级的工程师，大概是这样的一个感觉。因为一般是应届毕业生刚进大厂的时候，他们都叫Level 4，这个可能是Google和Meta的Level；比如说senior（高级）一点的话，变成Level 5，是这样子。那么4和5的这些工程师，他们的能力，就是AI很多事情其实可以做的了。而且4和5应该说是在大厂里面比较多的。就是AI agent（智能体）来了之后确实有很多的影响，我觉得以后可能会越来越多。 ### 前沿实验室观察与模型之争 >> 那说到这里，我们接下来来说一说现在主流的这些Frontier Lab（前沿实验室），也特别想听一下你对他们的一些观察。首先我们先来聊一聊Anthropic。你怎么看Andrej Karpathy加入Anthropic这件事情的？圈内人大家怎么看？ >> 我觉得一个是说明self improvements（自我改进）、auto research（自动化研究）非常重要，这个我觉得我们也很开心能看到这个有意思的进展，对吧？因为之前Andrej Karpathy在推特上直播了自己做auto research（自动化研究）这个过程，然后把这个图像和把report（报告）都开源了。那段时间应该说很多人对这非常有兴趣，也有很多人跟随着Anthropic的路线，发现auto research（自动化研究）这个路线可以做很多的优化。所以应该说他在这方面他的影响力很大，他也明确地跟大家说了，他去Anthropic是做预训练，是做auto research（自动化研究）。所以应该说这个就让大家觉得，确实self improvements（自我改进）或者说self learning（自我学习）这个方向应该说是主流了，或者说大家去承认这个事情是对的，我觉得这个是很好的。 >> 然后Anthropic我觉得今年的叙事、这个趋势都非常猛，一部分也是因为它要上市了，一部分也是因为它的商业化确实增长得非常快。你觉得它的这个优势能一直延续下去吗？因为我们看到OpenAI它其实最新的Codex也追得很快，我们刚才说到谷歌也出了Antigravity。但你觉得整个coding（编程）这一块的格局，会延续着现在的这样的一个排位吗？还是说有机会会出现一些变数的？ >> 我觉得很难讲。因为其实说实在，应用下来就并没有觉得谁比谁厉害很多。比如说Codex 5.5，其实我用了之后觉得挺好的；我觉得Claude Code我也在用，都挺好的。但是各有各的问题。比如说Claude Code，有些时候会给你hallucinate（幻觉），我说这个答案是啥你给我总结一下，它给你说一大堆话；我说这里有问题、错了，然后他说是的，“I'm so sorry”。 >> 承认错误倒是很快。 >> 就是很快，但是为什么我在没讲之前它就没说出来呢？所以有很多地方还是问题不少。而且其实应该说Codex我觉得并没有差Claude Code差太多，只要OpenAI想追，能力上面还有产品能力上面是能够追上去的。 >> 对，我觉得是可以追上去，只是说看它的执行上的速度多快。 >> 其实我觉得像Google，你说想追也是可以追的。你像Google最近他们成立一个Strike team（突击小组），他们成立一个team，“我们就要追coding（编程）”，好像是Sergey亲自挂帅。所以我觉得因为如果一个方向上特别火，大家都知道它有商业价值，那所有人都会去做它，慢慢就会产生各种不同的方案。而且还有很多开源的，比如像DeepSeek，DeepSeek V4我也用了，我觉得还挺好的。当然它有一个问题是，它可能一开始你必须让它预热一下，比如预热1万个token，然后它变聪明一点，一开始就有点奇怪，但是预热一段时间之后它就突然之间变聪明了，然后就可以做很多事。当然有些问题，但是只是说这些东西应该说都是可以解决的。我觉得这个市场这么大，肯定会有很多人愿意进来，大家迟早会figure out（弄清楚）出来到底怎么把它做得很好，所以接下来这个份额怎么分其实很难讲。 其实我这边一直有个concern（顾虑）就是说，因为对于用户来说，用户并不需要非常强的模型，他希望这个模型能力有上限，他希望这个模型够用就行了。比如这是一条边，超过这个上限之后，对于用户来说他也无所谓，他现在觉得用舒服的模型就可以了。所以如果大家都达到这条上限，也许大家市场完全是看那个价格了。 >> 好的。 >> 就可能变成这样了。 >> 所以你觉得coding（编程）它的先发优势没有那么的重要，它其实可能最后还是会有一个打价格战的这样的一个时期？ >> 肯定有这个问题。当然一个counter argument（反驳观点）是说，我们也许能看到数据飞轮的效应，先发的人获得很多数据、训练很好，这也是一种可能性；但另外一方面就是说，也许大部分人写的代码都不怎么样，重要的代码还是那些大神们写出来的，所以这个飞轮能转起来吗也不是很清楚。 >> 这个Anthropic的Mythos这个模型，他们自己说太强了所以不敢发布，真的有这么强吗？ >> 这个我也不做comment（评论），因为确实从数量上来说很好，是很强。当然了，你看网上也有很多人在说其实不怎么样、其实不强，所以现在也不知道，这个就等它发布之后再讲。 >> 所以你觉得Anthropic模型它强的原因是什么？除了刚才我们说的，它可能是用了一个不一样的Vision Transformer的架构，有可能它的数据上面有些数据给弄到pre-training（预训练）上面去重新训了。 >> 主要是这两个点。你说后者其实大家都在用，不是Anthropic一个人在用。后者就是说我训练的时候，我把推理链的那个结构放到前面那个预训练或者中训练里面去，这个大家都在做，这个我不觉得是一个很大的创新点。所以有可能是模型上面有一些创新了，有可能是模型或者训练优化器，或者说模型的那个recipe（训练方案），这个不知道，因为这部分的信息现在是很少的。 >> 所以你觉得接下来如果大家还要再继续卷SOTA（最优水平）模型能力上面的话，可能真的是要拼这个模型上面的创新了，是吗？ >> 对，我觉得应该是的。一个当然是你有更多的卡、有更多的计算资源你可以做；但是另外就是说，我觉得现在再往上，你这样纯拼scaling law（缩放定律）的话，横轴它是一个指数的，指数到一定程度之后大家都受不了，你要再10倍的电力、再10倍的资源，不可能。所以最终一定会撞到一个地方，就是希望大家突然回过头来看一下，有没有更好的方式来解决问题，所以这个一定会发生。所以为什么现在neolab大家愿意去投资，也是这个原因。 >> 是，你现在的模式不可持续。然后coding（编程）之后的下一个，The next big thing（下一个大方向）是什么？最近很多人问我这个问题，你觉得会是什么？ >> 我觉得是AI research（研究）。 >> AI research。 >> 对，就是我觉得我们现在做的，能不能让AI变得更强，能让AI做一些research（研究）做的事情。因为coding（编程）为什么那么火，我觉得主要因为还是在于写code（代码）的人，或者说写code（代码）的这个ROI（投资回报率）很高。我这个模型很强，能够做一些本来需要高薪才能聘请的人的工作，因为有这个，所以它才会revenue，它才会有收入。那么下一波，因为现在大模型的人才也是非常贵的，而且可能比写code（代码）的人更贵很多，当然就是能够让这个事情自动化，当然是有很大的ROI（投资回报率）的。 >> 那你觉得AI research（研究）上面的商业化回报，会跟coding（编程）一样是有这么大的市场吗？ >> 这个要看你最终的那个AI research（研究）发现什么知识。比如说你发现了一个AI for science，发现个新药，那你回报有多少？ >> 对。 >> 你发现了一个新材料回报有多少？你发现了新方法训练模型回报有多少？这个都是天文数字。当然这些东西就是高风险高回报的事情。 >> 然后OpenAI跟Anthropic的一个比拼，你会觉得是什么样的一个结果？短期跟长期来看你都可以说一下。 >> 我觉得现在很难说。因为OpenAI可能之前有些问题是有很多的方向它都在做，不太focus（聚焦），现在开始很focus（聚焦）了，你就很难说两边谁比较好、谁比较（差），这个都是问题，所以这个我也很难评论。我们看大家，其实对用户来说这个是好事，因为通过这个方式你有很多的可以用，而且价格会打下来，所以不是坏事。 >> 接下来决定他们胜负手的关键因素是什么？谁能够找到更新的范式？ >> 我觉得这倒不是。因为代码本身已经很赚钱了，接下来的问题就是说，谁能够让用户愿意去用它们，我觉得这可能是重要的。 >> 所以还是产品方面的竞争。 >> 因为他们两家都已经在，特别是Anthropic，现在最终他们主要的in-force revenue（有效收入），他revenue很高，一直在往上走。Revenue（收入）一旦有了之后，其实资本上有个问题，就是一旦你开始有revenue（收入）了，我希望有更多的模型。 >> 是。 >> 所以这个其实是一个很有意思的现象。其实如果是这样的话，他们两边就会有这样的一个concern（顾虑）。比如说Anthropic有revenue（收入），说不定马上就要赚钱了，那么对OpenAI来说你怎么还没赚钱呢？ >> 对。 >> 你有很多revenue（收入），但是你还是资本……你这个cost（开支）还很高。 >> 对。 >> 怎么办？那么会不会有这个问题，他们都要上市了，你要不然就是削减你的cost（开支）…… >> 对。为什么把Sora关了，对吧？ >> 是，所以要不然你就再多挣点钱。他一旦进入这个叙事之后，那么这个逻辑就跟以前那个research lab（研究实验室）逻辑不一样了。Research lab（研究实验室）逻辑是说我要证明自己很厉害，我做出个新东西出来，“你看没人做过吧，很厉害，超级impressive（惊艳）”。但是一旦他掉进了资本上的，就是上市要做资本叙事、要做这个revenue（收入）、要做资产负债表的时候，你就会回到了之前的商业模式了，就是说我希望我的公司是有revenue（收入）的、cost（开支）又低的、能够稳定赚钱的公司。所以其实可能赛道就不一样了。 >> 你们有一天也会遇到这个问题。 >> 这个我们还早吧。 >> 然后我们来说一下谷歌。谷歌这次的I/O发布似乎不太理想，你觉得谷歌还能够追上来吗？机会在哪里？ >> 这个我就不做评论了。我觉得谷歌还是很厉害的，还是有很多人非常厉害在里面，愿意做很厉害的事情，只要领导层有这个重视的话一定还是不错的。你想Google之前从当时Gemini 2、Gemini 2.5，Gemini 2的时候其实大家一直在说它不行了，Gemini 3就很厉害，Gemini 3就很好。所以接下来应该还是……另外确实我们公司也是Google Venture投的。 >> 好的，理解。 >> 对。 >> 然后来说说Meta。Meta在你离开之后是经历过数次的重组。 >> 对。 >> 他们之前是推了Muse Spark出来。 >> 对。 >> 你怎么评价Muse Spark？ >> 其实还是不错的，我用了一下。我觉得应该说首先第一个有利益相关，就是我还是有很多它的股票。 >> 感谢披露。 >> 我很多Meta的股票，所以我也没有办法讲说……可能说出来的话也不是很客观。我觉得Meta的Muse Spark还是不错的，还是有很多的，特别是比如多模态还挺好，它的understanding（理解能力）还有一些回答也比较好，都还不错。当然总的来说应该说还是可能比Gemini 3还是要差一点。 >> 我看到有评论说Muse Spark它是一个为Meta自身产品场景高度定制的这样的一个模型，而不是说一个非常强大的通用前沿模型。这是不是意味着Meta其实在AI的策略上就完全转向了？就是说我完全就不拼这种最强大的general（通用）模型了？ >> 我倒不觉得是这样。我觉得它还是一个general（通用）的model（模型）。至少从它内部的工作模式来说还是general model（通用模型），肯定先训练一个更general（通用）的模型，然后再fine-tune for the specific use case（针对具体应用场景微调），这个是更好的。 >> 就是说他们其实还是没有放弃说我要去争夺最强模型的这件事情？ >> 对，不然的话Meta就没有必要花很多钱做这个事。 >> 你觉得他们还有机会吗？ >> 机会还是有很多，我觉得应该还是有很多的。因为毕竟大家还在往前走，而且其实大模型一旦有个人训练出来之后，不出几个月就会被另外一个人超过。大模型里面没有永远的赢家。 >> 大模型里面没有永远的赢家。 >> 应该这么说，现在大家都是犬牙交错地往前走，所以很难说。 >> 所以需要的是什么？需要有一个人灵光一现？ >> 那也不是，这个还是需要一个团队作战，有很多的人大家把事情做好，拼在一起就可以。大模型很多时候，这点上我是挺同意姚顺宇的观点，我觉得大模型特别是做这种工业级别的大厂做大模型，很多时候是每个人都在各自岗位上兢兢业业地把它做完，然后pipeline（流水线）通了之后跑起来就行。 >> 但如果每个大厂都这样的话，那它差异点在哪里呢？ >> 那就看你做得多细，然后你的工作做得多努力、事情做得多好。一些小的东西有些人注意到了、有些人没注意到，注意到的人可能就获得一些提升，没注意到的人就没获得这个提升，就是这样子。 >> 所以你觉得TBD Lab还是有机会的？ >> 我觉得还是有的。对，但是也要看他们内部怎么样operate（运转）。 ### 组织变动与“蒸馏员工”的未来就业冲击 >> Meta最近有点争议，他最近就是宣布一方面是裁了7800人。 >> 对。 >> 同时发生了一件很有争议的事情，就是他们要强制蒸馏员工这个事情。说要利用员工的工作数据去训练内部的AI模型，这样的话它的AI模型就可以通过观察内部员工完成任务的过程来学习，说它现在的能力已经是要好于外包人员了。我看蛮多人挺生气这件事情的，你怎么看？ >> 这个事情确实是感觉上说得比较赤裸裸，所以大家都会有一些意见，是这样子。因为如果你觉得你知道你自己在将来一段时间之内就会被蒸馏或者吸星大法，顷刻炼化，炼化了之后你就被踢出去的话，大家都不会开心的。这个其实应该说在做事情上来说，应该比较不太顾及员工感受，这个其实是一个问题。应该说裁员本身的过程中，我也会觉得是有这个问题一直在，一直有、一直存在。但不管怎么样，它是个大公司，大家来了之后就是愿者上钩，那你来了之后他们有这个条款，你就得遵守这个条款。 >> 但是蒸馏员工这个事情感觉是个大趋势了。 >> 我觉得有一个人开始做，大家都会做。所以这个没有什么对和错的事情。公司觉得为了公司的利益，希望把公司所有数据都拿到手，然后把这件事情做成，这个是无可厚非的，因为对公司来说这是我雇佣条款之一，你来的话就得遵守这个条件。但是我觉得以后可能大家会发现，这个蒸馏有多大的用处可能是一个问题。可能大部分人会因为有这个条件，导致这些人不愿意工作得特别好，不愿意把自己最重要的事情给做出来，或者故意在里面埋雷，或者说埋一些奇怪的东西让你训练被搞坏掉，制造一些、在里面投毒什么的，这个就很难去判断。 其实我也不是很希望员工跟公司有这样的对立，现在大家都在往一个方向上走。但是感觉在非常high level（高层面）的角度去看这个事情的话，就还是不可避免的。可能越来越多的东西公司希望是AI来做，可能以后会发展的一个情况就是说，我公司确实不需要这么多人了。 >> 是的，这个是客观事实。 >> 其实我最近也写了一篇blog，我也在说，就是vibe coding（氛围编程）的一些或者说AI工具的一些体会，确实我觉得用的人会越来越少，是这样子。所以今年年初我写了一篇blog，我说以后可能大家都是创业者，大家都是co-founder（联合创始人），我觉得以后是会发生的。因为最终大厂不需要那么多人了，所以大家就得找到自己的意义。以前可能是你被教育出来，教育了四年本科、两年硕士、五年博士，最终你的目的是成为一个螺丝钉，或者成为某个大机器的一个零件；但是现在已经不一样了，大机器不需要你的零件了，你得自己去寻找自己的意义。就变成另外一种，可能是另外一种新的文艺复兴，一种你可能回到了以前古希腊的或者说以前的那些状态，就是说OK，我们每个人都需要找到自己想要做的事情。这个过程应该说是一个比较痛苦的过程，但是最终可能会不可避免地发生。 >> 这一天还有多远，你觉得？ >> 我现在就已经在发生了。 >> 已经在发生了。 >> 对，之后大家能找到的，那就会找到自己的方向，然后可能找到自己新的模式，做得挺开心的，那就会变成新时代的一个样本、一个状态；找不到的话就比较难。但是这个比较难的地方，整个过程应该说很快发生了。可能在将来的比如3年到5年内，就会有很多人去面临这样的选择。你会发现你去跳到大厂，去一个大厂被裁了你就跳到另外一个大厂，过两天又被裁了，再过两天又被裁了，它就相当于一条鱼在水坑里面跳，但是水就在干。《三体》里面有句话，就说有人把水弄干了，把水弄干了，鱼不在这里面。 >> 对。 >> 所以这个故事当时是在形容什么四维的生物把整个宇宙变成三维，这样的一个维度打击的过程。但是同样的故事你可以用来讲现在这个事情，有些鱼把水弄干了，弄干之后那些其他的鱼就得不停地在跳。但是不停地在跳的时候，你就会发现水总的来说是越来越少的，所以你永远找不到……你最终一定要变成一个四维生物，你才能活下来。 >> 对，所以你这条鱼要进化成鸟，长出翅膀来，才能够生存下去。 >> 是的，是这样子，所以大趋势是这样子。 >> 我们再来聊聊xAI。你觉得xAI发生了什么？如果我们按照刚才的思路来说，我有一个团体，我有资源、有钱、又有人才，就是我应该能做出来还不错的东西，但是xAI发生了什么？ >> 我反正听说是这样的，确实也跟Llama 4当时情况是比较像的。老板还是希望事情很快能发生，但是就是说这个压力比较大，所以就会导致很多问题。导致问题之后你就发现它出来的模型可能不达预期，或者说不是很满意，那就会有一些问题，都是这样子。之前我也说了很多次了，一个组织如果这个组织里面的人他没有这个能力去push back，或者说去反驳上面对他的要求，那么这个组织的人就只能通过某种方式来顺从上面的压力。但是一开始这个顺从是可以的，但是时间长了之后，总有一天上面的人会发现这个组织的delivery（交付）跟promise（承诺）是不一样的，那么就会产生问题。产生问题之后你就会有一个shock，就是很大的一个地震。这个地震会产生很多结果，其实应该说Llama 4跟xAI的结果很像，老板会觉得“你们这些人我不相信你们了，我们得外面再拉一个人过来去做这个事情”，原来这个组织里面的人可能就境遇比较惨。 >> 现在听下来的话，就是这种前沿大模型之争，其实最后变成了一个组织架构之争了。 >> 是的，很多 ### 生产关系与大厂惯性 应该说组织架构在这次的技术进展中有很大的一个角色。应该说本质上来说，是先进生产力和落后生产关系之间的一个矛盾，可以这么说。但是因为落后生产关系不可能一下子就消失，而且我们现在都不知道什么是先进的生产关系。因为落后生产关系在那了，所以就会产生很多矛盾。 虽然大家说scaling law（缩放定律）到头说了很久了，但是目前其实那前几个大的lab还在继续卷scaling（扩大规模）这件事情。 对。 你觉得我们还能卷多久？ 还是会卷的，至少大厂里面还是会卷的，有惯性。大厂也有资源，也愿意出钱、出力、出人，所以还是会卷。大家思维惯性还是我们要scaling law（缩放定律），所以还是会卷一阵子。 我觉得这个小厂是有优势的。因为小厂一个是人少，特别是有一些人他们有自己的belief（信念），拼起来之后，他会有更新的想法去贯彻下去，所以小厂可能会比大厂有更多有希望的地方。但scaling law（缩放定律）也会卷，卷到最后大家卷不动了，那就会有其他的方式做出来。 ### 初创团队与文化 最后能不能跟我们讲一讲，你现在的工作状态是什么样子的？你刚刚跟我说公司因为刚开始，大家充满了干劲，对吧？ 对。 公司的企业文化大概是什么样子的？ 企业文化应该说一个是比较、相对来说说话比较直，大家都比较direct（直接），愿意很快地给feedback（反馈），很快地给大家反馈。比较technical（技术化），大家都是干活的，大家愿意坐下来，埋头把事情做好。做好之后，你看，这是我的结果，这是我现在的效果，大家有什么经验和建议什么的。相对来说也比较实在，也不会说什么太花哨的东西。有什么事情我们可以有话直说，有话大家就可以把东西摊在桌子上大家讨论。 能不能跟我们分享一个你最近觉得还挺开心的时刻？ 有，且有不少，但是我我现在暂时不说。 有没有能说的、比较开心的时刻？ 应该说公司的launch（发布）比较顺利，这个是很开心的。之前我们准备了也有一阵子了，融资也很顺利，我觉得这个是很不错的。然后我们在发布之后，应该感觉上正面的回复还是很多的，大家也很支持，这对公司来说是很好的第一步。大家都会，特别是外界的反响，应该说还是比较正面的。 ### 人生意愿与创作思考 我觉得刚才在采访当中，你有一句话挺触动我的。你说反正你去跳到不同的大厂，你发现水已经没有了。 对。 反正你都找不到工作，接下来怎么去找到人生的意义这件事情其实是非常重要的。 是的。 对于你来说，你怎么去找到你人生意义的？ 这个其实我觉得在GPT-4刚出来的时候，我就写过一篇blog。我说以后大家就是独一无二，你们能做一件事情别人做不了的，但是只有你能做。我说只有你愿意去探索的东西，这个是最重要的。然后你在do well（取得成功）上越走越远，你们将你找到的、你获得的所有的数据都是新的，都可以给别人分享。这样的话你相当于是一个行走的数据源，然后你获得所有东西你都可以给大家分享的话，你对这个世界是有价值的。 当然这只是一个非常个人的体验，因为我们每个人其实不一样的。 你现在还有时间写小说吗？ 最近这段时间比较忙，但之后我会考虑一下。 最近AI的一些进展，你自己的一些思考，你觉得对写科幻小说是不是有了新的一些idea（灵感）？ 我觉得我有点紧迫感。如果再不写的话，我的idea（灵感）就没了，因为已经实现了。 就已经变成现实了，是吧？ 对，现在感觉写小说写得慢的话，可能就跟不上现在AI的进展，已经到这样的程度。 你可以让AI帮你写。 是，AI可以帮我写，但AI有自己的AI味。所以有没有办法能够让AI味去掉，然后能找到自己想要做的、想要写的东西，然后写得比较好。 感谢渊栋，也期待你们接下来的可以宣布的一些新的进展，到时候我们可以再聊一聊。 好的，感谢陈茜，谢谢。 ### RSI Office Tour 好，欢迎来到Recursive Superintelligence。 谢谢。所以你们什么时候搬进来的？ 我可能两个多月前吧，两个月前搬进来。 我发现很多的新实验室都是在旧金山城里面了，为什么呀？大家都喜欢在城里面，不喜欢在南湾。 我觉得这边就应该是人才密度比较高吧。有很多人，有很多的初创公司在这里面，然后交流起来也比较方便，有很多很有意思的事情在发生。 现在咱们团队有多少人啊？ 现在可能有25个人吧。 所以大家都是可以remote（远程）工作的吗？还是必须要来办公室？ 我们现在是这样，就是有2/3的人在San Francisco，还有1/3的人在伦敦。 今天是周二下午，都没有什么人了，大家都是在哪啊？ 周二下午我觉得应该还有不少人其实在家里工作。但是我们一般一个礼拜我们可能，其实还是可以remote work（远程工作），我们可以一个礼拜来个三天吧。 我觉得你们采光还是挺好的，这个大玻璃窗。你的工位在哪里？ 就在那边，那个角上。这就是一个很随机的一个地方，我们没有什么特别说有一个地方老板要坐的，有个地方员工要坐，我们都坐一起，然后这样的话交流起来会比较方便。 所以没有单独的办公室，是吧？就大家都坐在外面这样。你们开会多吗？ 不太多。我们的目的当然是不希望开会，我希望大家坐下来把事情做成。 觉得就是跟大厂区别还是挺大的。 还挺大的，应该说有很大的区别。我们这边还是希望有事情大家坐下来很快地沟通，沟通完了之后把事情都做成就好了。 我在跟Andrew Dai聊的时候，他说那个有个研究员强烈的要求他们在办公室里面放一个桑拿的一个小房。 你看我们这边有乒乓球桌。 做一下桑拿，然后需要思考一下。 这个应该还没有，没有那么高级，我们现在有乒乓球桌。 你打乒乓球吗？ 会打。 那可以打两下。我看已经有……机器人可以打乒乓球了。 索尼最近有个机器人，乒乓球打得不错。 那我们先这样，感谢大家过来。 好，以上就是我和田渊栋对谈的所有内容，以及RSI的Office Tour了。我们也会密切地关注包括RSI在内的NeoLab的动向，以及硅谷核心AI研究员的视频播客系列还会继续。大家不要忘了关注我们的账号，你们的留言、点赞和转发，是支持我们《硅谷101》做好深度科技和商业内容的最佳动力。我是陈茜，那我们就下期视频再见了，拜拜。