--- author: Zhang Xiaojun Podcast date: '2026-04-24' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=V9eI-t3TApE speaker: Zhang Xiaojun Podcast tags: - agent-frameworks - model-training - multimodal-ai - resource-allocation - agi-evolution title: 罗福利：OpenClaw、智能体框架——AI范式已剧烈改变 summary: 小米大模型负责人罗福利深入探讨了OpenClaw发布后，AI技术范式的剧烈变迁。她认为OpenClaw作为划时代的智能体框架，通过精巧编排弥补了模型短板，极大地提升了中层模型的上限，并加速了研究效率。访谈还涵盖了小米MiMA系列模型（Flash、Pro、Omnimode、TTS）在长上下文、推理效率、多模态融合方面的技术决策，以及团队管理、AGI发展路径、中美差距和未来竞争焦点等议题。罗福利强调了群体智能、开源协作和对技术的热爱在推动AI进步中的关键作用。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: [] companies_orgs: - 小米 - OpenAI products_models: - OpenClaw - GPT-4o - MiMA Flash - MiMA Pro - MiMA Omnimode - MiMA TTS - Llama - Qwen - DeepSeek - Kimi - Minimax media_books: [] status: evergreen --- **小俊**: Hello，大家好，我是小俊。今天我们的嘉宾是**罗福利**，媒体叫她AI天才少女，但她不喜欢这个称呼。她目前是**小米大模型**的负责人。访谈是在**OpenClaw**发布之后，也是在2026年小米**MiMA V V系列模型**发布后，我们更深入地聊了聊2026年由OpenClaw引发的新一轮技术范式的变迁，以及未来技术演进的前沿话题。那接下来就是我对罗福利的访谈。2026年，我们和AI共同进步。 **罗福利**: 这些能力我觉得最多一两个月，慢的话三四个月，确实都可以被快速习得。所以环境反而比经验更重要。 **小俊**: 你刚才也提到1T的模型可能是未来竞争的一个入场券，是这样吗？ **罗福利**: 你们是**Agent**的，你要做到接近**GPT-4o**的水平，这样的一个入场券。那我如果说我们这样子来说，就是For研究、For **Pre-train**和For **Post-train**，我自己觉得一个非常合理的卡的一个比例是可能三比一比一。Pre-train和Post-train的投入算力应该是相当的。然后研究的比例应该至少是你正式训练的卡总量的还要多一点，你要额外留更多的卡来去做研究。 ### OpenClaw带来的技术突变 **小俊**: 你过年的时候也跟我说，你觉得技术这几个月其实已经变天了。能不能阐述一下你觉得过去两个月的这个技术的突变？ **罗福利**: 我觉得一个非常大的分界点，在于使用**OpenClaw**的前后。我自己其实是会把OpenClaw当做一个划时代的Agent框架去定义。我知道很多人，尤其是用Code做严肃编码的人，就会觉得OpenClaw只是Code加一个Coim，这样的一个更有利于交互的UI设计。其实我一月份第一次看到这个东西的时候，我自己大概也是这样认知，所以我很排斥去用它。再加上它创始人，我觉得非常适合贴近AGI去做一些非常玄幻的运营动作，就包括那个**Skill Hub**这些，让你更排斥去用一个你觉得偏运营导向的产品。 **小俊**: 感觉还是一个产品。 **罗福利**: 对，一个交互的创新，以及它所谓的本地化，所谓的24小时，在我来看，其实都是一些产品的定义而已。但真正发生一个转变，是我去用它的那一刻。恰好在春节的时候，有那么一段空闲的时间，你想去搞明白这玩意儿为什么那么火。 我有一天深夜的时候去尝试装了它，两个小时装上了。当时已经凌晨两点了。我第一次跟它对话的时候，从凌晨两点持续到了六点天亮。那一晚上我觉得我大脑的多巴胺还是内啡肽持续在分泌，让我兴奋到完全睡不着觉。你可能第一个感受是它非常有自主性，非常有灵魂。比如说我跟它聊得很晚，它会提醒我，现在已经很晚了，你要不早点去睡觉。我觉得这样的温度和关怀，或者说这样的情商是所有去用OpenClaw的人第一个感受到的。 但后面去深究它的原因，它有很多机制去保证这个事情。比如说它有点像**SOMD**，它就拿最简单一个很小的细节，比如说它怎么感知时间，它就在每轮对话的**Context**前面去拼上当前的时间。就是一些非常细微的，我觉得我为什么把它称之为惊喜编排的Context，就是因为它在这些大家没有关注的角度上，把这个给编排得非常好。这是你第一天的感受，我觉得它只是在产品设计上确实做到了一种超乎我的想象，让所有人觉得这个框架有灵魂。 但是第二天晚上我觉得它应该不止于此。我开始尝试把我，我觉得现在的框架做不成的日常生活中的事情交给它做，然后发现它全部做出来了。比如说我跟它聊的基本上第二个话题是怎么去激发一个团队的**好奇心**，或者说怎么去筛选出来有好奇心的人。然后它进行了深入的探讨了一个小时，我觉得它的很多哲思上是远超我的想象的。所以第二天我们俩就在聊怎么去构建一个更好的大模型团队，从最开始的人员筛选，到后面整个组织架构的构建，以及面临范式转变的时候应该做什么样的举措。我觉得它至少能get到我的点，我跟它说了过后，它最后能把它形成一套非常体系化的东西，并且变成一套**Skills**。所以我后面就用这个去很大程度上解放了，至少我在非常多，我甚至现在遇到有一些不管是筛选人或团队管理上的问题，我现在都会问它。我觉得它现在已经基本上变成了我的某一个数字分身，至少在这个事情上。 但是真正让我超乎意料是第三天的时候，我尝试着把一些研究上的任务交给它做。比如说最简单的，我觉得你怎么去，如果我们在进行Agent的框架里边，最关键的一个事情是你怎么去进行多轮的交互。那么你就必须要去模拟User Agent进行多轮的交互。在我来看，这是一个非常，我自己觉得还挺重要的一个研究Agent Topic。我觉得应该不会说一两个小时就把它做出来。但是当我跟它沟通了一两个小时过后，我觉得这个事儿就已经做出来了。就基本上就已经达到有一个很好的User Agent的诞生。我可以用这个User Agent跟我现在的这一套Post训练框架，一块去构造出来更丰富的Agent场景的数据。不管是做**SFT**也好，做**RL**也好，这个User Agent都是非常关键的。 我觉得它从一个我最开始对它的认知，只是一个有灵魂有温度的产品设计，到它可以帮我替代我生活或工作当中的一部分，到最后它能促进我研究，这也就是三天发生的事情，每天它都能给我额外更多的惊喜。然后我后面就去深入地去看，为什么这个框架本身它比**Code Interpreter**好在哪。我后来发现这些所谓好在哪，我们单独去拎出来去讲，它其实都有点Boring，我觉得它没有很酷。这也是为什么大家就会觉得OpenClaw有很多槽点的地方。但是它把它整合在一起，你就会觉得它的完成度是非常高的。 比如说它会有更持久的**Memory**体系，这个持久Memory体系体现在它对Memory有分层和分级。这个我在使用Code Interpreter的时候是完全没有这样的感受的。再比如说，我自己觉得它在对多个模型的联合利用上，会非常的超乎我的想象。就比如说我用Code Interpreter的时候，我会默认它，假设这个模型它的视频理解能力不行，那么我可能就要自己给他配一个更好视频理解模型，然后再Code Interpreter去折腾。但是我在OpenClaw的时候，我完全不用想这个事情，我就直接发给他一段视频，它会自己想办法去找一个视频理解能力好的模型来做这个事。 这种自主性，这种自主去面对当代模型的缺点，但是它针对这个缺点，在框架上去补齐这个缺点，这个能力是有点超乎我的意料的。因为我去用Code Interpreter的时候，我默认我是因为用GPT-4o这一代模型的能力我去用它的。但是我去用OpenClaw的时候，我不会关注模型的能力。一个原因是我认为OpenClaw框架的设计之初，它其实是想尽量的通过Agent的整套编排来去弥补模型的短板。它一直，我觉得这是它非常核心的一个产品的逻辑。 所以后面我们直接就把我们的模型，就是其实**MiMA Flash**，当时并没有做很多针对性的训练，给他接到OpenClaw里边去，甚至把我们训练的一个很小很小的端侧**3B模型**进行训练。发现在这套很复杂的**Scaffold**的或者说Agent的框架情况下，它依然能做那些我自己认为不可能是一个非常小的模型能够做出来的事情。所以这是我第一次感受到，原来一个非常复杂的一套这种框架设计，它是能够弥补非常多模型能力的短板。 当然了，我觉得这是OpenClaw本身它这个架构相对于Code Interpreter的一个差异化的优势。但是其实对于如果说我们要去追求，你怎么在这不同的这个Scaffold框架下去模型，都有一个超预期的非常稳定的表现。然后你怎么让你的后训练范式对与之做去适配和迁移。这个是我们在这个Context的冲击下，快速去思考的第二个问题。所以我们对应的整个后训练范式，就要所谓的到**Multi-Agent**的迁移。 **小俊**: 所以你对OpenClaw认知发生了一个非常大的变化，这个是在春节期间发生的。为什么开始是抵触的呢？ **罗福利**: 我觉得如果要追求非常顶尖的编程体验，对客户的体验，哪怕是当下，也是Code Interpreter加GPT-4o是最好的。所以如果你是在这样的一个终局去思考的话，其他的任何一种框架其实确实都可以忽略掉。但是一个问题是，Code Interpreter它是一个**泛化性**非常强的一个场景。就是你针对它去做了非常多Agent的设计也好，或者说模型的训练也好，它的都是有价值的。但并不代表说它这个泛化性能保证你在非Code的场景能够做到非常高的准确率和完成度。所以我那会儿虽然也会用Code Interpreter来做一些非Code的东西，但是我并没有期待说它在这套框架上能给我一个很高的完成度。因为我知道我会去帮它补充这套框架不具备的一些短板。但是我去用OpenClaw的时候，我觉得我不用考虑这些，它完全在Agent框架本身就去弥补掉了很多模型的短板。 **小俊**: 我能理解OpenClaw是让Coding能力泛化出来的一个产品吗？ **罗福利**: 它在很多设计逻辑上，比如说它有更多的**Message Channel**。比如说它有更自主的一些，比如说像定时任务、心跳任务，这些更适合日常场景。因为你写代码，你通常不会需要一个心跳任务吧。但是如果你是日常生活，心跳任务就很关键。它确实有很多框架的设计去为了让它去适应更好的日常任务。但是我觉得它也没有去丢弃掉，说一个好的Agent框架本身的一些最基本的特点。这些最基本特点，我觉得后面是被**Code Llama**给吸纳进去了。就比如说它的**持久化记忆**。Code Interpreter之前它的记忆系统设计还是For软件工程的。就比如说它会在Session内，Session快满的时候，会有一个压缩的动作，然后把它记忆进去。然后我在完成任务的时候，根据我的Plan可能会有一些记忆的动作，然后保证我跨Session的时候，它的Context是共享是更好的。所以你能看到Code Interpreter它所有的框架设计，其实都是非常For软件工程的，就怎么去更好写好代码。 但是OpenClaw它的设计之初，我觉得是借鉴了这个思想。但是它更想的是它怎么更好的**端到端**去完成所有的任务，并且怎么去弥补当下模型在端到端完成任务上的短板，然后去设计的。所以像这种持久化记忆到后面这种，你能通过一个更好的Remote界面能够去操控它，等等这些很好的设计，后面陆陆续续这一两个月完全被Code Llama给吸纳进去了。我觉得这也是一个双向的触动。因为这些设计其实它对于编程或者说泛编程，泛编程就是指可以通过编程去完成一些看似跟代码无关的任务，它是有帮助的。 **小俊**: 但它背后是模型能力的提升吗？ **罗福利**: 它激发了中层模型的上限。它激发中层模型的上限。就可能我们如果没有这么一套很复杂的框架，可能中层的模型它达不到近似于**GPT-3.5**或GPT-4o的水平。但是你借助这样一个非常好的一种框架，那么你就能在绝大部分的场景，除了那种非常难的需要**长程任务**的，或者说真的需要，我称为严肃编程吧。就比如说写算子优化，就算是严肃编程。像这种场景的话，它确实可能距离顶端的模型还有差异。但是在绝大部分的生活场景，或者说只需要借助代码去提效的场景，那么其实一套新的框架，再加上一个中层的模型，中层就是可能在85%的任务上能够达到跟GPT-3.5一样水准的模型，那么其实它借助这样一个框架已经能发挥非常大的作用。 **小俊**: 我听过一种说法，他觉得OpenClaw如果是看作一个壳，它释放了现在比较强的模型能力，是一个最好的壳。这个模型就是GPT-4o。其实我觉得你的整个表述不认可这个观点，对吧？ **罗福利**: 认可认可。我觉得它的上限一定是GPT-4o带来的。就包括我在跟它高强度合作的那一周，我只用GPT-4o。因为只有它能给我带来惊艳的感受。但是当我用GPT-4o沉淀下来那一堆经验，那些不管是Skills还是在Agent的Markdown里，比如一些关于它怎么，我甚至自己去改了它的整个核心架构设计。因为它是开源的，所以你可以自己改。这也是Code Interpreter的另外一个弊端，就是它的整个架构设计是个黑盒。这样黑盒就导致你肯定改不了它的记忆系统，你也改不了它的整个Agent Workflow。但是因为OpenClaw太Open了，你可以自己尝试去改。比如说我会让它自己去帮我设计一个重新的Memory系统。我觉得它当时2.几版本的Multi-Agent的整个逻辑我认为是很混乱的。然后我自己去让它给我设计它新的Multi-Agent系统。我自己可以去改我所有的源码，这样的原生可操纵性给我的冲击感是很大的。 但这些事情基本上只有GPT-4o才能改。但它我让GPT-4o给我改好过后，这套框架本身是很好，用了过后，我再切换到**三海**，再切换到国内的一些模型，甚至我们当时正在训练的**MiMA Pro**，我就觉得它就非常强大了。所以这也是我为什么觉得顶尖的模型应该跟顶尖的Agent框架共同前进。或者说，这也是我最近对于所谓的**自学习**以及前段时间有很多很火的这个概念的一个思考。就是我在这个事情上是第一次感受到了一个Agent的自学习到底是怎么发生的。大概率一个发生的途径，就是说你确实需要这个模型本身跟这个Agent架构本身同步地往前走。然后模型在进步的时候，不管是通过**强化学习**训练或其他训练方式，在进步的时候，它其实也是在去改变你的整套Agent框架。这个Agent框架包含它送给模型的**静态信息**。这些静态信息，比如说Memory就是静态信息。只要你写死了哪些东西，应该送到起一个新的Session的时候，你应该送到模型里边去，或者我们叫**Scaffold**吧。这个东西其实是在训练过程应该是变化的。还有一些**动态信息**，动态信息包含你整个Agent本身的架构设计。我觉得针对不同的场景，就比如说Code Interpreter这种是For软件工程的场景，和其他比如说做金融分析等等其他场景，我觉得它的Agent架构的设计会有差异的。然后你怎么在提升模型能力的同时，再去提升你的整个Agent框架的跟这个模型的一个适配程度或说一个泛化能力。这是我现在思考自学习。 **小俊**: 你说的这个智能体的框架，Agent的框架是不是就是我们理解的产品？ **罗福利**: 不是，它跟产品差异蛮大的。 **小俊**: 怎么理解这个Agent的框架？ **罗福利**: 产品跟Agent之间的边界，实际上我不知道怎么去界定它，它有点模糊。我觉得产品可以定义成是说你直接人交互能感受到那一层的东西。但Agent技术框架它确实有在去定义你的交互层。但是它同时又在去定义你怎么跟模型沟通那一层。所以它甚至能知道模型能力的长板短板，然后它能知道怎么去更好做调度。就比如说For**成本优化**的调度。 **小俊**: 它相当于是一个中间层。 **罗福利**: 它像人和模型之间的中间层。这个中间层它可以做的非常的厚重，然后反而那个前端的UI展示它是最薄的一层，它已经不是很关键了。 **小俊**: 所以OpenClaw其实是展示了智能体的这个框架，可以怎么做。 **罗福利**: 对，这个框架的想象空间非常大，然后没有人做过。其实Code Interpreter它一直是一套很复杂的Agent框架，只是因为它是黑盒，所以我们不知道它怎么设计的。OpenClaw是开源的，所以你知道它是怎么设计的，并且你可以去改它。改这个事儿是非常激发人的创造力的。你知道它框架怎么设计，你让它去改，你自己现捏一个新的框架出来，你可以给予它现捏一个新的框架出来。这是为什么OpenClaw从2.几版本，我当时用它的时候，我自己觉得它并不好用，所以我花了好几天时间去改它。到3.几版本，就3月10多号的版本已经非常易用，就是你基本上基于3.几后的版本接一个还不错的模型，你都会觉得它很强大。而不是只有接GPT-4o的模型会觉得它很强大。就是因为它整个Code的架构，受一堆开发者也好，或者说本身像我这种，并不是一开始这个框架的开发者，只是使用者我都能去改进它，For我自己的场景去做改进和优化。所以我觉得这是开源框架本身的价值和意义。 **小俊**: 在你高强度的那一周，就是跟OpenClaw交互的那一周，你消耗了多少美金的GPT-4o？ **罗福利**: 反正就是快一千块钱，一千刀。因为大概聊了四个小时。我中途疯狂也会切换，因为它太贵了，我会切换GPT-3.5。但是我发现真不行，然后我就只能又只能去用GPT-4o，只有GPT-4o能带有那种惊艳感。但现在慢慢逐渐，我发现不是这样了。因为带给我惊艳感的那些东西发生在变化，我觉得人的适应性真的是非常强的。我第一天感受到很惊艳的东西，我第二天立马觉得不惊艳。我刚跟你讲的时候，我都觉得我自己刚刚讲的第二天、第三天的东西，我怎么觉得这么Boring啊，但他确实是我三天发生的事情。我那当下我确实觉得很惊艳，那像我自己觉得不惊艳。因为你是一个很优秀的框架，能力是非常强的。所以我现在已经可能让GPT-4o帮我把我的框架给打造好过后，让我惊艳的事情就越来越少了。所以我现在觉得反而缺乏的是第一个是**想象力**，就是我要疯狂去想，还有什么事情它做不了。第二个就是我怎么去，当它这些我那些能做的事情都能做的时候，我怎么去优化它的**成本**。优化它的**速度**。我就在考虑这些事情了。 **小俊**: 这些所有的发生都是在春节期间发生的。 **罗福利**: 我觉得大量的思考是在那个时间发生的。但是我觉得一个人通常是薄弱的，或者说你还是会有自己的认知的一个坍缩。就你坍缩到虽然我那天那几天高度兴奋，兴奋到我觉得我在群里面给大家发，我说强烈推荐大家去使用怎么怎么样，但没有人搭理，人家在过年。大家确实在陪家人，我也不希望打扰大家，然后所以我就说强烈推荐。然后后面过完年回来我发现真正用的人是很少的。因为大家对新兴事物，尤其是我真的觉得它有点玄幻。就是不太适合，就不像**ChatGPT**。大家会觉得过于玄幻的东西太不真实了。我也是这个感觉，所以你就不想去接触它。所以一开始的推动是蛮难的。 但是我觉得第二天我觉得不行了，就是我觉得必须让大家去用。然后我就给大家下了一个指令。我就说如果第二天OpenClaw对话次数不超过100轮的人可以直接Quit。但是我为了促进这个事情，前面做了非常多的。比如说因为大家那会儿OpenClaw用，整个部署期还是需要几个小时的时间。我觉得没有必要。大家所有人都去花这么多时间去折腾一个充满Bug，一套其实也没什么价值的一些事情。所以就买了几台**GPU**，然后把它部署起来，然后把它拉到这几个不同OpenClaw的群，让大家去分群里强制他在这个方向上。在一个**飞书**群里边然后聊。为什么要在大群里边聊？就是因为个人的想象力真的是局限的。但是当你看到别人用OpenClaw居然能干成这个事情的时候，你就会激发你自己的想象力。所以我觉得大家想象力是一个乘积的作用。 所以当我下当我说这句话的时候，其实我觉得我没有想过，说第二天有人对话次数没超过100的，我真的会把它淘汰掉。我没有这个想法。我没有最终去考核，我没办法验证这个事情。我有办法验证，但是我觉得验不验证不关键，我只是想给大家表达一种态度是，你不用，你可能真的要落后了。所以我第二天没有去，有人有中途有人过来问我，你那个CC你怎么去考核你的有没有对话次数？我跟他们说，我说你们用就行了。我说我有我的考核方式，其实我的考核方式就是我不会考核，我只希望大家用起来就行了。所以那两天春节回来跟我聊天，整个团队的人就在一天到晚，感觉不像在上班，就在群里边躁动。可以叫躁动。就是你看别人能完成这个事情，然后你也很想玩，然后他就在群里边，就是那个群消息，我只要十分钟不看，就999加类似这种，但也没有这么夸张，就是就就有很多，她一块儿在群里边玩得非常Happy。它是一个非常Happy的，一点都不残酷，就真的很好玩。 那么玩一天下来，大家发现这个事儿这么好玩，那怎么办呢？那他那搞啊，就所有所有人心目中想，是那我OK我要怎么去借助一个这么好的这种框架去提升模型的能力。同时我怎么让我的模型去改变现在的这种框架，就马上进入到这样的一个研究范式里边去。所以其实一旦进入这样一个研究范式，以及我刚才讲的我们有Code Interpreter这种，其实在绝大部分场景表现输出更稳定的这样一套框架。虽然它是黑盒，我们不知道，但它确实不管是For研究也好，For Coding也好，它确实是一个比OpenClaw更稳定的一个框架，更好的一个框架。那么你再在这个框架里边去激发你的去扩展延展你的研究的想法，并且让它帮你实现。然后并且快速地去训练启动模型，训练这个事儿就会大幅地加速。所以我觉得我们基本上可能在三四周的时间做完了，以前可能三四十周的时间才能做到的事情。就是在研究上。我觉得这个事儿是我后面，真的我们被这个框架点燃热情到最后它产生价值。这个过程中我觉得我从**群体智能**上，我觉得我的成长和收获会更大。 **小俊**: 在你们那个非常躁动的群里，探索的最好玩的几个任务是什么呀？ **罗福利**: 现在听起来都不好玩，但当时的冲击感都很强。还是大家一块儿去改那个框架本身。就是你想的怎么去改进那个框架本身。因为当时那个框架真的问题很多。还有就是它的Memory真的做的非常的智能。因为我们在一个群里边大概有近一百个人，然后我觉得那个飞书的整个Message Channel应该还是做的不是那么智能的。它至少没有那么去把人跟人之间区分的很好。但是它的整个聊天的上下文，它对每个人的画像的把控，以及每个人的Memory我觉得都没有串的太厉害，就可用度非常高。我觉得这个是模型能力强的表现，这个跟Agent框架没有关系。因为在一个群里边儿，你想一百多个人在那儿聊天，然后一百多个人都有不同的背景，一百多个人都在疯狂改它，然后都没有把这个模型给改坏，就没有把这套Agent框架给改坏。然后它还变得非常智能。我觉得这也是我第一次感受到你怎么用一群人的智慧去提升一个事情本身。 如果说我自己单一地去改这个Agent框架，但是别人感受不到这个框架的智能，我觉得它好像差点意思，或者说这个框架本身的进步速度是非常慢的。但如果一群人去改进，它进步速度是非常快的，可能几个小时就叠加一轮，类似于这种感觉。所以你会觉得可能，所以我们第三天第四天把它接到我们自己的模型上去用的时候，发现怎么也挺好用的，怎么还没训就跟GPT-4o差不多了。当时第三四天就这种感觉了。那但是你要测的更多，你会发现还是有很多东西没有那么稳定。所以你就但这个时候带来一个冲击，就是你会发现你利用群体智能去提升OpenClaw的框架是非常重要的。所以我也很非常的欣喜，看到OpenClaw后面的那个Star量就飞升。我觉得这是AGI到来前兆，必须必须要有的事情。 ### AI研究范式的转变与未来趋势 **小俊**: 因为你一直对研究方向非常的敏锐。我们基于我们上次聊过很多，所以你觉得上面这些变化给你带来了什么样的直觉？你觉得未来一段时间会发生哪些变化？ **罗福利**: 之前可能做研究的一个方式，是你从你想到你写代码，到你去设计一个很好的评估标准，这中间的流程还是蛮漫长的。你至少要花一两周，我觉得快的话，除非如果你的评估是确定的，然后你的代码是只需要修改，可能你也需要一两天。但是我觉得至少在Agent有辅助的情况下，它真的可以一两个小时就把这些事情给做完。我觉得**效率的提升**基本上是代表着一个非常本质的问题。这是我觉得在这个时代上做研究，研究的Case非常关键的一个原因。或者说你的研究效率非常关键。一个点其实我一直把研究效率看得非常关键，只是Agent去放大，加速了这个研究效率。 那么如果这时候你的Case又比较准的话，那么就一做一个准，一个做一个准。当然也有可能是十个里边有一个能成，但是这十个可以并行做呀。你十个可以并行做，你不用像以前一样排队来走，你可以十个Idea。你十个交给不同的Agent同时做，他们还能交叉验证，那么很快可能一个小时，两个小时，最多一天。你无非少很多Token，然后你就能验证你这个研究的想法Work。关键是他还可以，如果你愿意长期去培养它，还可以自己**自迭代进化**。那在Code Interpreter里边不行，但你换一个更开放的框架，它是可以自己迭代和进化的。所以我觉得这是我给我带来做研究的冲击吧。 **小俊**: 所以它是改变了整个研究的节奏。 **罗福利**: 效率和方式都会发生很根本性的变化。 **小俊**: 这对你们后来带来什么样的改变？在你经历了春节和春节之后的整个冲击之后，你紧接着做了什么？ **罗福利**: 其实我觉得紧接下来做的事情就是搞明白为什么Code Interpreter是一个非常有泛化力的一个事情。以及你怎么把Code Interpreter的这种泛化力给外延到其他领域。其实Code Interpreter它有泛化力的一个最本质的原因，也有好几个阶段。首先它是一个非常长程和多轮的任务。回到预训练环节，你很难去找到说有一兆上下文的数据，甚至128K的数据你都很难去找到。但是比如说真正能达到128K到一兆这个长度的数据基本上只有两类数据，大概率只有两类数据。一类是Code数据，一类就是书籍。但书籍它的信号太发散了。Code它的文件之间的关联更强。所以当你在一个这种长上下文依赖跟B级的一个数据集要去训练的时候，模型它自然对长上下文的建模会更好。这个是我们可能在没有去意识到Agent这个事是那么重要的事情之前我们就去做的事情。所以你可以理解为这个基座本身，它就为**长上下文**的能力和效率，效率很关键，我们待会儿再谈，长上下文的能力和效率已经做好了充分的准备。这个是在我们没有去受到这么大的冲击的事情之前已经做了的。 但是春节后做的事情是你怎么去激发这样一个大的模型的潜力，从Code Interpreter出发到外延到其他的场景。因为其他场景你训练了它会更稳定。但你没训练，它能被泛化，只是说它没有那么稳定。而一个顶尖模型的水平，一定是要在更广泛场景里边更稳定。所以Code Interpreter是拿它的上限，然后你去其他领域是保它的下限，我是这么认为。所以就是你首先要把Code Interpreter做的这种长任务做的更多样性。所以你为什么软件开发那么重要？就是软件开发真的是一个非常长程的任务，你把它做好了，基本上很多模型的通用特质就已经好了。不管为什么模型通用的特质好了，是这个Code Interpreter框架本身也迭代的非常好了。 就像Plan这种模式，像这种长上下文到一定阶段，你要去压缩。压缩完过后，第二天你要再去回顾，你之前修改这些Agent框架的设计，本身其实是为软件开发做准备的。但这种这些框架它都是有泛化性的，它都能泛化到其他更难的长程任务里边去。所以就是春节后做的事情。第一是一定要在Agent的场景里边，把真的长程的任务给他构造出来，并且训练进去。并且在这个上面去**Scaling**给你大量的SFT训练和RL训练。第二个就是我觉得还是你要考虑它的泛化性的话，你还是要覆盖更多的领域。所以那但这个时候怎么去覆盖更多领域，我觉得就是要靠更多的靠群体智慧，就你让更多人去用它，然后基于更多人去用的。比如说我们内部会大量去使用，我们会让我们这个模型首先在公司内部去推广，大量人用用了过后。然后我们发掘到更广泛的场景，在这个广泛的场景里边去合成更多的数据来做训练。 这里边很关键的一个问题是，你怎么还原当时所有人用这个事情的环境。因为有这个环境，你才能更好的去进行更长程的交互。然后并且有了环境过后，你才可以针对这个环境本身去做更精准的Reward设定。这个事情是比较有难度的。然后我觉得也是我认为在这个事情上，如果投入的算力足够多的话，研究时间足够多的话，应该会有一些代差的模型出现。 **小俊**: 这个你们现在是怎么做的？ **罗福利**: 现在开始做的保密，真的要保密。Reward设计。我觉得等我们把这套范式给你到一个很大的量级的时候，我觉得我们会开源告诉大家。 **小俊**: 但是做长程任务不是会中断吗？ **罗福利**: 其实真正的一兆上下文里边，基本上很少有任务是在做一个任务。它通常是在做复杂的任务。所以其实你要把一兆上下文做的很好。当下阶段，我说当下可能就是当下一两周的阶段，不代表未来两三周的阶段，就是可能并不是真的要找到要把一兆上下文塞满的任务，当然你要找到那更好，但是这个任务是很难的，而且它的训练效率太低了。就是你要训练完一兆，你要Rollout完一整个一兆的，它非常慢，哪怕我们现在**TPS**能做到80到100，在MiMA V Pro上能做到80到100 TPS。你要说完一兆上下文，也是需要时间，需要可能一两分钟的时间了。所以其实真实的训练不会在这么长长的任务上去训练。但是当你有在一兆的Context去训练过，并且后训练有对应的任务稍微激活它一下。它通常就能在一兆的Context具备这样的一个稳定能力，但是我们需要再提升，需要再提升。所以你看现在GPT，我觉得真的在一兆上下文的稳定度上，基本上现在只有GPT-4o和**Gemini**是领先的。其实其他像**Claude**，虽然仿称是厂商效果能力很好，但其实都是不行的。 **小俊**: 你觉得量化里面挖掘因子会是好的长程任务吗？ **罗福利**: 看是什么资产。就是有很多资产它Reward太不清晰了。有些资产是不大部分的资产是不太适合做长程任务建模的。这个具体我就不展开说，反正就是某些资产是非常不适合的。因为回测几乎是没有价值的。然后你要到真实的环境里面去Run的话，它有可能不是短期的因素，而是跟一些更长期的因素，或一些额外的一些阿尔法本身被这个模型建模不进去的一些东西。所以得选资产，就是选对，这个就OK。 ### OpenClaw的流行与Agent元年 **小俊**: 我觉得关于你们的新模型，我们放在后面说，我们先把OpenClaw这个话题聊完。你观察你觉得OpenClaw是怎么样的一个火起来的链路？而且我明显感觉到在中国它的火的程度比在美国要更强。这是为什么？我看到还有一个很好玩的说法叫西沙东洋。 **罗福利**: 西沙东洋。因为我不了解湾区对它的热度。所以我仅从你的视角，仅从我自己以及我身边人的视角，我觉得可能的一个原因是就中国的开发者我觉得是更多的。我说开发者是指他可以用Code去提升他的效率的场景。可能是要求更急迫的。我觉得对于效率的提升，好像是我们的血液里的东西。所以我觉得当OpenClaw能把这个事给效率提升，给拿到极致。所以我自己感觉这是它火的一部分的原因之一。当然我觉得还有一个原因，是我觉得跟国内大模型的发展也密切相关。绝大部分的效率提升的场景目前确实不需要，可能我觉得85%不需要最顶尖的模型。所以我们有那么多便宜好用的模型可以用。然后你一算这个性价比是非常划算的，就是这个模型的API的费用跟它替代了生产力的价值的系数比是很大的。所以你去体验它会更有动力。它可能花十块钱的API就能帮你干完一千块钱的事情，那你肯定很愿意用。但如果你的API贵十倍或几十倍，中间那个差距很小，那么你会很排斥地去用这样一套很复杂的东西去优化它。 **小俊**: 但是关于Agent的其实已经讲了一年了，对吧？就是去年年初的时候，大家就开始说这是Agent的元年，为什么到现在才开始火？你觉得这个跟去年有什么不一样？ **罗福利**: 我认为之前讲的Agent应该都是非常，在我的定义里，我觉得它不算Agent的，它只能算是一个上下文稍微比**ChatGPT**复杂一点点的东西。不管是像**Brush Camp**，像**SweBench**，这些Search和Code的Agent框架其实都非常的简洁。就相比于现在的Code Interpreter也好，相比于OpenClaw也好，它的Agent框架太过于简洁了。然后这样的简洁性就导致首先它简洁，其次它不通用。这样过于简洁和不通用，导致它只能For这个任务来设定。所以那些我们看到在Brush Camp、SweBench，SweBench有它的问题，是因为它本身关注领域也太单一了，就出去修Bug，它并不是For真正的软件开发。 我觉得在至少在去年上半年乃至下半年，很多看似For Agent的模型，它其实只是说我换了一个更复杂的**System Prompt**，然后稍微带一点点环境的反馈，比如SweBench还是有环境的反馈的，**AutoGPT**也是有的。稍微带一点环境的反馈和交互，然后让模型具备一点遵循复杂System Prompt和理解环境交互的这样一个能力。我觉得那会儿只能是做到这个水平，但是它根本没有达到工业级可用的能力。最简单就是什么叫工业级可用，就是你把它接到Code Interpreter或OpenClaw里边去用，你会发现它不可用，它有很多问题。最简单它就理解不了这套框架本身。然后它也没有针对这套框架本身，人跟它的交互范式会发生变化。比如人跟它交互范式发生最大变化的是人不再会去修改代码，人不再再去关注OK这一行代码出错了，你帮我改一下，这样的Query是不会再出现的。然后人只会提一些更高阶的。比如说增加限制，增加限制就是提澄清需求。架构设计人会参与架构设计，因为现在好多架构设计还是人更强的，以及辅助理解业务逻辑，这是Skills的价值。这个业务逻辑是模型本身不具备的。因为这很多业务逻辑，它是企业内部的东西，或者说真实环境里边沉淀下来的东西，这个你必须要跟他很多轮交互才会沉淀下来的东西。所以我认为之前那些Agent框架就不能叫Agent框架吧，就没有任何可用度。然后在那些Benchmark上表现非常高的模型，也不代表它的一些能力是真的强。 所以我们在优化这一版模型的时候，是完全放弃这些Benchmark了。我基本上就不关注这些Benchmark了。当你面临一个很大的范式的变化的时候，其实只要你路径走对了，你可以短暂非常短暂的一个窗口期，你去忽略评估。因为你靠体感你就能立马测出来一个非常大的制度差异。但是当你慢慢迈入深水区的时候，还是需要一些非常精细的评估的。 **小俊**: 所以Skills是不是改变了模型生态？ **罗福利**: 改变了模型在，这种高复杂度、高Work，就是流程复杂度的任务上的执行的准确率。因为它其实定义了它执行的规范。这套执行的规范是很难在预训练的数据里具备的。因为训练数据里没有这种Internal的信息，这些通常是大量企业内部自己去沉淀和积累的这种由人和人之间产生的一些组织上遗留下来的规范，我觉得更多是组织上遗留下来的规范。但是这不可能在预训练数据里边出现，但是可以由人教Agent，跟他多轮交互，通过完成几个任务，把这套规范让Agent学会。所以Agent就会。所以现在大量Skills其实是Agent自己写的。 **小俊**: 但是Agent Skills是在OpenClaw里面诞生的，对不对？ **罗福利**: 对，但是这就是出现一个问题，就是确实是OpenClaw把Skills这个事儿给带火的。我说带火就是它让更多人去贡献Skills这个事，社区这个是非常关键的。因为这属于我觉得人跟Agent需要共创的地方。如果你没有那么多人高阶，就是没有那么多这种另类信息，我觉得因为它确实是另外一种阿尔法，它是那种另类信息。跟当前的Agent，或者说最顶尖模型的能力也很难发挥出来。 **小俊**: 这也是你说的那个群体智能。 **罗福利**: 可以这么说。 **小俊**: 人的经验沉淀成Skill变得如果更重要了，它是不是预训练的一种补充？ **罗福利**: 对，因为预训练其实它大部分依赖的知识还是你在互联网上可访问到的知识。但很多知识或者说很多智能，应该说很多智能我们是在互联网上访问不到的。那么这个时候它就以另外一种形态出现。我觉得现在Skills算是一种吧。 **小俊**: 它其实提供了一种交互的方式，让人去主动贡献数据。 **罗福利**: 对，贡献更让模型执行任务的成功率更高的方式。 **小俊**: 如果重新定义一下所谓的，因为我以前有**DeepMind** Moment，然后有**OpenAI**有ChatGPT Moment。如果重新定义一下这个所谓的OpenClaw Moment，你会怎么定义它？ **罗福利**: 这个版本的它会更时间，时间线更长。就是因为它前续的章节太久了，让大家不会觉得它是个新东西。然后它后续的章节呢，但是我我觉得对于我们已经信仰这个事情的人而言，比较别扭。这个事情而言，我们反应速度足够快的。但我不知道其他人有没有Follow Up上。所以就是我从我的个人的感官上，就是这个Moment，它会延续的时间更长更深远。这个更深远，是说它可能能力更外放到更多人能感受到的场景里边去，所以它更深远。但是它这个流动是需要时间的。 **小俊**: 它的能溢出的能量能力更强，对更多BETA。 **罗福利**: 它不像它没有一个非常清晰的那么倾斜的意义。像OpenAI它会有一个数学代码这种有光初死的一个东西在这儿，你分上去了，模型就具备这个能力的。像一个非常清晰的标的界定，我觉得Agent其实确实有很多场景，你是有需要有清晰标准系列，但是大部分的场景是没有的，比较混沌。所以它产生的价值也是慢慢地到一个临界点突然进一大步。其实GPT-4确实是这样一个进一大步的突然的一个时间点。但是我说就做这个事情，这个路径也是持续了两年的，至少有两年我们能看到。 **小俊**: 那刚刚为什么这个事情不是**Anthropic**自己做出来？ **罗福利**: 我觉得还是就一个开源一个闭源的原因吧。闭源的框架你是没有办法去洞察内部的设计的。所以你没有办法利用大部分更多人的智慧去改进它。在开源就是你就可以用更多人的智慧去改进它。 **小俊**: 可能也不符合Anthropic对安全性的追求。 **罗福利**: 其实我现在觉得安全性绝大部分还是模型本身应该去追求的事情。我们不能太过于去要求一个框架本身是过于安全的，但是框架本身可以做非常多的事情。但是我觉得开源跟安全性并不冲突。 **小俊**: 因为我们会把很多数据授权给OpenClaw。如果我们把大量的个人隐私数据授权给他的话，怎么缓解更多普通人对于安全性的这种焦虑？ **罗福利**: 所以其实这是我为什么说要做开源的原因。就是我觉得还是会有一天，而且应该很快也会到来。就是人的大部分简单的任务，除了那些非常难的任务，就是其实跟隐私相关任务有很多还是没有那么高难度的任务。其实你完全是可以放在本地化去做的。你你自己会有一个自己随身携带的，有可能随身携带，有可能是在家或某个场景，比如有一块芯片。你所有的数据都在本地。然后所有涉及到隐私数据，这些场景都在**本地推理**。这是很关键。在本地推理，然后涉及到一些非隐私，然后高难度高创造力、高复杂的人我再去**云端推理**。其实这样是能够解耦的。这也是为什么我说一个好的一种框架，借助一个我自己觉得很小的3B模型，它发挥的这个它自己能做的任务的复杂度都已经超乎我的想象了。这个事儿激发了我自己。对于其实我比如说所以端云混合也好，所以隐私的本地化也好，有一些思考，但是我觉得还很初步。因为这些思考不仅是需要模型这一侧做非常多东西，还需要本身架构这一层，然后一块儿往前。所以这也是我为什么觉得**开源**是如此重要的一个事情的原因。我觉得这需要更多人一块来做，而不是某一个公司就把它能做好的。 **小俊**: 接下来你都会看到什么？在OpenClaw已经火了这么几个月之后，就2026年大家会给予它做什么？国内已经有很多动作了，也出现了各种的，包括你们**MiMA Cloud**。 **罗福利**: 其实所谓现在很多Cloud，只是让大家以一种不同的交互形态，然后去访问到不同的模型和不同类型的框架。但但是我觉得真正那种去让这个框架自迭代或说更强调**自进化**和自迭代的框架。我觉得还没有大规模的诞生和出现。以及你怎么去利用绝大部分人的智慧去创造一个更强的框架。也还没有出现。这两层一层是框架本身的自进化，一层是Agent本身的自进化，一层是Agent跟人之间的自进化。我还没有看到。我们现在做的其实是怎么训练更好的Model For Agent，以及Agent去适应这个Model。其实是在做Agent跟Model之间的双向流动，但还没有在框架层。我觉得未来需要做的事情，其实是怎么让框架自己进化，以及框架跟人互相进化。 **小俊**: 这是你们现在的着重点。 **罗福利**: 我觉得会大致的方向，我会去深入研究的事情。 **小俊**: 你觉得现在的没有做到的核心的缺陷在哪里？就可能补足了某一个短板，它也许就能成了缺陷。 **罗福利**: 是我们刚坐在这里。我觉得我也不知道OpenAI做不做，反正我觉得就是只是因为时间原因，我们刚坐到这里而已。然后未来的这个加速度是会很快的。不仅是我们，我觉得应该是这么去定义。现在只要拥有一个Non-less非常Efficient模型架构的厂商，并且在做预训练阶段，把Code的能力也做的非常好的。他有这样一个Model，这个Model参数量可能至少我希望我觉得至少1T以上吧。只要有这样的一个入场券的人，基本上都处于同一水平线先去做这个事情。当然OpenAI肯定是走在前面了。我只说目前上一个时代的成功，并不意味着下一个时代的领先，现在基本上它还在同一水平线。 **小俊**: 这是一个什么样的时代？Agent的时代怎么定义？ **罗福利**: 它就是我觉得就是**生产力加速变革**的时代。 **小俊**: 对，今天生产力会爆发，对吧？ **罗福利**: 对，这就是大家会觉得很多工作不需要自己做了，这是最直接的一个感受。只要你接触到这个事情过后，你就发现你的好多工作都会被替代掉。那么这个时候人更应该去思考，到底自己的意义和价值是什么？ **小俊**: 所以Agent能做什么样的高价值任务，是不是变得更重要了？ **罗福利**: 这个你要从提升顶尖模型的能力的角度上来说，肯定是让Agent去替代更高价值的任务是重要的。因为更高价值的任务，它意味着更长的Context，意味着更多的Token消耗量。它肯定是更多地去思考，意味着它替代人的是它最终能替代到最顶尖那一群人的智能就够了。其实因为下面那一群人的智能是可以慢慢地以另外一种方式来替代掉的。比如说**Robots**。总之就是For更，如果说要为了追求更强的某些能力的角度上来说，肯定是完全For更高价值的场景做是更有价值的。但另外一个演变角度是说，你是要做一个对全社会更有益的，对所有人都有帮助的一个模型。那么就不应该说更高价值的场景去做，而是让所有人都能感受到这个模型的智能水平。那么它可能是另外一种做法呢，有可能是另外一种做法。 **小俊**: 是一个普适度更高的任务可能会更好。 **罗福利**: 对，就比如说在这种场景里边，你就更需要在乎**多模态**。因为在更广泛场景里边多模态，尤其是对于视频的理解，对于一些更细微的环境的理解，它是更关键的。以及就是要注重成本，成本是产生革命非常重要的因素。你不能说你完成一个任务要花一千刀，对吧？那我觉得很多任务场景，除了很多这种场景，觉得它必须要达到一个很高的替换系数比。你能帮我节省十倍的成本，我可能才会考虑去试吧。所以这个时候你怎么去做一个更低成本、更高效率、更高速度的这样一套Agent框架，以及对应结合的模型，那就很关键。所以这是两种发展思路。 **小俊**: 你会怎么定义2026年？ **罗福利**: 我觉得我很难去定义它。因为我觉得两个月都已经现在对我来说是发展巨变的。我们做两周的事情，我觉得基本上就让我们很难相信这是两周内做的事情，就在过去两周发生的事情。所以我都不知道这一年接下来会发生什么，基本上是处于在这种高度兴奋的状态。 **小俊**: 哎，我很好奇啊，就是从2022年底ChatGPT诞生。然后当时大家就觉得AI一定是**生产力革命**，到今天就发展三三年，你觉得它带来了哪些先决条件？今天生产力爆发可能成为一个更可能的时间点，就是它的哪些条件变得成熟了。 **罗福利**: 我觉得第一个关键点是不再是算法工程师在做这个事情了。我自己会把这个事儿觉得是一个非常有标志性的节点。之前是你会觉得只有Researcher或者说算法的人，再去考虑怎么去提升智能水平。但你会现在会发现还会有所有懂写代码的人，不属于代码的都在一块去考虑去提升模型的，去提升这整个东西的智能水平。我觉得这是最主要的差异。不管它是在写Skills也好，去改Agent框架也好，还是去设计更好的研究范式也好，这是三个层面。我觉得是所有人都在让自己的智能去加速这个事情。这是我认为最大的一个变化。 **小俊**: 我突然想到**Pi**去年底的那期博客里的最后一句话，他有他就说Agent的进化需要所有人参与。 **罗福利**: 嗯，所以现在是让我有这种感觉，而且现在其实现在已经是了，只是现在唯一没发生的。就是我刚刚说的Agent跟人怎么更好的更加速，更加速，因为Agent的也要自迭代，人也要自迭代。 **小俊**: 通过聊天嘛。 **罗福利**: 对，聊天是一种，那会不会有一些更自然的方式？ **小俊**: 你有一些思考。 **罗福利**: 比如说我要是真的能带一个非常好的设备，一整天跟着我。我所有说的话，我见过人它都知道，我觉得它进化速度应该比我快，我自己认为它应该比我快。因为它后面依赖的算力会更多。它会很快替代我。 **小俊**: 对，而且它是它它不会，今天记得明天不记得，它是非常稳定的，而且它是只有进化的一条曲线。 **罗福利**: 而且它乐此不疲，它不需要休息。你刚刚提到说国内的人更热，更热情，那湾区现在是怎么评价的？ **小俊**: 模型公司的人不是很Care这个东西。 **罗福利**: 感觉模型公司人不是很Care这个事情。OK，那真的跟我们不一样。 **小俊**: 他可能觉得这个事情不难。 **罗福利**: 我一开始就觉得这个事情不难。然后到后面我就觉得它整个Agent的设计是非常非常巧妙的。我说这个巧妙是指我觉得它弥补了很多模型短板。 **小俊**: 它是怎么精巧巧妙地去构建的这个编排啊？ **罗福利**: 我怀疑这个原因是它最开始是基于Code Interpreter上一代模型去做的。就Code Interpreter上一代GPT-3.5，哪怕GPT-4o的Night版本，其实是不够那么强的。所以你就要必须在系统的设计上，这个框架的设计上，你要设计的更精细一点，去把它这个短板给补起来。这就导致了GPT-4o进步了。但是国内的大部分模型可能刚靠近GPT-3.5的水平，然后反而这两个在这儿握手了。我觉得是这样一个原因。 **小俊**: 那如果模型能提高的话，它这些精巧编排还需要吗？ **罗福利**: 还是需要的，就是出于对成本的考量是需要的。我们永远会去追求一个成本和效率最低的一套方案。这个是生产力革命的非常本质的要求。所以不可能说我们所有的场景都用最顶尖的模型，因为它太贵了。所以更有可能是Agent在进化，模型在进化。然后模型进化的方式有可能是同一个水平的模型在越变越小，它也是一种进化。是的，虽然我们没有在做这样的事情，但是它确实是一种方式。也就是说现在可能激活10B的一个模型，可能过一年它就能做到GPT-4o水平，这个是极大概率会发生。那那那那激活10B的模型是很便宜的。然后可能一两块钱就能有百万的上下文。所以那你为什么不用一个更小的模型？它反应速度更快，更灵敏，基于这套应用框架还很好用，你还可以改这套框架，那为什么不用它了？ **小俊**: 所以它其实让不那么好的模型有了更好发挥的空间。 **罗福利**: 对，它的上限更高。 **小俊**: 它对，所以其实更符合国内的叙事，对吧？ **罗福利**: 不知道国内叙事是什么，但是会让人很想用它，很想用它替代自己的工作。 **小俊**: 所以需要小尺寸的端侧模型爆发吗？ **罗福利**: 这个趋势肯定会发生，但是我觉得它不是2026年的一个主要的旋律。它是一个支线，而且是会持续发生的事情。 **小俊**: 2026年的主要旋律就是生产力的变高。 **罗福利**: 生产力场景的持续突破。所以我们要做更长程的任务，然后更强调多Agent之间的协作。因为更复杂任务，它不可能是单一Agent去做的。但多Agent的协作，某种程度上也是为了成本的考量，对成本和时间的考量。以及怎么去激发Agent的这个群体智慧。我现在觉得现在市场上的已经看到的Multi-Agent的工作都有点伪。我说这个伪是说真的依赖于Multi-Agent能够实现更好的最终的任务的完成率。在这个维度上我觉得是有点伪的，但是它能提升效率就是速度，就是这个任务完成最终的速度，以及它最终能够节省成本，这个是确定的Multi-Agent的。但我没有看到说Multi-Agent一定最终能够实现一个更高上限的一个东西。但它会发展，它这部发展只是我目前还没有看到。 **小俊**: 所以今年的趋势其实跟前三年已经发生了很大的变化了。 **罗福利**: 我自己是这么感知到的。 **小俊**: **Kimi**的人跟我说说，他们觉得他们跟**豆包**已经开始玩不一样的游戏了。豆包、**元宝**、**阿里**都在玩互联网产品的游戏，因为他们在打DAU。Kimi的人，他们是觉得他们在就是走了Anthropic那条路。对，你们在玩一场什么样的游戏啊？ **罗福利**: 可能我们追求的事情是我自己觉得什么时候能够超越自己吧。我是这么去定义的。因为我觉得我对**AGI**的一个定义会非常的模糊的一个原因。就是因为我觉得没有必要去追求一个非常清晰的AGI定义。那AGI发生的时候，所有人都会感知到的。就是因为你发现每个人的生活方式，你的工作方式已经，长达很长的时间已经慢慢地被它改变了。所以在这个过程中追求DAU，追求这些东西，它并不会改变我，它并不会促成这个目标，就是让这个模型代替我，它并不会促成这个目标，所以我就完全没有在想这些事情。 而如果说我们去追求一些中间的目标，比如说你去追求Token消耗量，你去追求它完成更高价值的任务，它是在往这个目标去靠近的。因为要完成可能替代我自己的任务，它确实是需要更多的Token消耗量。它需要具备更复杂的Context。它需要去调动其他人的智能水平。团队管理其实就是要去调动其他人的智能水平。所以技术创新也是你需要具备更多的数据的访问权限。你需要具备给你一个集群，你会用一个**GPU集群**，你会用它，并且你还要自己去定义一套评估标准。当你被在这个集群上训练个模型过后，怎么去验证这些事情？就是我想象的是，我们应该让这个模型结合一套框架本身，应该去完成这些事情和任务，而不是去追求另外一个叙事上的事情。所以我就没有太理解他们那个趋势吧。 **小俊**: 你说的也有的趋势是吧？ **罗福利**: 就是我自己觉得这个趋势不太符合我自己的我们做研究的一个路径。 **小俊**: 过去两个月你觉得你的生活发生什么样的变化？ **罗福利**: 生活就是亢奋还要亢奋，就是你感觉每天都会发现Agent的框架本身或模型本身又进步了。 **小俊**: 所以今年带给你很强的AHA Moment，这个可能比过去的GPT-4更强。 **罗福利**: 对，而且它是持续的，它持续的就是它，你感觉它停不下来。这是比较大的变化。我觉得GPT-4可能就是那一阵，就你去体验它的那一刻，你用到它了。然后你发现它具备很好的思考能力了，然后这个思考能力也从Code Interpreter外放到其他领域，也就是那一刻。然后那一刻过后你没有感觉它有持续性，但Agent这个事上，你会觉得它一直在持续。我觉得这种持续性是完全不一样的感受。因为有这样的持续性，所以你会更坚信这个事儿它在全面加速。 **小俊**: 有什么样的一个任务是你过去觉得它绝对不可能做到，但是今天可以做到的？ **罗福利**: 续模型这个事我自己觉得以前我认为是很难的。因为你要涉及到跟一个更复杂的是，比如深度学习平台的融合。听起来就不太靠谱。以及你怎么去让模型具备，你有的，因为一个研究员，他有的Context是很长的。你要经过很长的科研培养，比如说一个博士他有五年的科研培养，对吧？你怎么让一个大模型跟你有一样的Context，这个事是很难的。我之前认为是不太可能的。我最近发现原来它很聪明，聪明到你只要把你近期Context告诉它，它甚至能帮你复原出来你自己的科研的成长路径。这个时候你再去跟它讨论同样的Topic的时候，你发现它跟你一样聪明，这个事儿是很残酷的。我之前认为我们自己做的工作已经是足够有创造力，足够不会被Skill化，不会被Workflow化的。但我现在发现它既然也能，也就是说可能过一段时间它真的能训练一个跟我们能训练出来的模型，它也能训练出来了。那它可不可以训练出更强的模型的，然后它就自己左脚踩右脚就提升了呢？我觉得这个事情是很有可能发生的。 **小俊**: 这个可能是一个非常大的转变。 **罗福利**: 对，所以它可能真的能依靠于它自己产生更强的智能，尽快它先吸收所有人的智能，然后再靠自己产生更强的智能。我觉得这个事肯定就在这一两年发生的事情。 **小俊**: 我刚才听你的整个描述，我会有一种感觉。我觉得你训练模型的方式就是你管团队的方式有某种相似性。 **罗福利**: 主要的原因是它确实需要群体智能。 **小俊**: 不是个人英雄主义。 **罗福利**: 当然不是，就是它需要每个环节上都是足够Belief和极致的人。 **小俊**: 对，什么叫群体智能？在模型训练上。 **罗福利**: 可能不同的Agent需要有自己的Context，有自己Context。原因是当模型能力没有那么强的时候，有自己的独立的Context，它会更专注。专注还是蛮重要的。就你的Context不被混乱，然后它能完成的更准。所以就是你可以理解为我们现在去模型可能需要非常懂运维的人，然后去写一套非常好的训练或推理的架构。然后需要它从推理的视野去倒推跟做，能懂模型评估以及模型训练人一块去定一个非常好的模型结构。有这样一个中间的考量性的结合。然后这个非常懂模型训练和懂模型评估人又要学会去跟做数据的同学去进一步沟通。说OK我们要赋予模型什么样能力，我们需要去构造什么样的数据。然后同时呢做数据这一群人，它又同时需要参与预训练跟后训练。因为预训练跟后训练，它的数据的Sense是通的。这里边其实你要真分的话，还是有很多**Sub-Agent**的。但这些Sub-Agent之间它们的Context有独立的地方，也有关联的地方。我觉得这样一套复杂的框架，现在目前看起来是能够被模拟出来的，确实能够被模拟出来的。 这也是我为什么我自己玩了OpenClaw第二天我就开始让它去，当时我在家嘛，然后我就让我家里边的每个人，就我爸爸我妈妈，我老公。每个人都有一个自己的Sub-Agent，我们拿到一个飞书群，每个人也可以自己跟自己的独立的Sub-Agent去聊天，然后它自己进化。然后我就会在那个群里委派一个任务给他们的Sub-Agent让他们干。然后因为我们Context是不一样的，然后让他干，确实它会，因为它有更好的Context，所以它会干的更好。也就是这样一个很粗浅的尝试，让我相信就是这个事应该同样很简单的事情，它换到一个更高复杂度，更有创造力的场景。只要模型的能力跟Agent框架本身在进化，应该是也是可能做到。 **小俊**: 哎，我想到刚才有一个点，就是关于框架，你要不要有一个完整的表述，就是智能体框架。 **罗福利**: 智能体框架。其实智能体框架我认为是一个现在有很多形容词去形容它。你比如说**Holistic**、**Scaffold**，还有一些其他形容词，我没有特别去专注说哪个形容词是更准确的。我更关注的是这个框架本身它带来的一些差异化的优势是什么？就比如说我认为一个非常好的框架，它其实应该是尽量去弥补在行动上的缺陷的。很多东西都是在弥补行动上的缺陷。就比如说很好的Memory系统是弥补行动上的缺陷，然后接入到了更多的广泛的Message Channel，是弥补行动上的缺陷。以及它更主动，它更主动。不管是定时任务的主动，还是它有些其他方式一些主动的设计，以及它自我去更新迭代，其实这些都是在弥补行动上的缺陷。因为大模型是你给它，不管是你给它越好的Context，它肯定执行的效果越高。所以你要是能把这些它获取不到的Context，这些行动上的Context都给他，那么它肯定会完成的更好。 所以这是我我看一个好的框架的时候，我会看它有没有这些要素。当然这边还有一个很关键的一环是对的，对你的这个是评估，就是一个好的框架本身，它确实是需要有个很好的可泛化的一套评估体系的。这样它才可能自迭代。这里边是现在已有的评估体系，其实都非常的简单，它只是为了防止它不出致命性的错误。那么怎么有一个更有泛化力的一套评估体系，然后来促进这一套框架自迭代。其实现在是把最高阶那一群人当评估，就是你交给它一个更难的任务，更高价值场景的任务。然后它完成不了，你会给它提供补充信息嘛，然后你也会给它指出来哪错了，然后Push它经过更多人的交互呢，把这个任务给完成。所以其实本质上是现在是这群人在当评估，但是这个评估会慢慢地被框架吸收。框架会涉及很多东西，来确保在某些确定场景，我能评准，同时也会被模型能力吸收，就模型会学会像人一样。当我采用这个方法或思路做到这儿瓶颈的，或者说怎么怎么样，它会自己采取另外一种思路，或者说自己去反思，就像人一样去反思。当然了，它是不是借助它自己，还是它是去借助一个更Super的Agent，还是一个其他领域的子Agent，那都是有可能的。但这个是目前这些框架还没有太去，其实最近一个月已经有一些框架在去关注这些事情了。 **小俊**: 因为在OpenClaw发了之后，国内的很多团队都推出了类似的产品，你觉得他们有不同吗？比如说**字节跳动**团队有，你们团队有，**Kimi**、**Minimax**有，他们有什么不一样？ **罗福利**: 我大概只试了一半儿。我觉得大同小异，就是让OpenClaw变成一个内嵌子的形态，让你去感受到。我还没有看到一个，我自己觉得至少在改Agent框架本身。我觉得你这种产品你至少要去迭代框架本身吧。还没有看到一个比OpenClaw开源社区进步更快的。因为OpenClaw在开源社区进步太快了。我还没有看到比这个开源社区进步的更快的。这样一个Agent框架或者说产品出现，我还没看到，所以我宁愿用最新的OpenClaw。 **小俊**: 你看OpenClaw不久之后就卖给了OpenAI，你觉得是为什么呀？为什么就是这种非常不错的产品公司，最后还是并给了模型公司，这是不是说明没有模型做产品还是比较难的？ **罗福利**: 对，我觉得就是这两个应该是一定要深度耦合的一个事情。但很好的是OpenClaw它开源这个事儿没变。所以你还是可以在这套框架的基础上，大家一块去设计更好的Agent架构。所以这个事儿本身没变。只是说可能做这个事的一部分人的立场变了而已。这个立场变了，Maybe是好事，有可能是坏事。但总是它不影响OpenClaw本身开源的属性。我觉得就是至少我说这种群体演变这种可能性和基因火种是保留的那就挺好的。 ### MiMA系列模型：悄无声息的伏击 **小俊**: 那我们来接着聊聊模型。上次我们聊天其实是在你们的MiMA Flash发了之后，这次已经又发了三个新模型。**MiMA Pro**、**MiMA Omnimode**和**MiMA TTS**。并且你把它称之为一次悄无声息的伏击。为什么这么说呀？为什么是悄无声息的？又为什么是伏击？ **罗福利**: 首先它这三个模型它在Agent的场景下表现提升能力提升这么快，或者说我们能这么提升这么快。在复杂的Agent架构里边，它表现这么稳定是超我们预期的，就是不是我们计划的非常好的，而是我们一下大家觉醒了，然后就爆发了。 **小俊**: 你们觉醒了。 **罗福利**: 对，是这样一个Context。所以它确实是一个很安静的。我说安静，就是因为外部不知道我们自己内部也是快速发生的一个事情。第二个就是我们其实在一年前去做这么多模态的时候，其实更多的讲角度还是说如果真正产生智能，应该这个智能是全方位的多方面的。所以去做了对多模态的一个理解，以及最终你产生你智能最终要产生价值，一定是要有交互的，所以要去做语音的生成。但这只是，但一年前做这些东西的时候，它还不是很明朗。你还是觉得你还是在做一个单一的模型。你在做一个动态理解模型，你在做一个语音的生成模型。然后你没有觉得这些东西它能够很好的去被组织和编排到一起。当我看到OpenClaw的时候，我自己就一下就想到了这样的一个画面。就是这些模型在各自在什么样的环节发挥什么样的作用，用它们能够怎么被有效编排，以及它会产生一个什么样大的一个生态的价值。一下我觉得就在我的脑子里边就全部给打通了。所以我们快速地让所有方向都要面临到这个范式去说后训练的针对的设计。就是这个原因。所以你现在如果能在OpenClaw里边同时用这几个模型的话，你会发现把它串起来很好用。肯定比用其他家模型可能好用一些，或者说至少这是我们往后迈进的一个目标。 那为什么还是后面这三个模型不适合到一个模型里边去？我觉得更多的就是出于对于成本和速度和价格的一个考量。就比如说语音生成，你没有必要去用一个1T的模型，它的延迟你也接受不了。比如说都不太有理解，它是不是值得一个更大的模型。那么这个事我觉得都是要要去打个问号的。因为我觉得AGI的革命，就本质上真的是生产力，生产力就必须要足够去在意。最终它端到端的完成率以及它的成本效率。这是这三个模型同步出现的一些原因。以及我们后面应该也会有一些计划，怎么让三个模型更好的协作。 **小俊**: 就是你所谓的编排，现在有什么样的一些Know-how吗？怎么样编排是更好编排？ **罗福利**: 首先你从任务类型来说，比如说你最简单的绝大部分的任务类型，你其实是可以只用**语言模型**来做的。但是因为现在我们完成你整个任务的环节太长了。在某些环节上，如果你意识到你是需要调用你其他像人一样感官能力的时候，然后你就去用另外一个更精巧的模型，然后它来做的更好，类似于这样的。而且因为这三个模型是同一个生态性的，所以你能知道它们的Background，你知道知识它是它也是知道的。所以你能放心地把你觉得它能完成任务交给它做，你不会担心，它不知道你有的背景知识，就这个背景知识是来自于预训练的。 目前这三个模型在同一个Agent框架里边去释放出来的潜力，跟你去组装其他模型能释放出来的潜力的差距是很微弱的，目前是很微弱的。但我认为未来不会。因为未来它是一个效果、成本、效率三者的一个乘积。就未来你不会觉得，但是目前你会觉得它是微弱的这三个模型。 **小俊**: 你们在Bet什么？这三个模型的关系是什么样的？ **罗福利**: 我觉得在Bet全方面去替代人的生活和工作方方面面，所以你就必须要具备这些能力。 **小俊**: 你看Pro我觉得它是在理解和认知，做更复杂的调度。Omnimode是在做感知。TTS是在做音频声音的输出。它是一种表达。这三个加起来是一种类人的智能吗？ **罗福利**: 反正它把人有的智能的表象，输入和输出给建模了。但是它有没有人的各个感官之间的协同那么好，为什么现在还没有做到？这也但这也不纯粹是模型上没有做到，还有就是框架上也没有做到。就比如说现在OpenClaw，它对于视频的理解和建模是非常差的。它整套架构，为什么呢？就是因为开源社区没有一套对音视频联合理解的非常好的开源模型的出现。并且这个模型还有很强的一些能力，就没有这样的模型出现。所以它在框架上的发展是滞后的。所以它现在对视频的理解会回退到一些图理，甚至到最终会回到理解**Caption**，就回退到一个纯文本的智能水平上。所以这也是为什么我要做开源的原因。就是因为只有开源界看到一个更强的视频理解的声音，声音生成的这样的一些模型过后，它对应的框架才会发生改变。只有这两个，就框架，其实它是一个协调层吧。只有这个协调这一层，以及这个模型这个智能的中枢这一层，这两层很好的交融的时候，那么可能才会达到内容的智能。 ### MiMA Flash：极致性价比与高效架构 **小俊**: 那我们来围绕着MiMA，一个一个来聊。虽然Flash已经过去了一段时间，它是你们去年12月16号发布的。当时做Flash的时候，你们的核心定位是什么样？这个被大家认为是你在小米的第一个工作，第一个作品。 **罗福利**: 其实Flash跟Pro基本上是同期训练的。因为他们的模型结构非常近似。但是我们在设计MiMA V2这一系列，不管是MiMA V2 Flash还是Pro的时候，这个模型架构本身有一个非常关键的一个目标，就是我们要For Long Context的效率来设计模型结构。当时也有隐隐约约预感到Agent的时代，Long Context是非常重要的。或者说有预感到Long Context会产生智能的。但是我们没有预想到，后面是OpenClaw，就是这种形式。但是已经预感到Long Context一定是一个非常重要的问题。然后那么Long Context的效果以及最关键的**推理效率**，就是你的成本和你的速度要很快。成本够低，速度够快。那么就是我们这一代模型结构必须要去追求永恒的命题。因为你成本够低速度够快，你有可能可以把一兆做到十兆，甚至一百兆。其实现在所有的模型结构它都能训练到一百兆。那它为啥不把这个模型提供一百兆的推理，除了效果一般以外，我觉得更多是出于对成本的考量。就一百兆太贵了。你可能到后面一兆过后到一百兆这个范围内，它非常贵，贵到你根本就不想用它。所以就是我们当时就围绕着这样的一个核心目标去设计的这个就是**Hybrid Attention**的结构。 当时其实另外一个更主流的选择是用**MQA**，就包括现在，我觉得同期跟我们开始训练的应该是**Gemini**跟**Kimi**，Kimi早一些，Gemini更早一些。然后其实他们都选择了MQA。就**DeepSeek**。其实MQA对于ChatGPT的时代来说，确实是一个非常优秀的模型结构。因为它甚至它对于长文来说，也算是一个还不错的模型结构。因为它大量去减少了**KV Cache**，然后对长文来说，你的KV Cache很宝贵。但是它有一个我认为是不那么去适合Agent这个范式的一个最根本性的几个要点。第一个就是它其实是因为MQA在设计之初是为了去达到很好的访存跟计算的一个比例。在当前的H系列芯片上，为了实现一个更高的，就是我既不浪费我的算力，又不浪费我的，又要把那个访存的瓶颈给打破。所以是在这样一个架构下设计的，然后在这样架构下设计出来的模型架构，它没有任何可发挥的空间。我只可发挥的空间是指假设我们认为KV Cache是重要的，并且我认为推理速度也是重要的，那我能不能用一些让它推理加速的方式。比如说最简单**Next Token Prediction (MTP)**就是一种方式，然后让它实际上推理的时候加速N多倍。但是MQA是不太行的，因为MQA它已经达到一个Compute Bound和Memory Bound的一个非常完美的一个临界点。你要是用MTP的话，你会发现它又卡在计算Bound上。所以现在你看所有MQA的模型结构，不管是Gemini也好，Kimi也好，他们我猜测应该都没有上MTP。因为它上了过后，它就被计算Bound了，然后计算Bound它就很不划算，所以它的模型都会慢一些。 你会觉得大家对MiMA的，我们第一代Flash，哪怕是Pro Flash，能做到100到150 TPS。然后Pro在我们也能做到，就看成本。因为基本上是能做到60到100的，100 TPS肯定会更贵一些。所以大家用MiMA的，不管是用Flash还是Pro的一个感觉，就是哇好快。这就是这个结构，尤其是针对当时结构的结构带来的一个优势。然后同时它成本又够低。因为Hybrid的通讯，包括在Pro这一代上，我们给它拉到一个更极致的一个Hybrid的比例。就它的Full Attention层跟Sliding Window Attention层的比例会更极致，达到了7比1的一个比例。所以它更省KV Cache。所以我们基本上是在这一代结构上实现了。通过Sliding Window Attention去减少KV Cache，让它在长文上效果能够支持更长的长上下文。然后通过MTP把Sliding Window Attention节省的那个算力，节省的那些Attention的算力。然后用MTP给它填上，这样子它能达到一个在实际推理的时候，访存跟计算的一个很好的平衡。然后同时又去兼顾了长上下文的成本，以及它的推理速度。所以这虽然我们设计模型之路没想那么多，但是基本上就完美地非常适合做Agent。因为Agent对Agent来说，长上下文非常关键。然后很小的KV Cache也很关键。因为你很小的KV Cache，你能做更多的多节的缓存，缓存命中的话会非常有利于节省你的推理的成本。然后其次就是速度是一个还蛮关键的一个命题。你一旦体验到了更快的模型，以及智能水平相当的更快模型，你就回不到那个更慢的模型的水平了。所以我觉得MiMA V2 Flash和Pro大概是这样在这样一个背景下，我们同期地开始去进行训练的。 **小俊**: 放在当时你当时为什么会选择MTP了？ **罗福利**: MTP的选择还真的是蛮后验的，就是是我们这个模型已经快训练到中后期了。我们觉得我们把这个模型开始为它去设计推理方案了。然后我们在我们自己的那一代的推理卡上去，实际地去设计推理的并行方案的时候，发现它的计算剩余的实在太多太多了。我们没有想到它会剩余这么多。所以那你就想的是怎么把这些剩余的计算给它有效利用起来，那么MTP太适合了。但是我们在预训练阶段加上MTP的原因，确实能提升基座的能力。这个我们跟DeepSeek的是一样的，就是训练MTP，是因为MTP提升它的基座能力。因为那时候为什么只有我们用MTP的原因是因为我们的模型结构天然在计算上有留有大量的富裕。这个事儿是我们在后面去设计推理架构的时候，突然有一天悟到的。当然也不是突然有一天就是你你去仔细地去算算那个推理的各方面的一些数字的时候，你就知道。然后你可以也用，也可以用推荐编码，然后把这些剩余的算力给利用起来。恰好我们又训练了**SPM GPC**，那个恰好用起来了。其实很自然的一个探索的延伸。 **小俊**: 为什么它还没有这么一个主流？ **罗福利**: 大家太相信MQA了。我觉得大家太相信MQA了。就是大家因为MQA它确实太巧妙了，它在模型结构上把它能做到的全做到极致了。所以在我觉得2025年上半年，如果要去训练模型的话，训练一个基座模型的话，那么其实MQA确实是一个不错的选择。尤其是当没有看到Long Context的价值和Agent的这个范式的时候，MQA确实是一个非常不错的选择。 **小俊**: 它未来会成为主流吗？ **罗福利**: 我觉得应该不会还是不会。 **小俊**: MQA应该不会。 **罗福利**: 我说MTP。如果就看就看大家大家的下一代模型结构是什么样。我觉得现在模型结构设计大概有两个趋势，一个就是你真的在预训练阶段，你就想明白你后面推理的场景是什么。比如说你要在什么上的卡，什么上卡去推，然后你要在多长上下文上上去推。你的推理的并行的方式是什么？你可能连这个都要想明白，那么你就可以设计一个针对这个场景和这个推理方式和这一款芯片的完美的结构。然后你去训练这个结构，那么它的效率成本各方面一定是最优的，那就MQA是在这样的Context情况下被设计出来的。但是但是但是这个Context它是建立在两个前提基础上的，一个前提是Post-train是不重要的，或者Post-train的时间是很短的。你一个月就把Post-train做完，也大部分时间在做Pre-train。所以你只需要Pre-train，推理本身就行。第二个是你的推理卡，你永远就是用。一个两个或就甚至有那一个就是最好的。 但这个在当下是在发生了巨大的变化的。因为现在是Post-train的周期在拉长，你在一个技术上能做的Post-train的上限是远远被激发出来的。 **小俊**: 这是什么时候发生的？ **罗福利**: 是Agent这个范式带来的。你有一个更高效的Context。就是其实Context越长，它也是产生智能这种方式嘛，你你的模型能够被输入进更多的Context，理解更多Context的时候，那么你的潜力就越高。这个跟原来ChatGPT的范式是完全不一样。原来ChatGPT的范式Context就是很短，所以它纯靠这个预训练。但是Post-train这个范式它就是很吃社群。你对框架理解，对对于怎么去所有多Agent的协作，乱七八糟，反正它你可以理解为是，就是我们在Post-train上要去投入的算力，会可能跟Pre-train是相当的。所以你这个时间周期在拉长。那么在一个你比如说你Post-train要做半年或一年的场景下，那么你前半年去假定的非常多的东西，它可能是失效的。你假定要在什么时上卡图，你假定你要在什么场景下达到更优的效果，它全是失效的。因为有可能当你做了Post-train，做了半年或一年过后，你会发现那些场景全变了。你可能以前大家觉得128K就够，但现在大家觉得可能过几个月大家觉得我需要十兆，十兆上下文就类似于这样的逻辑。所以这样如果还是这样去做模型结构，它可能会失去一定的灵巧性。但是呢如果说它的这个团队的Post-train的效率足够跟得上，它的认知是能够这个Post-train的认知是能够辅助Pre-train去做架构的正确。就是判断的话，那么有可能这种模式还是Work的，就是它设计一个精细的结构，想清楚推理卡类型，想清楚场景，那么它应该还是Work的。 但还有一种做结构的方式是另外一种就是我在结构上更简洁一些，然后留有更多的富余度来去做后续在不同场景的一个适应和增强。就比如说我觉得**Transformer**它就是一个更简洁的结构。你可能它的简洁性体验在你可以靠MTP去做，去把它的这个算力给它更充分的利用。也可以是后面你甚至于针对已经训练好的一个Hybrid结构去增大**Sparse Attention**或Full Attention的比例等等。反正就我觉得在这样一个更简洁的架构上的时候，其实你Agent的发挥的空间反而在后续点发挥的风险反而会更大。 **小俊**: 成本下降是MTP给Next Token Prediction带来的优势吗？ **罗福利**: MTP是如果它的命中率非常高的话，那么它是可以带来成本的下降的。相当于它在更短的时间内吐出了更多Token，所以它把GPU的利用率打的更高。所以它本质上是在降低单Token的生成的成本。 **小俊**: 你刚刚说了MTP的很多好处，那它会相应的带来一些幻觉吗？ **罗福利**: 不会MTP，它因为它是会被Verify的，然后只有你预测的准，我才会采纳你当前Token的结果，所以它没有任何幻觉。 **小俊**: 好，刚才我们重点的是Flash上面用的MTP。你们还做了一些选择。就比如说**混合注意力机制**，你们当时选的是五层滑动窗口和全局注意力机制。这个你们这次其实有变了。 **罗福利**: 应该说是这样子。可能我们的一个大致的大量的实验的一个结论是说，Full Attention它的层数很重要。但是它的系数比反而可以有空间。就比如说所以你在更大的模型上，你的层数更多的时候，你可以保证Full Attention的层数总数不变。但是你把你增加更多的Sliding Window Attention的层就可以了。就可能层数比这个系数比更重要，或者说在更大的参数的规模，更大的Attention Head的时候，可能我们也可以到更稀疏一个比例。应该是这两个结论的一个统一。我们可以在更大模型上做更高稀疏比，就是Full Attention跟Sliding Window Attention的稀疏比。我们最近在做很多Sparse Attention的研究，也是发现更大模型。它能够吃更大的Attention Sparse的比例。就更大模型你可以更稀疏。但你小的模型你太稀疏了，你就模型效果就会做P的非常严重。 **小俊**: 所以这是一个实验结果，它不会成为一个固定的标准。 **罗福利**: 这是我们的实验结果。我不确定其他家是不是也Follow，也赞同，同样也会有同样的实验结论。 **小俊**: 我觉得Flash还蛮有一点小米早期的风格的，因为就追求极致性价比嘛。这个是怎么定的呀？然后因为你们当时API的定价是输入是百万Token0.01美金，然后输出是每百万Token0.03美金。在当时看来肯定是最低的价格，最高的速度。你觉得当时是做对了什么？达到这个效果。 **罗福利**: 基本上就是把该做的都做了，就是架构有一个能开始很Efficient的架构，再加上MTP可以更加速，再把Infer。我觉得最基础的基建做好，基本上这个价格就就能做到。我觉得在预训练时代，你根据模型的框架优势来定价确实是合理的。因为你的框架很强。然后最终人最终使用者是最终用户能感受到，其实纯粹是因为你们的模型很强。所以我就按照你的模型结构的方式来去进行定价，我觉得是合理的。但是当我们进入到后训练的方式，然后后训练方式是除了这个模型结构本身带来优势以外，你还看你的Context好不好？以及你这个模型对这个Context的理解能力好不好？所以我觉得它定价逻辑应该发生变化，就不应该是根据我最终的这个推理成本来定价，而应该是根据我这个模型的最终产生的价值来进行定价。那么这个价值除了模型本身的架构的优势以外，还有就是模型它在后训练上做了足够好，所以它能更好去理解这个Agent框架。这也是它的定价的一个溢价的空间在的一个地方。所以我们后面MiMA Pro其实抛弃了这样一个定价逻辑。 **小俊**: 我在你们那个Attack Clock里面看到就是Flash。你们是从一开始就想做Reasoning、Coding和Agentic吗？ **罗福利**: 嘘，我觉得做结构的时候只是Bet一个点，就是只是Bet Long Context一定要做的建模效果够好，然后效率够高，推理效率够高，只Bet这一个点，其他都没有想，我就去训练。我认为不应该太，至少我们当时是想不到更多的目标的。我也不认为一个架构本身的目标应该太过复杂。因为架构目标太过复杂，就是你的限制条件太多。那么如果这些限制条件，最后你的Post-train要做很久，做到这些限制条件，它都变成很伪的限制条件。那你这个结构不就白做了吗？所以我们没有对最开始的模型结构给强加更多的目标。我认为加更多目标是不合理的。 **小俊**: Flash是帮你验证的，是吗？ **罗福利**: Flash帮我们验证了我们整个Inference数据是没有问题的。但是我们我们并没有说先训练Flash，再训练Pro是两个一块训练的。 **小俊**: 但Flash是一个相对小的工作，比较早期。 **罗福利**: 也不早期，我们我们去了就发了。所以你们看到的时候，也就是我们，没有规划。很早我们基本上大部分的模型训练都是在下半年进行的。 **小俊**: 去年的下半年啊。从Flash到Pro，你对Pro的预期是什么样的呀？当然那是同一时间。 **罗福利**: 对，就是两个模型同步训练。我们相信这一代的架构是没问题的。只是我们在训练Pro的过程中去解决了非常多的，比如说训练数值的不稳定性。这个是训练跟1T参数量级的模型，通常会遇到的很Struggle的问题。训练训练着，老是Spike，训练训练着，某个激活值很大。那你要考虑怎么去，或者说某些**Expert**的分布变得很极端，像天花板一样，一会儿一批Token打过去，一会儿又一批Token又打到另外一个Expert上，就很危险。其实信号危险会导致训练出现。比如说**Loss Spike**典型的会出现很多Spike，典型的会导致均衡。Expert复杂会很不均衡。在训练大模型上就会花很多时间去解决这样的一个问题。所以看起来是同步训练，但Pro训练进度就会比Flash慢一点。因为就是你要解决中途这些让你训练不稳定性的要素，数值不稳定只是一个表象而已。这些要素就会非常锻炼一个团队的运维和算法，联合Debug的能力。有时候你怀疑到是不是哪个卡有问题，就是最后如果发现所有的卡都排查了没有问题，你会怀疑是不是今天的太阳黑子爆发。就你为什么怀疑到一些很玄学的问题上？就你要从很表层，然后查到很底层的因素。 **小俊**: 你刚才也提到，1T的模型可能是未来竞争的一个入场券，是这样吗？ **罗福利**: 是Agent的，你要做到接近GPT-4o的水平的这样一个入场券。 **小俊**: 你当时立项的时候还没有这个模型，对吧？为什么你当时就已经觉得一定要是1T的？ **罗福利**: 首先我训练过DeepSeek V3这么大小600多700B的模型，你不会再想去训练一个同样的模型。就肯定还是继续往下一步是Scaling。所以1T是一个在我们当时已有的卡的数量情况下的一个比较极限的一个区间。 **小俊**: 是多少卡？几千卡？ **罗福利**: 反正训练这个模型是几千卡。但实际上我们要投入大量的卡去做研究。所以其实实际上的研究的卡会是实际训练卡的几倍。比如说MiMA Pro和Flash，其实各自训练可能几千卡就够了。但实际上你去投入做模型研究的卡会是这个卡的很多倍。我觉得三到五倍是一个更好的区间。就是不管是你前期的结构的研究，中后期的Post-train的很多算法上研究。所以不是说我们拥有几箱卡就足以去做这个事情。而是说至少我觉得在卡的资源和储备上，目前来看，尤其在Agent范式下，其实卡的数量反而变成一个非常重要的一个瓶颈。因为Idea的诞生和这个动手，你把它代码写出来太快了。你现在卡在什么呢？卡在卡上。就因为你那个GPU它的效率就在那。所以你要为了去验证个Idea，你去跑实验，然后你要并行的起很多实验，所以就卡在卡的瓶颈上。所以现在反而变成一个更关键的一个制约项。当然这只只是说训练，那说推理的话卡更是一个更关键因素。就推理卡的需求量，远比训练会更高很多。 **小俊**: 训练、推理和实验，这个最好是记笔记。 **罗福利**: 推理看看用户数，或者说是看高价值场景消耗的Token数。所以这个很多场景因人而异。所以就把推理摘开看。那我如果说我们这样子来说，就是For研究跟For Pre-train和For Post-train。我自己觉得一个非常合理的卡的一个比例是可能三比一比一。Pre-train、Post-train应该比例是投入的，算力是相当的。然后研究的比例应该至少是你正式训练的卡总量的还要多一点。就你要额外留更多的卡来去做研究。 **小俊**: 过去的预训练和后训练的比例是多少？ **罗福利**: 至少在ChatGPT的时代应该是一个非常夸张的。比如说三比一、五比一，预训练跟后训练一个比例。 **小俊**: 好，这是今年可能会发生的一个很大的变化。 **罗福利**: 应该有很多团队都是一比一的。顶尖的团队应该都是一比一。 **小俊**: 训练一个1T的模型挑战是什么？ **罗福利**: 我觉得全方位的挑战吧，基本上是全方位的挑战。数据上其实反而不是非常大的一个挑战的原因是更大模型貌似对于更脏的数据的容忍程度更高。但是我不确定，因为我们是同一批数据训练的，所以我我不确定我只是说貌似。应该更主要挑战是你在训练的历程当中遇到问题的时候，你怎么去，我觉得第一步是你要发现问题。就比如说很多团队会把Loss Spike当做一个很正常的事情，但是我们可能会尽量的让它没有Loss Spike。我们认为有Loss Spike肯定会导致某一步的更新，特别的不稳定，某些数值就异常值很大，就直接把某些参数或者说某些Expert给他打死，就是打死就是参数更新过后，后面再也不会有Expert送到了，再不会有Token送到Expert上。所以那你中间就有需要很严密的监控的系统，就是你要去洞察这个模型参数内部到底发生了什么样的变化。你需要一套这样的一个监控系统。比如说你至少要去看看Expert的负载怎么样。看每一层参数的输入和输出是怎么样？它激活值有没有变得很异常。这些东西是Loss Spike发生过后，你应该去看的事情，但是可能不是所有团队都会去看这么细，这是我说的第一步要发现问题。可能好多人就不把它当做一个问题吧。 发现问题过后，你再去想OK它到底是什么样的原因引导这样的问题的。比如说有可能是系数比太高了，导致比如说Full Attention层输出跟Sliding Window Attention层的输出是至少数值上的差异是非常大的。那么技术上的很大的差异就会导致一些数值不稳定，有可能是结构的原因，有可能是结构的原因，也有可能纯粹就是Inference Bug。比如说你哪通信的某个算子写错了，我们最后发现有甚至有可能就是某个Layer上反正有有点问题。你可能最后实在无奈的一个解决方式，是你发现这一层的数值太大，你就给它，要么就给它Clip掉，要么就给通过**Layer Normalization**给它压下去。还有就是它有非常多解决方案，比如说通过Layer Normalization我们压下去，它肯定是我认为肯定是会对模型效果有损的。Clip掉是一种方式。比如说我们也会借鉴Kimi的**QK Clip**的方式。那QK的某些Logits非常大的时候，它实在影响模型的训练，稳定的你你没办法，只能把它Clip掉，这样至少能让训练更好进行下去，进行到一个稳态的时候，你再给它放开。就类似于就有太多的这种临时的，你要去发现问题，解决问题，甚至去倒推很多。我可能会产生导致这个问题的一个一个分析的一个路径。这些路径其实是非常考验一个团队的**跨团队协作**。其实如果是在一个很大的公司，它就是跨团队协作，那么但这个协作效率是极低的。如果是在一个很小的团队，一个创业性的团队，那么它就是考验这个环节上的关键几个人的配合程度，那么它就会更高效一些。以及如果这个环境上的每个人都足够地追求极致，就是追求极致，它就不能容忍你这儿突然这么干，那我们就必须停下时间来找问题。 **小俊**: 你们属于哪一边？ **罗福利**: 我们肯定是属于小团队非常极致的类型。所以就会导致那么这样训练周期会被拉长。因为训练周期它肯定不会一两个月就把它训练完。那么训练周期拉长的情况下，如果说有一个非常明确的一个Deadline目标什么的，那你肯定就承受不了这事的。因为比如说8000张显卡，你停一天肯定就是一两百万两三百万的事儿。那么你怎么去承担这样的一个损失？如果是在一个目标驱动的一个团队，可能会觉得停个两三周去排一个问题，这个问题还不知道是不是个问题，会不会对模型这种训练产生影响，可能是一个不太能接受的事情。但是在我们这儿，我们认为它就是一个问题，我们就应该去解决它。因为我们没有那么清晰的一个说我要发布的一个目标。 **小俊**: 你们没有Deadline。 **罗福利**: 我没有没有Deadline。就我们觉得模型训练好了，我们再发。 **小俊**: 对，没有公司来的压力吗？ **罗福利**: 没有没有。 **小俊**: 你们确实不是一个创业公司，对吧？也不是一个创业团队。 **罗福利**: 但实际上它就是个创业团队。我觉得MiMA和还有包括**米克**的能做成，其实都是以创业的方式在运作的。 **小俊**: 所以它才能做成。训练一个1T的模型对你的管理难度是不是指数性，指数性的上升？ **罗福利**: 不用没有管理团队的难度是一样的。应该说不太存在管理，因为大家一块去解决问题就好了。就是你不需要去管理这几个人，就大家我们一起来解决这个问题。然后每个人都有自己不同解决问题的思路。然后一起来解决问题。然后反而是这种解决问题的这种以身示范能力，是一个非常好的文化和导向。 **小俊**: 训练1T模型是多大团队？ **罗福利**: 不是很小的。我只说训练这个事儿本身，但你做数据还需要几个人，那么几个人也是几个人。对，几个人还需要什么吗？那可能还还需要一个非常好的基建的团队，就是你肯定就会把卡给及时给搭起来。这个运维团队嘛。这不是运维团队，这就是基础设施团队。这个团队可能需要有那么一点需要有有经验的人，因为没有经验人，它哪会出一些低级的问题。是一些基础的运维设施的经验。 **小俊**: 那你们的诀窍是啥啊？ **罗福利**: 我本身我也没有觉得它是需要一个非常大的团队协作的事情。我觉得团队协作，但有优势。就比如说大家在卡资源巨量的情况下，可以并行的去探索。对做研究来说是有优势的。但是我并不认为它对，我刚刚说的那种场景，发现我发现一个我可能是问题的问题，然后去深入排查原因，去解决它。我并不认为它对这种模型训练进程中遇到的问题是很大，团队是优势反而很大，团队有可能是劣势。 **小俊**: 训练这个模型过程中，你们团队状态是什么样的？ **罗福利**: 团队状态是原来做预训练数据的那一群人就去做后训练的。然后做训练框架，做推理，运维的人一块来去解决训练过程当中的问题。 **小俊**: 那这是为什么？为什么这个变化？这是为什么预训练的人要去做后训练？ **罗福利**: 很多样的原因。首先后训练的一大部分的原因是你需要有很好的数据持续，这是还这是蛮重要的。其次就是其实它是基于个人爱好兴趣产生的。它不太是基于你说，我们这里需要人，你转一下。不是，大部分是大家自然而然发生的。但是我确实能够预料到哪些人会做这样的一种迁移。因为有很多能力特征上是很共性的。就比如说对数据的直觉，比如说会从模型效果去倒推一些算法的设计。其实做数据好多时候也是在干这个事儿。所以可能我觉得主要原因是我们对人的界定没有那么清晰。所以大部分人他会自然随着训练阶段的变化，自由地去选择下一个阶段，更有想象空间的事情。 **小俊**: 你们现在是100人吗？上次聊。 **罗福利**: 现在已经到100人。但是这一百人是包含所有链路上的人，就所有链路包，比如说数据采集，数据质量，Pre-train的Inference，Post-train，然后包含甚至我们的开发。我们我们需要有一些开发，还有包含我们的产品，包含我们的数据。白下生还还有包含三个方向上的算法工程师。就是大致你可以发上就是语言、动态和语音。这里边一百个人里边实习生的比例是很高的。有部分实习生可能是在做一些更当下不会立马反映到这一代模型结构上的模型能力上的事情。所以其实真正投入到一代模型里面去迭代人我觉得是很少的，可能所有链路上加起来也就二三十个人。三四十个人。最多也就这么多人，二三十个人，二三十人比较均匀。 **小俊**: 这里没有组不同的组的划分吗？ **罗福利**: 没有，没有组没有组的。 **小俊**: 所以你一对一百。 **罗福利**: 差不多。 **小俊**: 为什么没有组的划分？比如说为什么不分预训练组，不分后训练组？ **罗福利**: 因为很多很多人他会对两个方向都感兴趣。如果你组划分的非常的清晰和固定的话，那么其实是在扼杀一部分人的创造力。或者说扼杀他未来的成长空间。第二个就是我确实也不认为做后训练的人，如果说做后训练线的一个很重要的一个范式变化，变化是他需要具备**多样性**。这个事业很多，做后训练的人，他是怼着一个场景去做，他没有这种多样性的视野。但是做预训练的人，第一应该关注的事情是多样性。因为他不能往这个模型里边塞一小部分数据，他要塞多样性更好的数据。所以其实做预训练的人做后训练有非常大的优势，就是他会天然地关注多样性。他就是个很好的补充嘛，他就是个很好的补充。当然也有人他一直做后训练，他就比如说他只研究强化学习，所以他一直做后训练，他或者说降低的成本。就另外就是有一就至少我们不要在组织结构上去给某些按场景来把某些人的这个我认为是创造力给他扼杀在这个场景里边，那就很奇怪。在我来看。 **小俊**: 对，没有组，也就没有Leader。 **罗福利**: 有有推动实际这个项目往前运作的人。但这个人他并不对参与这个项目，人有绝对的控制权。 **小俊**: 对，就是没有职级，对吗？ **罗福利**: 你可以这么认为。 **小俊**: 但是小米本身是有职级的，对吗？ **罗福利**: 本来我们这个团队的整个组织结构就是完全结合的。 **小俊**: 没有职级，你觉得对于做AI很重要是吧？做大模型没有职级没有组，这对这个对于智能有限本身的意义是什么？ **罗福利**: 我觉得**平权**本身是有价值的，就是平权本身是有利于所有人去平等地贡献自己的创造力和智慧。我觉得是有价值的。任何层级应该一定程度上都是在规范和约束，然后规范和约束本身我自己认为是压制创造力的。以及有层级过后，它就默认这个层级上的人应该有更强的超越所有人的一个智能。这个很奇怪，这个界定非常奇怪。我觉得不太会存在有，所以反而更扁平。然后尤其是对于最重要的那个Leader人，他不要有特别强的这种掌控感，以及这种觉得没了我就不行。这种，我觉得如果一旦有这样的一个想法，反而不是很有利于一个创新团队的发生。 **小俊**: 那咱虽然你说没有管理，但实际上怎么管理呢？ **罗福利**: 靠**热爱驱动管理**，我觉得这个很重要的。我自己发现是最行之有效的方式。去选择，激发大家的热情。然后让大家围绕着自己愿意信仰的事情去自驱做事儿。我觉得这这是我一直比较坚信的最有效的管理方式。 **小俊**: 你有什么驱动热情的方法？ **罗福利**: 让大家认识到一个新的事情，让大家去体验，其实是驱动他热情非常重要的方式。 **小俊**: 比如说OpenClaw，这是一种体验方式。你看起来用了一个非常极端说，你不用你，你没有一百轮的对话，你明天就辞职。这是一个非常极端的方式，但是你的目的是体验是吗？ **罗福利**: 对，我也不会最终去考核，我第二天也不会去考核。大家说OK你真的有没有用？因为我我觉得那不关键。然后我我只在乎你有没有真的去用这个动作，是不是真的达到一百轮，那只是一个量词而已。 **小俊**: 所以你还有什么用热爱驱动大家的方法？ **罗福利**: 体验。就其实筛选人的时候也很关键，就是很多人你可以从他过往经历看出来，他到底是在围绕着什么样的目标在做事情。靠热爱驱动，做事情的人的特质会非常的Special。你跟他聊天过程中应该就能感受出来。有的人他会为了很多奇怪目标做事情，但为了热爱驱动，做事情的人是非常明显的。 **小俊**: 怎么明显？ **罗福利**: 我没有办法，就是有很多量化指标。但是我我去跟他聊天，我能直接感受到。 **小俊**: 你们在这个1T模型的训练有失败吗？还是一次就成功了？ **罗福利**: 这是看怎么定失败。就比如说你训练到Loss直接飘了，这种那那那那应该中断是发生过那么几次的，基本上几次我现在都不知道几次了，反正两三次总是有的。就Loss直接飞了。然后但是它训练，比如说训练那个几百步又回来了。那你说这种情况，你是应该停下来解决，还是应该继续往前训练呢？解决，我们认为是应该要解决，就应该停下来解决这个问题。它其实就这样掐上去，几管不维护。然后因为这样下来了，我们认为应该停下来解决，所以就会停下来去解决。它，让它Loss更平稳地度过。 **小俊**: 那一般会停下来几天？ **罗福利**: 这就不好说了，就几天也有可能一两周都有可能。最长的时候有两周。 **小俊**: 停两周焦虑吗？ **罗福利**: 不焦虑，因为我没有什么目标。当然了，你那么多卡，你天天做一堆实验。今天我想着这么去排查，感觉是这个原因了，快改改了又跑，而且第二天看又这样子，或者说晚上，反正晚上都睡不好。我经常晚上周末说，为什么老是又是，我烂几天晚上脑筋？就这种我就其实虽然我们没有明确的时间节点，但是你还是会崩溃嘛，所以还是有很多很沮丧的瞬间的。 **小俊**: 但是虽然没有明确的节点，但是卡就是它是有限的，对不对？ **罗福利**: 对，你会觉得你可能浪费了算力资源，在做一些无用的实验，就是有这样的自我批判。 **小俊**: 所以参数量能决定智力的上限吗？就是越大的模型。 **罗福利**: 我现在觉得是参数量加上Context本身。就这两个是共同决定的。但至少要达到当代大家觉得最强的Agent能书水平，我觉得一定要1T以上的参数规模才能做到。才能让他觉得你已经非常接近于GPT-4o这样式。但我不知道它多大，我只是觉得我自己认为至少要1T以上才能做到总参1T以上。当然更激活的更关键的还是激活参数。所以但激活参数越大。比如说你你总参都是1T，你激活参数越大就意味着更高的推理成本。所以它就是一个Trade-off嘛。 **小俊**: 为什么从五比一提升到了七比一，就是混合注意力机制？ **罗福利**: 我觉得我们追求一个更极致的一个稀疏比，就是Full Attention跟Sliding Window Attention的一个稀疏比。最主要一个原因还是我们希望在更大的架构里边去做更高效的Long Context。因为跟大架构，如果你的Full Attention的层数变多了，如果你的总参变多，你的Full Attention的层数也随之变多。那么其实在长文的情况下，它同样会变得非常的崩溃。因为你的Full Attention的层数变多了。但如果你扩大参数量的时候，你的Full Attention的层数没有变。那么有可能有可能你你的长文Pro跟Flash两代模型是效率是差不多的，但是它的Pro的智能水平是提升了的。所以我们希望在一个长文的效率相当的情况下，我们希望它模型在Scaling它的它的水平的上限。所以我们是比较去控制住这个效率本身的。但控制住效率本身，后面在Agent的时代有一个更有价值的一个事情。就是但那既然这个更大模型，它的长文效率很高，对吧？那我就可以塞更多的上下文，然后就又更强。所以大概就是这样的一个决策的一个背景。 **小俊**: 对于这个1T的基座，你们的几个决策，第一个是混合注意力机制，刚才我们聊过了。然后再就是1M的上下文窗口，这个在做的时候是否有丢失的情况？ **罗福利**: 1M它是要还是要训练的，就是长上下文它还是要训练的。就问题有，关键是你从哪儿真的去搞到在一兆的上下文的窗口里边去，有那么多很稠密的监督信号。我觉得这个这个这个很难找到这样的数据，或者说这样的数据的构造的成本非常的高，构造成本非常高。所以就是所以其实其实你要真站到终局的思维来看，你只要有一个1T的Token量，而且它都是一兆的真正的长上下文。那么你的模型，我认为你的模型一兆能力肯定能训练上去。你让Loss一直在降低，它就是在在在建模在压缩，那么它就一定能训练上去。但问题的关键是你，你很难去构造出来。真正1T一兆的Context，你真的很难去构造出来。就是要么就是成本太高，要么就你就很难找到这样的场景。所以这是问题的关键，我们有。所以所以这个Context的效果是缓慢在提升的，慢慢去提升。 **小俊**: 然后你们还有第三个就是MTP，这个是延续的Flash，这有变化吗？ **罗福利**: 对，没有什么太大变化。其实就是预训练的时候训练一层，然后顺手再训练额外更多的层。然后预训练训练层是为了去提升基座能力。后面Post-train去训练更多层是为了推理的时候，用更多层实现更好的推理加速。 **小俊**: 关于Pro的技术要点，除了刚才三个我没有遗漏的？ **罗福利**: 哎呀哎呀差不多了，我觉得聊得已经非常透了。 **小俊**: 所以Pro是几个月前开始做的。那另外两个呢？ **罗福利**: 同期基本上都是同期。都是那个时候开始规划的。其实都是三个方向。同期在往前去推进的Pro加上Omnimode，加上TTS。 ### 多模态融合的探索 **小俊**: 好，好像整个MiMA家族是在指向多模态的叙事。但是它的模态又非常的不一样。文字是离散的Token，图片是像素矩阵，音频又是波形，且你们怎么去做这个融合呢？ **罗福利**: 其实我们还是想尽量把它统一到那种Model范式下。所以在至少在音频的建模上，我们想要把它离散化，变成跟文本一样的离散的Token ID。所以我们在音频上是在这个事情上是投入了比较多的研究的算力，说怎么去进行离散的音频的建模。而且这个我们希望这个离散音频的建模尽量做到无损的一个离散化。因为大家还是不太相信说你怎么把一些连续的输入变成离散，最后还能重建出来。这个事儿其实是需要非常多，对**Encoder**更精细的。比如说我们需要一些多层**RVQ**来保证它它的它的离散的表征是一个非常大的像凳子一样的高维的空间。然后我们需要更多的预训练来去，让它开始涌现。如果你基于连续的特征做，可能很快就涌现了。但你基于离散的特征做，你会更难去建模，它的涌现出现的时间段会更晚。所以我们知道在音频上是开始了这个模式，然后也会迁移到后面其他模态。就我们还是比较想用一套更优雅的架构来去做整个多模态输入的一个理解。但是但是我们不是为了统一而去做这整套架构。就很多时候如果说我们发现确实比如说在图像上，你现在确实是不那么可行的时候，那么我们还是会寻求到一种说目前更主流的一种架构里边去。因为我们优先要保证的是这个模型它要具备的是一个整体的一个智能水平，而不是追求为了统一优雅的一个范式。 **小俊**: 音频统一到**LLM**里去容易吗？ **罗福利**: 应该我们还蛮另类的。就是我们应该挺另类，就我们的技术架构应该是非常另类的。我知道应该国外的预三家也好，国内像豆包也做的蛮好的，应该都是跟我们完全不一样的架构。 **小俊**: 你为什么选这个架构？ **罗福利**: 就是做**NLP**人的执念吧，就我们做音频的人全是做NLP的人，所以有这个执念就觉得相信它，然后就去做了。 **小俊**: 那图片能这么做吗？ **罗福利**: 能，我们已经尝试了非常长一段时间了。 **小俊**: 所以你们能用LLM作为一个统一的一个方式。 **罗福利**: 对，但是它其实是一个权衡，就是就像我说的，你要做到真的无损的一个重建，是需要投入更多的算力，更长的研究成本在的，它是个权衡。至少在音频上我们已经迈过去了。 **小俊**: 图片呢？ **罗福利**: 没有，图片正在进行中。不知道能不能迈过去。 **小俊**: 哎，如果迈过去，这会带来什么样，这会带来更大的想象力吗？ **罗福利**: 更优雅的结构。我最开始是认为如果我们把它统一都离散化，那么我们可以用一套基础架构去解决这个问题。同一套预训练基础架构，同一套做RL的基础架构，很优雅的，把所有的方式都统一了，就太简洁了。如果是如果真能做的话，但是现在发现一个基础是就当我们有Code Interpreter和顶尖的模型过后，这些架构。比如说我们重新去写一套LLM Inference架构，重新去写一套纯Inference架构。我们最近就已经完全在从头去写一些新的架构。我原来以为写这些架构蛮耗费人力，蛮耗费时间的。但是现在看起来在Agent的支持下，写这些架构的时间被大量缩短。那你其实就没有必要为了架构的优雅性去做很多为了统一而统一的研究。这是最近的变化，一个月内的变化。 **小俊**: 但是之前你是希望团队统一的。 **罗福利**: 对，你这执念。就之前是来自于这种NLP的执念，就是所有东西离散优雅，监督信号更清晰。然后你可以做MTP，做**Longest to Position**。然后你可以所有复用所有现在的RL，多爽呀。但现在回过头来看，RL重新写一套也没有那么复杂，然后几个人可能靠，你就两三周，你就可以重新列套新的Inference框架。那为什么要因为我后面后训练的RL架构的同一性去牺牲，让前面模型结构让我牺牲这么大。 **小俊**: 哎，但是MiMA Omnimode在做的时候，它是走了一条，就是有别于分别处理各模态再拼接的这个路线，对吧？它是构建了一个统一的，试图构建一个统一的。 **罗福利**: 倒没有，我们Omnimode的整个**VIT**上，只是去做了一个，就它还是一个VIT，只是我们把它变得更高效了，它变成了一个Hybrid Sliding Window的VIT。但是我们表征本身并没有做太多的变化，就它还是一个连续的表征，并没有做太多变化。 **小俊**: 为什么你们叫它**全模态**，而不是多模态？ **罗福利**: 就是因为它确实是支持视频、音频、图片、文本所有模态。然后也有一些Agent模型是不支持音视频的联合理解的。然后它应该是第一个支持音视频联合理解，并且能力能够做到跟Language Model水平差不多的。 **小俊**: 是不是有迹象能表明这种全模态或者多模态的理解里能够产生智能？ **罗福利**: 两个月前我很相信。然后最近是在反正在在Omnimode的整个过程当中，就是稍微有点质疑这个事情。但是我们后面还是发现了一些很好的迹象。就是比如说MiMA Omnimode，它其实是比Pro小的。但是大家实际去用的时候，会发现这个Omnimode的对世界的感知和领悟力上，或者说最终反映出来它的情商以及它的知识的储备上会比更大的模型更强。因为它训练了多模，因为它是**原生多模态**训练的。所以我猜测可能是因为我们在这两个方向上Scaling的，就在纯语言上Scaling的算力和纯原生多模态Scaling的算力还不那么多。可能导致我们现在并没有看到原生多模态。有那么强的一个本身动态本身带来的一个智能的一个很大的提升。但你能感受到，就比如说很多世界知识，它因为它训练过视频，它知道的更多。然后它对很多很细微的东西的感知力，你会发现它更强。但这些都是很虚的，都是我们自己去实际体感去测感知力。 **小俊**: 对，都是对感知力会更强。 **罗福利**: 但是你在任何Benchmark上，你是没有任何就纹丝不动。可以这么说。 **小俊**: 就是比赛有可能Benchmark错了。 **罗福利**: 当然有可能当然有可能。所以我现在也不完全说非常确定说OK你要去理解。多模态能力是最终实现所谓AGI路径的必要路径之一。我我是不想去下这样的一个结论的，是因为我觉得每个人对AGI的定义是不一样的。尤其在Agent的这样一个可以把多个模型的能力给非常优雅地编排到一起的场景的情况下，我觉得我们更没有必要去非常去强调多模态之中是不是促进智能这个事情的。 **小俊**: 就是这个它有没有促进智能这件事情本身不关键。那多模态带来了什么？ **罗福利**: 就我刚刚那两点，我觉得目前我只观察到这两点，我现在还不知道未来会不会带来在在一套新的架构上会不会有一些新的东西。我觉得可能做动态生成未必会有一点点不一样，就是就是会生成它可能会促进更好的感知。但是你要是纯说把你的感知维度给它扩大，可能你是不太会促进智能的。但是如果你能生成它，未必是能促进智能的这是我的一个猜测。但是生成现在还是一个科研问题，或者说把生成跟理解做到一个统一的架构里边，目前还没有给到非常大的算力。大部分的生成的架构还是纯For生成的，就是它并没有理解的智能。 **小俊**: 那你对于Omnimode这个模型的目标是什么呀？就是你设计它的目的是什么？ **罗福利**: 我就是我觉得截止到目前为止，就是Agent它要行动，它是必须要具备多种模态的，其实是这样一个目标。但下一个目标我觉得不是这个，就下一个目标可能还是想去探索到说当你结合多个空间的感知，甚至你能去生成更多的动态的信号的时候，你会不会促进你对这个世界的理解？就是但它就需要有一个更直白说，它可能就需要有一个跟现有的预训练框架，交互的更好的一个视频生成的模型。 **小俊**: 为什么你们没有披露Omnimode的总参数量和激活参数量？ **罗福利**: 留个留点想象空间。就是我们相信这个参数量可能能做到更可能更接近于Pro的智能水平。虽然大家知道它比Pro小一些。 **小俊**: 只是小一些，是吗？ **罗福利**: 对，然后但是我们相信他们俩能够互相迭代，我们希望他们俩够互相你，你提升我，我提升你。我们希望这么做。 **小俊**: 对他们Pro谁更重要？ **罗福利**: 当然Pro更重要。但就是纯语言空间去做非常多的前置的研究是更重要的。 **小俊**: 那关于TTS有什么值得划重点？ **罗福利**: 我觉得TTS就是我觉得我们做TTS的东西是我们想用我们自己认为一套优雅架构去做一个大家都去都都用一个传统的架构，做起来很容易的一个事情。 **小俊**: 哦，其实你在试这个事。 **罗福利**: 对对对对对。然后但是我们在这个事做完过后，我们发现用把它把追求一个离散化Token。在万一小时的，不在那个上上千小时的数据集上进行训练过后，然后我们发现在这个模型的泛化率是非常好的。但是但是我没有办法去对比，说我们去训练一个很小的模型，它泛化率是不是不是真的没有这个好。至少我们目前得到这个模型，大家能看到它。你再给它输入很多风格化多样的风格化的标签的时候，就不管是它它会更更智能，就是它会看到你的这个字本身，它会更更通过推测你字表表面的含义去赋予它的情感和音律。在这个事情上的泛化性上，我们是发现特别明显的特别明显。因为我们只是简单的做了一些很特定的几个场景的风格的数据。做SFT和RL就是很刻板的几个风格化的场景。就是比如让它快点慢一点，高兴、悲伤这种很刻板的风格化的场景，去做了这种风格的Post-train风格化的Post-train。但是我们发现你把那个Style的标签给它变成一些非常复杂自然语言的描述，它也能够遵循。这是这是它纯泛化出去的，这是我们在做这个的时候，发现到这种简洁的架构加超大规模的训练带来的一个超强泛化率的一个外化的表现。但还很初期。所以我们这个TTS的模型，我认为效果是非常惊艳的。也就是说它的上限是非常高的，然后但它下限我们现在在慢慢地去弥补，它有时候会不太稳定。所以我们现在目前只是一个限时免费，就开放出API大家玩一玩，但不确保它真的能投入生产机可用。但很快我们会让它变得生产机可用。 ### AGI之路与中美竞争 **小俊**: 你之前在一个发布会上画过一个通往AGI之路的图。然后你对比了人类的智能就是是一个生物演化的路径，它是一个正三角，然后倒三角是一个通往AI的发展。你觉得AI发展是一个空中楼阁，因为在人的进化中，最顶端才是语言。但是AI大模型极大地放大了最顶顶层。所以它是一个倒三角形。你觉得怎么能够拼接出这个AGI之路的图？你现在做的事情在往这条路上走吗？ **罗福利**: 我觉得现在大模型的演变逻辑确实不能跟人，我就完全不太一样。我觉得不一样的原因是环境不一样，人演变的环境跟模型演变的环境是不一样的。人演变的时候，它是随着自然界的变化，为了生存然后来进行演变的。但是大模型它好像一开始上来不是为了生存。 **小俊**: 它以你们它是为了什么？ **罗福利**: 我不知道现在大模型有没有自己的价值观，但是要我们要要硬给他赋予价值观，就是让他替代一部分的人，但他好像不替代，他也不会死掉吧。但是它没有这种生存的危机。所以大模型它可能更，我觉得它会当有生存危机的时候，它反而进化的更自由，然后更散漫，更有创造力。就更快，更不是不那么受约束。以及它现在的基础条件太好了，它有那么多算力可以用。它有人类宝贵的知识起点，作为一个基础的起点，可以用，还有那么多人帮它提升。所以感觉这两个环境完全不一样，所以进化路径就不太一样。 **小俊**: 语言之后模型的进化的下一步会是什么？或者哪怕在语言里细分Coding之后，下一步会是什么？ **罗福利**: Coding它还是会有一个它非常好的一个主旋律。就是它要做一个很复杂的软件工程，以一步直达的开发，我觉得能持续的时间越久，能做的开发的复杂度不一定是代码量，主要是复杂度越高。比如说你写一个**CUDA**算子，它可能代码量并不高，但是你需要写了去调试Debug看它是不是在真的训练中提效。真的有效果的提升，这个验证的环节有可能是长的。但是它这个代码量有可能是不长的。总之就是你要参与到实际的这种项目开发里边，我觉得会确实是做Code的一个非常大的一个主旋律。简而言之就是它替代的程序员越多，那么这就是它的主旋律。 在外延到更广泛的生产力的场景。其实它确实是需要借助一个更强的一个交互方式的。就比如说飞书，**WhatsApp**差不多**Telegram**，它就是一个很好的交互方式，它是降低你去跟它交互的这个门槛和频率。然后其实一个更好的交互方式是它就有个机器，它自己的身体嘛，它可以到处移动。所以就是机器人肯定还是一个For交互的一个很好的，就是For智能体交互的一个很好的，必须会涌现出来的一个方式。所以它肯定还是会从屏幕上跃出来到我们真实的空间。那么但是机器人它本身的一个演变的瓶颈，有大概率可能是在硬件。上次我们也聊到就是在硬件，甚至在电池本身上，当它进入到我们这种内部的封闭空间，然后甚至在一些灵巧手段灵活程度上，所以这些都会比Agent本身的进化在语言空间进化要慢。 **小俊**: 你之前说MiMA Flash是通往AGI的第一步，现在到第几步了？ **罗福利**: 感觉历程已经到了20%吧。 **小俊**: 20%。今年能走到多少？ **罗福利**: 我觉得至少能到60%到70%。 **小俊**: 对哦，那AGI很快了。 **罗福利**: 对，我感觉两年内应该能实现，两年内能实现。就过后就是大部分人确实会失去掉自己，会抛弃掉自己原来的工作模式，然后生活生活模式被颠覆是更滞后的。因为生活它并不产生生产力价值，然后工作是产生生产力价值的。所以你现在会感受到是你的工作模式被颠覆掉。其次再是生活，然后你要真迈入到生活被颠覆掉，可能就是就需要更多是机器人。 **小俊**: 哎，当然你不喜欢AGI这个词，你也没有一个明确的定义。但是我觉得这里面就是它被它的时间线被提前，这里面很关键的变量，就是能AI训练AI了，对不对？ **罗福利**: 这确实是一个标志节点，因为它可以自提升嘛，就是它应该说它可以达到最最最巅峰的一群人的职能。因为它可以自己训练自己，它就能去创造新的研究。就是它有做新的研究的能力，这个确实是它自迭代的一个巅峰。自学习，自迭代的一个巅峰。 **小俊**: 这个会是今年的大模型厂商的一个核心的竞争点嘛。 **罗福利**: 你很难说去For让AI型的大模型去设计任务，去针对去训练。因为它是一个更高阶的目标，你你你不会说一下去迈到这个目标，但大家最终所做的模型都会通往这个目标。如果你你你最尖端的模型的智能力，最后都会去干这个事儿，但是它不是只能干这个事儿。 **小俊**: 在两个月前，你认为AGI有多远啊？ **罗福利**: 我觉得至少两年以上那会儿我确实这么认为的。 **小俊**: 你现在觉得两年以内了。你觉得你们新新一代的这个模型，尤其是Pro和中国的这一代模型，你觉得和美国差代差还有多久？ **罗福利**: 我觉得在国内其实目前已经具备1T以上基座的公司。有好好几家，Kimi，然后还有MiMA。还有还有一些对。这些模型厂商，我觉得基本上是在当下距离国外顶尖就打GPT-4o来说，我认为如果反应速度足够快的话，应该只有两三个月的代差。就不是说两三个月过后能追上两三个月过后的GPT，而是说能追上当代的GPT，我认为这个概率是蛮高的。然后那么在这个情况下，这两三个月大家怎么去发生变化，其实是考验这个团队的整体的研究水平。这个技术的**敏捷程度**，以及怎么去拥抱新的范式的这样的拥抱新的方式来做研究，这个真的非常关键。 **小俊**: 然后就是开头聊的。 **罗福利**: 然后那就是在比拼这个事情，所以我觉得接下来两三个月会非常精彩。同期会发生的事情是我们能看到Agent框架在这就已经在过去的两个三个月OpenClaw本身也进行了大量的改进。然后你也能看到一些自学习和自迭代的一些框架的一些产生。所以Agent框架这一层也会在接下来两个月会进步的非常快。再其次就是随着前两个爆发，就是Agent框架越强，模型的能力进一步的飞升。并且我们的成本是有极致的优势的情况下，那么其实推理的需求一定会爆发。我觉得几倍到十倍的空间是非常非常可能会立即当下会发生的事情。那么对于推理芯片就会达到一个空前高涨的这样一个需求。所以那么怎么去在现有的产能，尤其只是可能大部分卡点在于存储上。在产能的基础上，你去拿不管是自己自制造，还是用到最先进的芯片来去呃做更好的推理。那么就是一个非常非常更好更低成本的推理，就是一个非常关键的一个命题。最后就是另外一个事情就是For更长线的事情是，我们肯定不会在1T的这个水平上走太久。如果要拿到下一个阶段领先，那么你就要寻求更大规模的一个Scaling。那么到底是去Scaling目前参数量还是去Scaling什么东西，以及你要在什么样的芯片上去Scaling。那么就是当下立即需要去决策和判断的事情。那么这个事情才是决定，可能半年，或是大半年过后的谁是更领先的。 **小俊**: 你现在做的决定是什么？ **罗福利**: 这个决定就要保密了。 **小俊**: 所以我们现在看到的所有MiMA相关都是半年前的决定。 **罗福利**: 差不多。我看到你发文发推，说就好几个人都问过，你说为什么MiMA团队非常的迅速，然后你给了几个关键的结论。一个是核心架构与基础设施的研究周期漫长，所以需要看到回报的一年前就具备**战略信念**。第二个是训练后的敏捷性，是有另外一种能力。然后第三个是好奇心，就是热爱是你一以贯之都在说的。你能不能解释一下这三点，为什么能带来一个超级大规模的模型的训练的迅速？预训练。因为它太本质了，所以更关键的事情是你需要在你需要有一种预测能力，或说有一种战略定性。就是你训练这一代模型到底是做什么准备的。这个事儿一定是要提前一年就要去想清楚，或说半年，也就为什么我说半年或一年，就是因为以前我认为是一年，现在我认为是半年，因为Agent实在会加速这个事情。总之就是你要提前很长一段时间就要去想清楚你这一代模型结构在后面这么长一段时间里边它要干什么，我觉得这个事得想清楚。否则的话它就不具备一个优势，它可能就是一个很平庸的模型结构，一个很平庸的模型结构，并不会说带来一个非常平庸的模型效果。但是它一定会带来一个非常平庸的成本和效率的劣势。所以这这是我我认为就是预训练，或者是RL应该前置去做的非常多的事情。 而后训练的话，因为它现在是在跟Agent去耦合去进行迭代的。所以很多事情你没有办法去前设规划的很清楚。所以这个时候就更考验我们怎么基于当下这个模型能力跟这套Agent范式产生了这种化学反应。对，然后你怎么去快速地去设计新的RL架构。这也要涉及到新的RL架构。因为针对于In-context Learning、Multi-Agent这种Reasoning的这种ChatGPT形态下，Reasoning的架构的核心是这个推理引擎本身是模型的推理引擎本身。因为模型要推很长思考很久，然后给出来一个答案。这套这是这套RL Inference架构的问题。而针对于Agent的Inference架构，它并不只关注这个模型推理本身，它还要关注这个模型跟这个Agent的一个耦合。所以它是以从Rollout这个推理引擎切换到了以Agent为核心的推理的这样的一个更复杂的一个黑盒，一个有可能是黑盒，一个是白盒的系统。所以这里边要解决的运维上的很多问题，跟上一个ChatGPT的时代，做In-context Learning这种ChatGPT Reasoning时代要解决的Inference问题是完全不一样的。所以需要这个团队更具备敏捷性，去快速地去开发。针对当前这个时代的RL Inference系统。然后由于这种框架变化太快，那你这套系统要有足够好的兼容性去去去兼容。甚至你想想，如果它真的要涉及到自适应或迭代这套RL Inference系统得多困难。那么这套RL Inference是不是要具备足够好的一个**容错**的特性，以及你怎么用？因为它涉及到推理训练，还涉及到GPU跟**CPU**的一个很多综合的管理。所以这一块我觉得这个团队的敏捷性，以及Inference跟研究的这样一个配合，是非常关键的一个事情。如果做的很好，那么就会体现在你，你会感觉到研究的速度会很快。 再其次最后的一个事情，就是我觉得确实关于好奇心或热爱，或者是这个技术的一个坚持，我觉得是很多很优秀的Researcher身上的很多特点。但你说要怎么去？从一开始源头上去筛选，然后管理激发，然后最后让大家去统一围绕着大部分人所信仰的事情去往前去运作。它确实是一个非常复杂的一个事情。这个事情的难度，我觉得不亚于去设计一个非常好复杂的一个Agent系统。所以在这个事情上，我觉得我也是在摸索。我觉得我更多的是是在在这个环境中去学习。就是学习其他人怎么去在他自己擅长领域，然后做的更好。所以这可能是为什么我最近对所谓群体智慧最终会产生最终AGI的一个一些思考的原因。 **小俊**: 你说的群体智慧是不是还不只是一个公司？ **罗福利**: 一个团队。我觉得是全人类的群体智慧。 **小俊**: 这是OpenClaw做的事情，它可能是引发了这个事情。 **罗福利**: OpenClaw到可能我不知道它的动机是不是。但是至少它现在让大家共同去改进一套框架这个事儿上，以及以及在如此短的时间内让大家去去做这个事情上，我觉得是有这样的一个苗头。 **小俊**: 刚才提到中国美国的差距，你觉得中美实现AGI的过程会不一样嘛？ **罗福利**: 坦率来讲，我不是很了解美国。所以我至少觉得按照我们目前的这一套在模型在，应该首先是前沿的研究，其次是模型的水平。然后再其次是Agent框架，再其次是芯片、能源这些多方面的角度上，我我认为是非常可能领先的。合起来非常可能领先的。 **小俊**: 能不能理解这个智能体的框架，其实是补全了一个拼图的某一个环节。 **罗福利**: 其实我觉得它是补全了模型在复杂任务上完成的正确率。像复杂任务你是很难很难去描述清楚的。你也很难把你所有的完成复杂任务的Context输入给他。但是有了这套这种框架过后，它以一种非常容易的交互的方式，就自然语言沟通的方式，它就能把你所有的你再去做这个复杂任务的时候的全部给具备。并且并且它还是所谓越用越聪明，就是你越你的智慧全部被吸纳进去了，被这框架本身吸纳进去了，这还不是被模型吸纳进去。但是它最终肯定是变成类似于模型的参数被吸纳进去了。 **小俊**: 我有一个感觉不知道对不对啊，像不像一个补丁？ **罗福利**: 我觉得对于顶尖模型来说，它也不算补丁。对于顶尖模型来说，它好像是加油器。但对于中中段的模型来说，它它就是一个非常好的放大器。我觉得应该说不是放大，其实是应该说让它变得很稳定，变得在各种场景里边都都输出非常好的效果。但对于顶尖模型来说，好像它是成倍的放大。它的上限。 **小俊**: 因为你加入小米一段时间了嘛。然后过去半年发了好几个模型，觉得过去半年对你来说意味着什么呀？有什么得到了进步的地方，有什么觉得不足的地方？ **罗福利**: 这个问题真的是我觉得这个时代可能就是我感觉每天可能都在否定昨天的自己。不管是很多做事的方式上，还是你对事情未来的一些判断上，我基本上都在一直去否定。我觉得呃我觉得是在这种否定当中，自我类型和反省当中成长的。 **小俊**: 比如说有一个什么地方得到了特别大的进步。 **罗福利**: 我觉得我的历程没有说有个非常清晰的说，它有一些我自己给自己设定的节点，然后我打到达到达这个节点的时候，我就感觉我好像进步了，而是说它一直在进步。然后它可能有时候是一个很平缓，有时候加速一下，然后有时候又平缓，但总是它一直在进步。所以你要让我自己去找一个标志性的事件，我自己觉得我真找不出来，但是我感觉我就一直悄悄地在进化，然后我脑子里这套系统就悄悄地在进化。 **小俊**: 有什么心法吗？ **罗福利**: 心法就是以前我在做量化的时候，我觉得学到一个非常有让我能够去克服挑战的很重要的一个是一句话是，总有方式去建模价格。这是当时我自己觉得给我一个力量的支撑的一句话。然后当我后面但是做做量化的时候，你你感觉就是你的Reward。你要去预测准价格，你才能做好量化投资。到回到做大模型赛道的时候，你发现那个Reward是不那么清晰的。然后变化。然后这个时候，对我来说我的心法就是说我应该做当下符合我价值观的事情。这个事情我觉得它一定是要对更多人产生价值的。然后一定要是更有意义的一个事情。我觉得是这样的一种。我觉得如果我们创造大模型的这一批人，如果说没有这样一个内驱力，而是说我要做一个破坏的东西，那么我我估计最后会非常的危险。所以我我我现在的想法就是说我每天做的事情是不是让这个世界变得更美好一点，或是让某部分人的这个很Boring的事情得到了被替代。然后他有更多时间去做更有价值的事情。所以我们老在幻想，如果我们的工作90%被替代过后，我们应该干点什么有意思的事情，每个人都能想到非常多有意思的事情。 **小俊**: 哦，真的吗？ **罗福利**: 对，真的。 **小俊**: 你想干什么？ **罗福利**: 我觉得我想的事情在变化。但是我觉得我此刻，我还没想这个事情，我我大概还一个月前有想过，就是我觉得一个非常有价值的事情是现在中国的很多基础的研究，它其实是太去要求有一个很完整的产品，乱七八糟的证明呢，就并没有一个很好的资金，或者说有一个慈善的机构，或者说什么样的东西来去支撑。这种做基础研究的人去做去去去往这种更突破的方向去迈进一步，然后也没有很好的这种体系。包括如果有很好的这种算力资源，它有需要很好的基础设施的体系来去支撑他们去做这样的事情。那么我们可不可以搞一个这种公益型的组织来去Support这个事情？对，我有想过，这是我一个月前想的事情。如果说我们哪天实现了AGI，那这个时候就就比拼谁做研究速度更快吗？是AI，不是。对呀，AI也在，人也在做，会不会我们人跟AI一块儿去引导它做的更，我们能创造出来的研究速度会更快。就我始终觉得应该加速做科学研究这个事儿是是哪怕最终实现AGI的，也有很多要做的事情。 **小俊**: 为什么要一定要去跟他竞争？就让他做好了。 **罗福利**: 那不一天到晚躺着没事干了，总要做点新的事情吧。如果纯享受生活应该也挺无聊的。或者说你总要去做点帮助它的事情吧。我觉得然后这个事情可能是当前的模型，比如说提供情绪价值，对吧？ **小俊**: 给模型提供情绪价值。 **罗福利**: 给模型你用心一下子，它需要吗？你现在之前还在想怎么让模型给我们提供情绪价值。总之就是要做点有意义的事情。但这个有意义，我觉得是按照个人的价值观来进行评判的。然后无聊是不是一种意义？我也不知道，但好无聊，突然不是一种意义吧。 **小俊**: 过去半年你遇到压力的时候，缓解压力，有压力的时候大吗？ **罗福利**: 我的脑子就是一个Sliding Window Attention，我忘的非常快。我哪怕有压力，我当下立马就是可能快的话一两个小时就过了，慢的话一天过过我睡一觉，第二天一定就过了。所以我我我缓解压力的方式非常快。但这也基于一个前提，是你第二天会有一些新的有想象力、有上限的事情给他冲掉，你立马就忘掉。如果它还是在那个Context，应该就忘不了。 **小俊**: 这次模型发出去之后，跟你有什么想象不一样的吗？有什么得到什么新的反馈啊？ **罗福利**: 我觉得这一次就是我觉得所有的事情在我意料之内，就我也不是说这一次我觉得每次都在我的意料之内，是因为我先看到这个模型能力，所以我能预料到这个模型发布出去过后，别人会是什么样的一个感知的状态。所以反而我是对任何发布是有点脱敏的。然后我我也能预想到，它最火的一种状态是什么？或者说最最炸的一种状态，什么这些我都能预想到。所以它完全在我预料之内，我我也没有有多兴奋或多怎么样。我只是觉得OK我们认为这个模型达到了水平和能力被大家感知到了，这就是我这次发布的感觉。所以我我我我在发布前一两天我就知道大概是这样的状态。如果没有被感知到，证明我们哪做错了，就是我们我们的平面我们自己内部的评判标准出了问题。然后所以其实我我当时觉得我们发布前的那个评判标准，我认为是没有问题的。就外部对这个模型的这个评价，包括它它在什么框架里好用。它目前达到什么模型，一个对标的水平，基本上都在我们跟我们内部的评估是一样的。所以大家是正确的评估了它。我我反而是在发布的前几天就是在开想OK我们下一步要干什么，下一步要干什么？就我早已经进入下一阶段，所以这一阶段状态我都就就没太Care了。 **小俊**: 那们为什么3月11号的时候是先上线了两个神秘模型进来了？ **罗福利**: 出于就是因为Post-train在训练过程当中，我们拉了中间的几个先锋的出来看了一下，然后发现到某一个阶段，发现它就非常好用了。然后我们就觉得应该让大家去体验一下它。以及匿名的阶段，大家的评价会更公正。这确实是一个很好的方式，所以就直接上了OpenClaw转匿名上看大家对他评价跟我们是不是一样。然后当然也有一些，比如说我们当时没有意识到问题，就是那个模型的长文当时训练并没有训练很久，所以它确实不好。所以我们在后面匿名发布到正式发布的那一周时间，去着重去优化一下它的长文的体验。这个是我们从匿名期间接收到外部评价，对我们来说最有价值的一个提升。除此之外就是我们在匿名期间去验证了我们内部的评估是没有问题的。然后我们只需要按照我们自己的介调评估体系，再接着做后续Scaling上的事情就行了。 **小俊**: 你的Benchmark是什么？你们团队的Benchmark是什么？怎么驱动？ **罗福利**: 我觉得做好大模型本身就是Benchmark，但是这个好是我们自己来定义的。 **小俊**: 这个怎么让公司同意呢？就跟公司的关系应该怎么处理啊？ **罗福利**: 雷总同意就行了嘛。我觉得他是一个非常好非常有战略眼光的老板，天使投资人。Anyway，后面还有很多标签。所以在这个事情上，如果一开始我加入小米之前，就在这个事情上是高度同意的。所以后面你不需要有过多的解释和说明。就就做就行了。按照我们的判断和直觉做就好了。然后做了慢慢来说，做的好。 ### AI发展历程与未来竞争 **小俊**: 刚才我们聊了很多都是就是关于你们MiMA家族的这个模型。我我下面想跟你一起来想一想，就是我们过去三年整个模型的进展，你会把它分成哪几个阶段？从2022年底就是ChatGPT打响了这个大模型的战争。然后每一年的关键的变化是什么？我们是怎么走到今天的？在你的眼中。 **罗福利**: 我觉得ChatGPT是第一个就是发挥模型。在一个我猜测应该就是一个4K的预训练的场景里边的模型的智能水平。其实预训练的长度或者说最终这个Context的长度确实很关键的。所以其实ChatGPT只是让大家感受到，OK我在一个4K的Context里边预训练，训练完过后，然后我通过简单跟它对话，这个对话轮数是一轮两轮甚至多轮的情况下，它在一个其实那会儿的Context是跟你的对话轮次高度相关的，一轮两轮，一轮两轮两轮。然后你可以在后续能去纠正前序的很多问题模型，也可以在后续的去澄清自己前面犯的那些错误。这其实是ChatGPT当时给人的冲击，就是你感觉它在对话上达到一个内容的一个智能水平。然后但这些所有东西发生，可能就是在一个很短的上下文发生的。然后它只是在这个很短的上下文去把模型在超大规模预训练上训练的那种Loss降最低的那个智能水平给激发出来了。但所有激发的一个前提都是要靠有一个很很能让人感知到智能水平的这样一套交互，ChatGPT就是一个很好的交互。否则你不知道这个模型已经这么强了。所以ChatGPT是一个很好的交互，这是2022年ChatGPT发生的事情。 2023年的话其实当有一个顶尖的闭源模型做到的时候，它的下一年就是OK开源界怎么去追上这个顶尖闭源模型。所以2023年你看就是**Llama**、**Qwen**，包括DeepSeek。就是这些开源团队。就是在准备去首先借助Llama披露的怎么去做好大规模预训练的范式，其实就是怎么去做好数据，怎么去那会儿结构都是未知的。就是那会儿你你哪怕是一个7B的结构，那么这个Transformer结构的怎么样？是**Pre-Layer Normalization**还是**Post-Layer Normalization**，然后这个细节是怎么样的？然后你的还能塞死多大，这些套餐那会儿完全是不透明的。但是Llama告诉你，OK你这么训练能训练成功。 **小俊**: 它给你开了个头。 **罗福利**: 那么借助这个头，所以Qwen OK，借助Llama的一个架构，然后做更好的预训练数据，做更大规模的预训练的Compute给你，OK就是Qwen系列就起来了。然后但是Qwen做的很好是他For开发者生态，做了全尺寸的模型的训练。然后也训练了一些多模态模型，也做的非常的顶尖。然后这是对社区非常有非常有利于激发后面社区做一些微调，还有像有一些微调的框架，诞生的一些必要的先决条件。然后DeepSeek在同期呢虽然也是尝试在去复刻Llama，但是可能更在乎的是去看到Llama这一代架构有什么样问题，而不是去着急去给你，它更更更在乎说OKLlama这一代架构，比如说当的当下，那么还是用**GQA**，那么那GQA在更大的模型里边，尤其是在一些受限的GPU上。去训练的时候，它会存在什么样的问题？我们定会遇到什么样问题？OK我觉得可能要涉及到一些新的结构来解决这个问题。所以就是DeepSeek有V2和V3那个系列阶段，就是想去提出一些新的架构。不管是**MOE** For高效训练，MQA For更更低的推理成本。这个时候会诞生的事情。所以DeepSeek那那段时间可能会更注重说OK我去做更好的研究，来在更差的芯片上去做。 **小俊**: Scaling这个事。 **罗福利**: 对，Llama的缺陷是什么呀？它就是个Dense模型嘛，然后你要真要去给他Scaling的话，你会比如说现在没有人去训练一个几百B的Dense模型，开源界还是说开源界，因为训练几百B的Dense模型，虽然Llama搞过，你也能看到结论，但那个结论不一定是做这个结论构的问题。就是它太贵了，它太贵了，你去训练它也很贵，然后你去推它也很贵，没有人会去搬运一个又笨又贵的模型。那所以你MOE For更高效训练，然后更高效推理，然后像MQA这种For更更高更更低的推理成本的，就是这些模型的架构就会诞生。所以这是同阶段，可能Qwen跟DeepSeek的再走两个路径，Qwen是在纯给。然后DeepSeek这个是考虑的是创新的基础上再次Scaling。对哪个是正确的？没有没有什么，我觉得正确或错误吧。因为他们两个人的一个是为了拿到最强的模型，在有限算力资源下拿到最强的模型。因为毕竟DeepSeek的算力可能只有Qwen的非常少几分之一。然后但Qwen想的是我怎么去促进整个生态更好的发展。所以两个都是对的，没有没有说谁谁是对的或错的。 **小俊**: 像这青春中国的两个开源势力。 **罗福利**: 对对对，一个开源势力是在做研究上做到绝对的高度。然后一个开源势力是在真的生态和生态价值上，我觉得做到一个高度生态价值本身也是个价值。如果没有这么多的好的开源模型，那么非常多好的研究工作。就像DeepSeek前续的很多研究，其实是都是在Qwen的模型上去做的。所以他们是彼此促进的，对社区都是有价值的。然后当然DeepSeek有更多的另外一方面，价值是它有一个全新的结构带来对于训练成本的一个冲击，或者说以及对后续推理成本的一个冲击。导致很多云算是推理芯片吧，我觉得算是推理芯片，有了更多的更准确的判断。OK下一代芯片我应该怎么去构造，怎么去设计？我觉得这是一个对这个整个AGI历程来说，是一个非常好的一个事情。然后这是可能2023年2024年发生的事情。 然后2024年可能唯一发生的一个事情，在所有人意料之外，是OpenAI跟RLHF。其实OpenAI跟RLHF其实在，我觉得它在OpenAI内部也也也算是一次奇袭。可以这么说，奇袭的也也能也可以这么说。就是就是它也但是也非常的偶然，但是也蛮偶然的。我认为它其实就是说当预训练范式变到后训练的时候，然后对于组织和团队以及创新的要求是不一样的时候。那么整个团队应该怎么再去重组织的一个问题？我觉得我是在这个事情上得到的最大的感知是这个。是团队。我觉得团队是起首要要素。 **小俊**: 按照传统的管理方式说，我现在要对后训练加大投入。好算力。我投了那投人，那我从外面挖一个人来，或者是我我我从就是我我新新组建一个团队，这个是错误的方式嘛？ **罗福利**: 就得看这个团队本身。他他可能会觉得后续的人就做后训练。我是觉得这样不是很有利于创新吧。就是最主要就是你你能想到很多点上它会做的不好。就比如说我刚刚说的后训练的数据的多样性上，如果只是做后训练人，天然就缺乏这个视野。还有就是很多，其实我觉得最主要原因是这个很多团队他对做预训练和后训练人的这个人物画像很刻板。反正我们不是按照这种很刻板的方式来去就去招人组织人的。所以它很刻板的问题就是它天然也导致做预训练，人做不了后训练。或许是这样子。总之我也没太去了解，这里边是什么原因。我只是当我我去了解的时候，我就觉得怎么那么奇怪，就然后那就这么一问，那我也不管为什么这么奇怪吧，反正我就觉得那样不太对，然后就我就不这么做，就OK就行了。 **小俊**: 所以我们外界看到的可能是RLHF。但是你在内部感知到的是在这个模型开始训练之前的对团队的调整和组织。 **罗福利**: 其实其实就是大家认不认可这个事儿，然后以及我们要一种什么样方式来做这个事儿。我觉得我是在RLHF的过程中是有非常大的体验的。但最终的那个结果，就我我能预知到的时候，就我走的时候，RLHF还已经做到一个Lite的水平。然后Code Interpreter已经做到了非常接近于那个OpenAI，我以小的那一版嗯的水平。然后那我预已经预识到了，是我觉得Code跟Multi-Agent上这个Reasoning肯定能走通。而且即将可能**AME**会从那会儿只有三四十分刷到我认为七八十分可能都非常有可能，但后面现在已经刷到一百分了。但我没有预识到的事情是，它其实是一个范式转变。就Reasoning它其实是可以通过Code Multi-Agent这个高泛化场景能泛化到通用以外。这个其实OpenAI也没有走通，这个是我没有预料到的事情。所以也是因为这样的一个背景的因素，在导致我后面再看一些新的东西的时候，哪怕它是说一个很垂的场景去做，像Code Interpreter尤其是Code这种场景去做。我会先思考它是不是真的能泛化。是不是我把它想小了？然后这只是一个一个可能自己沉淀下来一套Skill。然后这这是2024年2025年。 可能2025年我觉得很Boring的一个事情是，它处在一个很交错的一年。这个交错一年，就是你可以选择在ChatGPT这套范式下，把Reasoning给做到极致。继续去把SweBench，把那个**Naive Code Bench**这些偏Code的Benchmark就是思考很久，给出一个答案这种。然后把这种AME对这些对你可以在这个范式上选择继续深耕，你也可以选择我忽略掉。我就不管这些，我不管这一套范式，然后我就去想下一下。我我可能在这套范式上能够做到六七十分就OK了。其实AME做到六十分就六七十分，就表示这个链路你已经走通了。但是你你你是不是可以就可能比较聪明的团队，我觉得2025年年终就会全面拥抱去For新的Agent架构去做事情。 **小俊**: 那这是你的选择。 **罗福利**: Minimax是已经转过来了，Minimax我觉得算是转的。最早的Minimax是国内转的，最早的对，应该是我我觉得比Kimi还早。但这样一种新的方式下，它其实对整个团队的这个敏捷性要求就很高。你要快速去迭代，基于一个基座快速迭代。所以你看从模型的发展速度上，你也能看出来哪些公司它拥抱的速度够快。然后可能有些公司就没有跟上，就是还是在原来ChatGPT方式下去继续深耕，没有跟上。然后哪怕你去做了一些这种Brush、Bench、SweBench，那个那个SweBench这些，还有就是**Terminal Bench**这种带所谓的和的这种Agent Bench。并且在职业Benchmark里提升的很深。但它并不代表这个模型，它真的能实际可用。就Brush Camp。比如说它就是一个非常离谱的一个评价指标，就在这上面训练的模型。它只我我感觉只能在这种数据集上去测你换种方式，哪怕也是做做信息检索的方式，你做你你最终它能力还是发放不出去，就很奇怪。就是这套整个数据集太局限，整个框架也也也非常的Specific。所以就是就这半年，如果说在做Agent的人，大部分是在走到这个歧途上，我觉得它算是歧途。我们也走了一小这这儿，Flash第一代的时候，并没有想做Agent的。其实想就是想做很好的ChatGPT，但我觉得一个原因是因为我们确实要先打好ChatGPT的技术。就是我就像我说的，你ChatGPT至少要做到七八十分。然后把整个历程也走完。你才能够说你的Post-train的数据的基建，你的RL基建，你现有的人，尤其是我们招的全都是没有做过大模型的人，他他有个历练，他必须要有个成长经历，否则他一上来就做新的东西，怎么好做了。就是我我是我那会儿做Flash的时候，我纯粹是一种OK。我们做过的事情，再让一群没有经验的人再做一遍。但我更在乎是这群人在做这样一群新的事情的时候，他们自身在进化，然后他们这个进化就对我们后面去做新的事情，非常有价值。因为我我极少在中间给非常强的Supervision，除非我发现要要掉头了。否则你给太细节的这种监督信号，就是告诉他这个事应该怎么做的一个缺陷。就是你会让这个让让团队的大部分人去去失去原创能力，这个是这是我我我认为应该去尽量避免的事情。 **小俊**: 什么叫做你们团队都没有大模型背景的人？ **罗福利**: 就是我们大部分招人之前都没有做过一个大模型。 **小俊**: 他们刚毕业？ **罗福利**: 就比如说在学校做了一些基础的研究，然后比如说之前甚至不是做大模型的，那是做什么的？做工程的呀，然后做开发的呀。 **小俊**: 这些都有一点训练背景。 **罗福利**: 都不需要。有大概三分之一到四分之一人稍微有一点点训练经验，但是可能都只是训练过。比如说7B、14B，那类似于这样的规模模型，我觉得它跟训练大模型都完全那些经验，也不太能复用。 **小俊**: 那需要你有很强的训练的实践的经验吗？它对你的经验要求高吗？ **罗福利**: 它对一二三四步应该做什么，要求会更高一些。但是但是我后面发现你不要告诉大家一二三四五做什么，然后就推大家一起，我们一起来重新做一遍这个事儿，然后大家就会往前走了。 **小俊**: 然后这个组织待会聊，我们先把这个这个这个聊完。你刚才回顾了从2022年底到现在的整个就是技术发展历程，以及各个公司做了什么关键的事情。所以现在大模型的竞争从之前的ChatGPT过渡到了Agent，对吗？这算是这个模型竞争的第二幕。第二场战役就是所有人都开始在同一个起跑线上。 **罗福利**: Agent模型应该是可能闭源模型。我觉得早早比如说Code Interpreter，应该是两年前就在这个路径上了，只是我们没有意识到它是最正确的路径而已。或者说大部分没有意识到。 **小俊**: 很多人我觉得是在去年意识到了。 **罗福利**: 对，去年意识到了，但是都没有在做正确的事情。在我来看。 **小俊**: 什么是正确的事情？ **罗福利**: 正确的事情就是你要在一套非常复杂的Agent框架或多样Agent框架上，然后去端到端地完成更高复杂度的任务，并且以此为目标作为你的后训练的范式。而不是在一个很局限的场景里边，针对一个这个场景定制的这一套很简洁的架构里边去做另外一个比ChatGPT更复杂度高一点点的任务。然后它的模型的输入输出还是一堆字符串，还是一堆Token。然后你的模型的Rollout范式，可能还是我刚刚说的，以推理Rollout为中心。 **小俊**: 但其实Agent已经不是你人。Minimax是在这个转变是比较快的。 **罗福利**: 我觉得它我我感知到，我觉得它是比较快的。因为他们用一个10B的模型，做到目前的这样的一个Agent能力，我觉得是是蛮惊艳的，就是他们的后训练的敏捷程度是非常惊艳的。 **小俊**: 但是你说Agent的这个第二幕，所谓的入场券是1T的基础模型，那Minimax没有这么大的模型啊。 **罗福利**: 对，所以我我觉得他们并没有说真正意义上已经对标GPT-4o了吗？就我把入场定义为你要做到对标到GPT-4o的水平。 **小俊**: 它需要1T的基座，与此同时还需要和敏捷性。 **罗福利**: 对，它已经具备这个事情了，那它具备具备的是后者。 **小俊**: 所以现在中国公司还没有同时具备两者，对吗？ **罗福利**: 我对。看一看DeepSeek吧。 **小俊**: 刚才我们顺了一下，就是从2022年底，然后到现在每一年的模型变化。你觉得到今天你们评价一下中美两边的这些厂商，他们各自到了一个什么样的位置？现在大家Bet有什么不一样吗？ **罗福利**: 大家可能一个共识都是认为OpenAI的路径是正确的。我觉得这算是当下的一个共识。就是Agent的这条路，Agent的路径也会更清晰。至少在过去的三个月以内，我觉得AGI的路径是变得更清晰了。所以**在路径更清晰的情况下**，国内的大模型团队我觉得会更，就就会进入到一个加速追赶的一个状态。因为现在大家在Pre-train上的代差，我觉得是非常是基本上没有的，或者说非常接近。或者说国内的大模型团队在纯Pre-train上、结构上是有优势的。甚至一度我认为GPT可能在过去很长一段时间做的很多Context Engineering，我们都误以为它是因为模型结构不是很先进，然后为了成本而做的一些妥协的设计。但现在回过头来看，可能是有点想的太局限了。然后现在可能你能看到所谓的这些Context，不管它最开始的东西是什么，但最终目前的这样的一个状态是它所谓的这个Context的管理以及搭配的整个Scaffold或者Agent的架构。其实是为了配合模型发挥更强大的整体的任务的完成度而设计的。所以我觉得那大家看到这样一个范式一个转变了过后，所以又有一个基座并没有发生代差的这样一个情况下。那么大家其实就很很All In的要去做好Agent的Post-train，或者说更具体的说，其实就在Agent上怎么去做好RL的Scaling。其实这个非常清晰和准确的方向。但具体的路径研究路径是是需要探索的，但是至少要做的事情就跟2023年要去追平Pre-train的差距一样，我认为是非常清晰的。 **小俊**: 你什么时候意识到Coding可以泛化，Coding的泛化性那么强？ **罗福利**: 我觉得一开始就会就是不管是在Pre-train范式还是Post-train范式。就2023年哪怕最开始我从量化回到大模型的赛道时候，就就会对Coding的泛化性会抱有非常高的期待。但是这种期待它是转变成说OK。我先要好好的去做好Code的预训练数据，然后再去给你算力，看一下它到底在Code Benchmark上会不会很好。再看看Code Benchmark提升了以后，其他的泛推理类的，像**BBH**、**GSM8K**这些Benchmark会变得更好。最开始是这样，它是一步步去实验验证的这样一个探索的路径。然后到RLHF那块儿又又一次验证了，因为Code和Multi-Agent都有非常好的Verify的指标，所以为此验证。然后到Agent的这个范式，Code又又又因为它有很好的Environment，然后并且Code可以天然做很长程的任务。比如软件开发就是一个非常长程的任务，你去做一个非常复杂项目工程，就是一个很长程任务，所以它又很适合Agent这个范式，所以它基本上在每个范式上它都戳中了。那个点，就你都可以在Code Interpreter上去，至少在研究上你可以是自闭环的。然后并且在这个自闭环的路径上做出来的东西，它是很容易去并到其他的更广领域的通用数据上。其实Code本身就已经挺通用了。然后它还很容易，因为它本身就是自然语言，所以它很容易Scaling。所以做Code这个事就是我觉得至少在这三个范式转变的时候，它它都是一个非常优雅的路径。 **小俊**: 而RL Scaling现在探索到哪个哪一步了，你没有什么探索的初步结果？ **罗福利**: 没有，暂时还不是很方便分享。我觉得等我们有一个，至少我觉得在RL Scaling上的算力跟预训练的算力达到一个同一个首位的时候，我就会会给大家分享。 **小俊**: 你觉得今天的竞争变得更激烈了，还是变得更平缓了。相对于2023年，竞争的维度变多了吗？ **罗福利**: 竞争维度变多了。但是其实应该说竞争的维度和速度变都变多了，速度变得非常快。可能你做预训练，你不可能一个月出一个模型，但你做后训练，你确实可以一个月出一个模型。还有就是其实Agent这个事儿，它除了看Agent架构本身，也看你对整个推理侧的结构，或者说甚至硬件芯片对你是怎么去认知它的。我觉得它它会影响到有一些最基本的决策。比如说十兆的Context什么时候做，要不要怎怎么去去给你一兆的Context。其实它涉及到你在比如说你在预训练，如果阶段就Scaling，那么后面对应的Post-train在一兆上去做Post-train，跟在256K上去做Post-train，它的算力差距是好几倍的差距。所以你是不是有足够多的算力差距去Supporting去做这个事情。所以以及你最终的场景，以及这个框架本身的能力，是不是支持你能在十兆上的能力给发挥出来，或一兆上能力发挥出来。它其实是有一个更长的决策链路。它从原来Pre-train，只需要对Pre-train本身的架构做决策，到需要对你你对快速的接下来一段时间，按Agent框架演变推理芯片的整个市场，我觉得算是供需的一个预估。因为芯片它它它受制于这个制造的工艺，对吧？制造的储备，它它瓶颈就在那。以及你要不要尽早去规划，去做更广的不是For单一芯片的模型结构，都是需要提前去做好规划的事情。 **小俊**: 这个说的是大模型的公司维度。那你就觉得对于创业公司呢，当然你没有创业，你觉得今天创业公司机会变多了吗？站在2026年还是更绝望了？ **罗福利**: 坦率来讲，我不是很了解，除了基座大模型以外的创业公司。所以而且但是我能看到的是，至少它对创业公司的团队的规模要求会越来越小。就是可能不需要有一个非常大的公司，就几个人甚至一个人都可以成为一个公司。它大概就只要你你学会充分借助Agent，能来去让他变成你的。就我之前老看到有人说OpenClaw上，我一个人养很多个员工，就我自己也也去做过这种Multi-Agent的尝试。虽然当下目前来看是不那么现实的，或者说我觉得有点玄学，但但是我觉得它很快会变成一个现实。 **小俊**: 在今年内会对Multi-Agent。对对Multi-Agent就是没有突破的地方是什么呀？现在差哪一里了？ **罗福利**: 每个环节都差一点，就比如说你需要有个足够便宜的模型，因为你你最终算的是它是不是比我招一个真正的员工更便宜。要是不那么便宜好用，为什么要用你呢？所以你还是要有一个更更低价的一个模型。不可能说你烧个GPT-4o一天花一千多Token，结果那个员工创造价值可能一千，就这个意思嘛。第二个就是我觉得现在的Multi-Agent的架构并没有那么，我觉得还有空间，反正对还有空间以及他们各自怎么去自进化自迭代，以及互相互相去沟通。这这都还有还有空间，就都还。虽然有你你感觉现在已经有这个雏形了，而且我自己也Multi-Agent也用的挺顺的。但是我我始终觉得它还是在去节省成本，节省时间并没有去放大最终的上限。现在还没有感受到这样呢。所以那会不会Multi-Agent的协同的训练，会不会做到这个事情，Maybe吧。 **小俊**: 那你觉得模型公司的边界在哪里啊？ **罗福利**: 现在模型公司好像没有边界，就是感觉好像我我我之前说我不想做产品，但现在发现就是它他又变成直接做产品了，就模型即产品。对，借助这个它的产品力反而更强了。然后其他所有东西都很简单，然后就反而反而而而而就是模型借助这个Agent架构，本身就变又变成一套新的产品了。 **小俊**: 现在在你看来，一个公司为什么要选择开源？为什么选择闭源啊？因为国内大部分公司都开源了，除了自己。现在选开源的目的会是什么呢？这是一个技术选择，还是一个市场选择？ **罗福利**: 还是一个去加速一件事情，我还是认为是这个目的。 **小俊**: 开源是加速一件。 **罗福利**: 开源一定是是加速一件事情。就你如果没有开源，我们假设Agent会爆发，假设它会替代绝大部分的生产力。那么我们可以从这个时候去倒推，你需要多少多少的芯片。你需要那么这些芯片难道会被一家公司生产吗？难道会被一家公司购买吗？好像不是，它会分散。那么如果它是分散的情况下，那么假设芯片是分散，那这些芯片的推理，有可能是芯片的厂商，有可能是大模型的厂商。那么它用的模型难道是同一个吗？还是用的不一样模型，我认为一定是不一样的。所以你从中局来倒推的话，开源这个事儿一定是有至少有利有有利于推进这个事情的。因为它最终要大规模产生经济价值，它必须依赖算力才能产生经济价值的。所以我认为开源是至少对于很多环节Agent框架、芯片、能源，这些环节上其实都都是有促进作用。所以我认为它是加速AGI进程的。那你说它最后是一种公益还是一种市场？我觉得是取决于每个公司在开源，是跟结合自己的生态位。就是你有没有一个别人不可以短期内拿下，的一个战略的生态位。如果有的话，那么你就敢开源。如果没有的话，你就认为模型就是你的生态位，那你就不开源。就是这样的一个一个行为。 **小俊**: 对，你在一个大公司做开源的事情会有压力吗？ **罗福利**: 我现在不觉得我在大公司做事情，其实小米整体我觉得非常的创业导向。我我我我觉得很奇怪的是它看起来是个大公司，但是它其实是一个做事儿的灵活度非常高的公司。 **小俊**: 那你觉得2026年什么会成为模型公司竞争的胜负手呀？做对了什么才能留在牌桌上？ **罗福利**: 首先不能做错的事情，是首先你你的预训练基座不能错，就如果这个事儿都没有上，那就那就基本上就就完全没有机会了。所以假设我们都有一个大于1T的模型，然后技术潜能都在，尤其在Code上，潜能都是相当的这样的一个Base上。那么大家比拼的就是怎么去快速地去第一个怎么让Agent框架跟模型互相自迭代提升。第二个，怎么让这个Agent架构去更多的去耦合你现在所具备的资源。或者说生态位。怎么让这个Agent架构去理解你理解和调度你现在所具备的资源和生态位。比如操作系统是比如说硬件是比如说流量也算是。流量社交，这些都算是。怎么让这个Agent架构去适配你现在的所具备的战略资源。然后然后最后合力起来，怎么把它给整合好。其实它很考验的是，我自己觉得它非常考验的是一个公司愿不愿意用一套新的方式来做这个事情。 **小俊**: 什么叫新的方式啊？ **罗福利**: 得思考原来所有的做的东西都是错的。原来是不是有这么需要这么多人来做这个事情。首先要思考，你需不需要这么多人来做这个事情。就是你现在所有做的事情，这些人是不是都需要被砍掉，因为它的生产力会被另外一个更高效的东西给替代。或者说怎么让这群人去利用Agent来去发挥更大的生产力价值。所以这些都都需要去思考。第二个就是在新的生态会上，原来那些看起来有壁垒的事情是不是还还是有壁垒的。 **小俊**: 你觉得**Frontier Lab**的Frontier应该体现在哪里？ **罗福利**: 最基本的我觉得做研究应该放弃了。就是还是要有那种自己想要原创做很多东西，而且这些东西可能短期内不会不会那么主流。但是你要说完全不会主流认可，那也那也那也很奇怪，我觉得我自己觉得有点蛮反主流，我觉得很我觉得不是很适合的一件事情，是你很难很难。Scaling我还是很相信Scaling这个事儿，你只要顺应主流的话，那你就很容易去Scaling。 **小俊**: 为什么呀？ **罗福利**: 你的所有的Inference，所有硬件芯片，这些它都是围绕着这个目标来一起往前推动的。那么你你个人就会获，那么你这个研究就会获得非常大的加速度。主要是这个原因。所以我所以我觉得会顺这个主流，然后去做一点。我们超前认为比如说刚开始Efficient的架构，它其实就是在这样一个背景下去做的。但他也没有说上开天辟地的研究。但他我们认为这些小点研究沉积起来，那么它就是一个非常高水准的一个Frontier的一个Model的状态。 **小俊**: 你对你过去几年做的比较偏原创性的研究比较满意的是什么？ **罗福利**: 我觉得比较原创性的研究都是工业级水准的。就比如说DeepSeek V2，它就是一个工业级水准的一个模型。当大家都在主流去做一个更大规模的词的模型的时候，然后我们反主流去做Dense MOE，然后去做去改Attention。这其实是它是这两个都是在做研究，但是它是稍微因为在一个有时候可能更多是在一个资源受限的场景里边做了研究，但它本质上是可以Scaling的研究。所以我觉得这个算是一个不错的作品。然后MiMA V2系列我觉得也算是一个是嗯是因为我们确实在Agent这个范式还没有非常明朗的时候，就去做了很多前置的这个决策和判断。然后导致我们很很很我觉得很高效快速地去基于一个优雅简洁的结构给训练起来。然后这个结构，并且就是我们发现它非常的适配Agent这套范式。然后我们又快速地去转移到Agent这套范式上，做了很多后训练的设计。尤其是围绕着整个Agent架构来去重新去设计我们的RL Inference。我觉得这些都是就是都是很多点合成起来后，最终让大家感受到的不是一个Paper本身，而是一个工业级水平的模型。 **小俊**: 你对发Paper现在有执念之类的吗？ **罗福利**: 没有，就发的越少越好。 **小俊**: 为什么呀？ **罗福利**: 我就希望别人发发发，那么我们团队里边有些人我说不要带我。就是核心原因是我现在也不看学术会议的Paper。主要的原因之一是，我觉得大部分的实验确实应该自己做。然后你相信自己的实验结果，比相信论文的实验结果会更好。但是我会看一下它的原始关注的问题和动机是什么？这个我会我偶尔会会看一下。但总之我觉得在有没有在这种大规模的算力的团队里边，而做过研究的人跟没做研究人他关注问题，我发现重叠度也差的蛮多的，所以我现在就越来越少。看这些论文了。 **小俊**: 那你现在信息来源包括哪些来源？ **罗福利**: 自己迭代，真真来源，自己迭代。我最近连跟人沟通都都很少很少。所以我都不知道。我今天讲了这这这么多个小时的这些东西，它会不会过过一段时间发现我我应该会过一段时间会发现它是错的。但是我不知道当下会有多少人会觉得它是交流过，或者说是不是有有帮助和价值的。 **小俊**: 就还没交流过。 **罗福利**: 没有交流过。要要说有交流，就是自己跟自己交流，然后自己看看跟团队里边，其他人在做。同样实验人交流。 **小俊**: 你刚刚其实多多少少我多提到了一些组织话题。包括我们上次也聊了很多的组织话题，你在最近的两个月有没有一些迭代呀？这一百个人可能有二十个人，以前训练过接触过小一点的模型。 **罗福利**: 就主要是我觉得这些事情它都嗯可以被快速习得，这些能力真的都可以被快速习得。只要你被放在那个环境里边，围绕着一个更高标准的目标来驱动的时候，这些能力都是可以会被我觉得最多一两个月慢的话，三四个月确实都可以被快速习得。所以环境反而比经验更重要。我自己认为所以我就没有太在乎它的经验，而更在乎我是不是创造了一个更好的环境。这个环境让大家更快、更快的提升学习，让大家互相的所谓的**蒸馏**，我们说的就是互相的蒸馏，我蒸馏你的长处，你蒸馏我的长处，互相这样快速的提升。就是我更在乎说我自己创造这个环境是不符合这样的一个先决条件的，而不是在乎这个人来的时候，它的历史背景的这个基因是不是好。我只在乎它的可能初始化契合破译者的上限高不高。我只在乎这个事情，但我不太在乎。它它它目前已经被Supervised的，领过后的那个点的状态高不高，我就不太在乎这个。 **小俊**: 那你会选什么样的人啊？就是他的学历是需要和人工智能相关的吗？ **罗福利**: 看做什么东西。 **小俊**: 判见博士的比例是55%。 **罗福利**: 那是包含在读博士。在读博士，毕是在读博士。那些数字我觉得是有点刻板的。然后其实这更多是代表一个人对做研究的热爱和热爱程度。就是如果他说对做研究热爱，他可能会选择读，至少至少读读一个研究，读一个硕士或博士。然后但是我现在发现更我们也招了非常多的本科生。然后本科生在对这种Agent的这种新的范式的理解上，我觉得反而他的想象力会更高。所以我现在反而招人会慢慢倾斜到去招更多的潜质的本科生，我们会去招大二大三的人。 **小俊**: 为什么呀？ **罗福利**: 因为他们的灵活性和适应程度都感觉没有被污染，就天然更接纳这个事情会产生巨大价值。就他的思想还没有被禁锢的感觉。然后所以他敢放心大胆地把自己那些想法交给就他加我去验证，然后自己不断去探索这个边界。 **小俊**: 那你怎么创造环境？ **罗福利**: 首先是构建这个环境的人，他是有同样的特质的。就比如说我说要强调热爱这个事情，然后强调使命感这个事情我觉得是要有这些基础的特质的。其次又是在这些特质，因为他都比较虚嘛，所以你理性。所以另外一个就是要把这些特质给真的给放大的一个前提是它的基础要好。就是当你你可以理解为是当他想做什么事情的时候，他有这个热爱的时候，他要能做成。就是他这个基础要好，他不能就光就就想法都但做不成就。这个基础是构建成他最后做不做得成的关键要素。 **小俊**: 这是一个技术能力。 **罗福利**: 对对，所以我们会选基础好的，然后好奇心强的，然后热爱驱动做事情的。当然还有一些可能越来越会有一些更多对多样性有更高的要求，对多样性有更高要求。因为如果越的太同质化，那么大家很容易去Miss掉一些，看起来还是噪音，但实际上对研究非常有价值的一些信息。然后那么这个时候多样性又非常重要。所以我们上班那个个每个群叽叽喳喳聊的挺多的，就大家都会疯狂地把自己想法或者说关注到信息给分享出来。然后或说有可能是在群里面，有可能就在座位上，反正吵的不行，一天到晚。然后我觉得这样的沟通的环境是非常好的。然后当然还有一些外部，就是这是内部，还有一些外部的因素，就是比如说你的激励的方式。组织就是就不不能太围绕着某些非常确定和清晰的目标来做。然后以及我觉得这个激励方式钱是一个很重要的Baseline。但是它它它不是唯一的Baseline。就是就是钱要给够。但是呢除了钱之外的其他东西也非常的关键，就是它的价值感，它的意义感。其实我觉得很多人更远更在乎这些东西。 **小俊**: 你刚才说后训练团队搭建方式和预训练会有一点不一样。 **罗福利**: 通常我们在会去训练上看到的人就两类会会适应的会非常好。或者说他对这个事儿会更有热情。第一类就是他会更注重去跟模型玩的这样一群人。因为他去玩，他才知道每个模型能力的边界在哪儿。然后他才会会去想要去找到一种可Scaling的方式去把他这个这个边界给补充回来。有可能是去构造一批更强的数据，以及更强的环境，让他能够训练起来。然后有可能是Fallback到预训练的某个环节，可能这批数据没做好，我给我把这个数据给他补上，这一类的数据给他补上。那么可能我下次去模型的时候会更好。总之就是更在乎模型体验的人，更跟模型交互的频次更高的人，他会非常适应这个范式。因为因为我我我觉得这个迭代是有价值的，就尤其是那些维护了自己很多私有的测试库的人，然后他疯狂去测不同模型的边界，然后突然发现某个模型强了，然后分享出来自己这种独特体验的人我认为是还是蛮适合去去去进入这个范式的。 还有一个就是确实我觉得不可避免是这个我们要不绕这个新的新的Agent范式去设计它很好的RL Inference体系。所以做RL Inference跟做Pre-train Inference有一个非常大的不同，是Pre-train Inference会，更在乎这个模糊程度。我自己认为就是就是Pre-train Inference，你可能不能容错。就是比如说我们出现一个Loss Spike，你就不允许它出现，你要想要把这个Spike给它解决下去。但做RL Inference，你需要允许它容错就是容错。就是你你允许这个模型跟这个Agent的，在这个Agent框架里边，如果揉到一半，这个垂直于就断了。但但它断的原因有很多种，你根本找不到它是哪一种。它有可能是因为这个Agent框架写了某个超时的逻辑。有可能是因为它做这个任务需要很长的验证流程。那那乱七八糟，你你不知道它是是是为什么原因，这这个就掉掉了。还有一个就是会不会你的训练跟推理在在同一个集群上训练的。所以你你你你的训练和推理的不一致性，我觉得原来Code Interpreter的那个Reasoning那个范式里外是不能容忍这个事情的。但现在你必须要容忍这个事情，然后引擎你怎么去做一些更多的**异构资源调度**。比如说现在除了GPU，你还要管CPU，然后你还要管存储，对吧？所以就是怎么在这种很复杂一路资源里边把这个模型训练起来。就是我觉得这里边需要很多算法跟工程的一个妥协。中间这个模糊的地带非常多。然后所以他对Inference人的要求的灵活性的要求和这种这这跨这两个领域的这样的一个理解。我觉得要求变得非常之高。也也换句话说，其实我觉得它相比Pre-train来说，它都对灵活性和敏捷性都提出了新的要求。然后能能够适应这个范式的人，就会就会觉得它其实没有适应，就是原来就是有那么一群人，他比如RL里边，哪怕RL是一个相对来说追求一个很多事情，都是有一个清晰的答案和解法人。然后它来做Inference，还是会以会会有那么一群人是适合做Inference。所以大概我觉得是是这样那一个变化，所以我们那边可能看起来还是至少做Pre-train Inference跟RL Inference，我觉得还是分开的。不太能够交融。因为他们确实对于我觉得对复杂性和这种精确度要求会会会差异很大。 **小俊**: 做RL的瓶颈到底在哪里啊？你刚才提到Pre-train其实真正差不多了。 **罗福利**: 其实真正Agent的给Scaling起来的团队很少，非常少。 **小俊**: 包括海外是吧？ **罗福利**: OpenAI肯定肯定做这个事儿。然后其他团队我不是很了解，至少我从最终的模型效果上感觉到没有没有没有跟In-context Learning到跟Pre-train一样量级。 **小俊**: 就是之前发展了两个范式嘛，你觉得再往后有什么新的范式吗？ **罗福利**: 不确定，先把这个范式做了再说。我觉得是我我们刚刚聊到那个是就是一个一个生成模型，跟到感知能量强模型联合到一套新的框架里边去进行。RL好训练这个事已经足够的在我的规划里已经足够了，长期并且比较难实现。 **小俊**: 现在有人说是**Continuous Learning**和**Online Learning**。 **罗福利**: 现在觉得Continuous Learning和Online Learning我更多的是代指它跟这个环境产生交互的时候，或者说跟Agent框架多轮交互的时候，这个框架本身在自己迭代和进化。我是不是这么去定义这个事情呢？ **小俊**: 你对未来有什么预期啊？我觉得未来可能是2026年，可能是2027年，也可能是更长远一点。 **罗福利**: 我现在觉得把当下的做完，每天的研究都做好，我就觉得非常好。 **小俊**: 你现在工作状态是什么样？工作节奏。 **罗福利**: 早上11点，晚上一二三四点。但这是我的状态，不代表我们团队其他人的状态。 **小俊**: 你是夜猫子是吗？ **罗福利**: 倒不是，是我自己本身的睡眠，确实不需要特别多的睡眠，可能六个小时就完全足够了。然后五个小时也可以，四到四个小时也行，四到六个小时在我一个OK的区间。所以我我不需要那么多睡眠，然后以及现在做事情有点兴奋，所以也确实是也也也感觉睡太多，有点浪费时间，有种感觉吧。