美研芒格君 · X 阅读

05/16 有多少朋友每天打开账户，以泪洗面，心在滴血？期盼着周五的反弹，但迎来了进一步的下跌。下班在路上，谈谈我的思路和进一步操作，为什么我觉得利空出尽，就会迎来利好？ 如果硬要归因，原因是“通胀压力＋AI 融资担忧”叠加；AI 收入发展和资本支出担忧产生的不均衡，也是我最怕的市场问题，它存在周期长，情绪的彻底反转难。情绪悲观到极点，同样有机会 例如CoreWeave部分债券的二级市场收益率，本周升到了约15%。市场担心的是：AI建设需要不断融资，未来扩建的钱还能否顺利、低成本地借到。这已经不只是股票情绪，而是融资风险被重新定价 这周重仓半导体的朋友应该都很痛苦，不好过。比如我，没跟上市场节奏，甚至都没怎么打开账户，一周亏掉了快一年的工资 事到如今，也只能吃顿好的，好好过个周末。 我的操作是 hold，没有任何的卖出，今天继续加仓 $MRVL 。开完投资者日一路飙到 300，最近跟着情绪一起回撤到 230，我打算持有到 2031 年，这对我来说是个非常好的价格 此外，我认为情绪可能有反转，因为 AI 的基本面没有变化。当坏消息大家都知道了，那就会出现利空出尽，转为利好

@fokjingliang 收到

微软这篇讲 3T 级模型预训练的技术博客，真的值得认真看，很少有人愿意把这么大的模型到底怎么训，讲得这么细、这么清楚。链接我放在后面 这次的模型叫 MAI-Base-2，由微软 MAI 团队自主训练，总参数 2.8T，每个 token 激活 80B。目前完成了预训练，后训练还在进行 几个我觉得值得分享的点 > 参数很多，每次只用一小部分。 总共 2.8 万亿参数，处理每个 token 时激活约 800 亿。这就是 MoE，按需要调用不同的“专家”，控制计算量。 > 先用小模型探路，再放大。 他们先训练一系列小模型，推算大模型的结果。连数据重复学几遍，都要和正式训练对齐。最后实际的训练误差和提前预测的非常接近，这个我觉得很厉害。 > 怎么调参，也摸出了规律。 比如学习率，可以理解成模型每次更新参数时迈多大一步。他们根据训练量、训练步数去推算，再到更大的模型上验证，减少正式训练时的试错 > 模型越大，训练稳定性越重要。 这次用了 Muon 优化器，还加了激活梯度裁剪，减少异常更新的干扰。后面这项改动很有意思，模型越大，带来的效率收益反而越明显。 > 从预训练就开始学图像。 总训练量是 50T token，其中约 9T 来自多模态数据，是原生多模态模型。 原链接：https://t.co/O0VmTp23jp

OpenAI 的路是不是走偏了？最近我被 Codex 气到翻白眼，我觉得自己被Tibo当作傻子一样玩弄 不把控模型的治理和质量，靠着砍额度，再给reset 来吸引用户。这样只会让忠实的用户取消订阅。GPT-6 Ultra 和 GPT-6.1 体感质量实在太差了，额度也随便一用就见底 最近我有大量的相同任务，质量对比下来，GPT 6 已经失去了我的信任 Grok 4.7 fast 速度好，而且说人话，不会长篇大论地一些人类无法理解的文字。我感叹，用完 GPT-6 再用 Grok 4.7，简直能让我大舒一口气 Opus5.5 虽然Token间隔慢，但是同样一个任务，比 GPT-6 做得好两倍不止，每次的结果都让我满意，甚至超出我的期望。并且 Token 多到用不完 这绝对不是 OpenAI 真实的水平。到底发生了什么？

就在今天，Anthropic 在旧金山总部开了一场不对外的会。邀请的都是投资人 我把这些信息碎片拼到了一起，带你一起过一遍这个会议，以及你需要知道的所有数字 看完之后你会心里有数，AI 的钱，是不是要花不动了？这阵子网上很多人这么说。芯片股连着跌，也有人开始唱衰 Anthropic。 1/ 今年三个季度的收入 一季度 47 亿美元 二季度 116 亿美元 三季度 168 亿美元 2/ 去年一整年，Anthropic 的收入不到 46 亿美元 今年光一季度，就超过了去年全年。 前三季度加起来 331 亿，是去年全年的 7 倍多 3/ 最近的三个月，超过前六个月。 上半年合计 163 亿，三季度一个季度就是 168 亿 4/ 三季度平均每天收入 1.83 亿美元，每小时 760 万。 就这个吸金能力，你想想看 5/ 去年按经营口径，它亏了 80 多亿美元 今年三季度，公司告诉投资人，按调整后口径已经盈利，现金流为正 6/ 这场会是给 IPO 铺路的。路透说目标估值 2 万亿美元以上，上市大概率推到 11 月中期选举之后 但是，我想浇个冷水 增速确实在降。二季度环比涨了 147%，三季度是 45%，单季新增从 69 亿降到 52 亿。放缓，这的确没错 回到开头那个问题。AI 的钱能不能一直这么花下去，最后要看模型公司能不能从客户手里收到钱。Anthropic 今天给的答案是一个季度 168 亿，而且还在涨。它还承诺，未来十年在云服务、算力和基础设施上至少花 5180 亿美元 看完这组数，我觉得市场太拧巴了：一边是市场担心算力发展减缓，给半导体股票压价；一边是 AI 基建、大模型公司在疯狂扩张 我该信谁的？

10/14 今天是黑色星期三。美股全线下跌。很多朋友应该和我一样，打开账户的那一瞬间，仿佛被闪电击中，非常痛苦，有点烧心 痛苦之余，今天我们还是要看看逻辑，寻找下跌的原因 最明确的新利空，就是通胀超预期，重新推高了市场对美联储加息的担心。 而半导体本周原本就在消化“AI基建融资和投资回报”的疑虑，今天又被宏观数据加了一层压力 美国今天公布的9月CPI显示：总体通胀同比3.7%，高于预期的3.6%，也高于8月的3.4%；核心CPI环比上涨0.3%，高于预期的0.2%。 10年期美债收益率，从数据发布前不足5.17%，升至约5.26%；市场对10月议息会议加息的概率判断，从约22%提高至44%—45%左右 以上是根本的原因，宏观风险，挤泡沫是好的。但我开始更加注意长期风险。如果我们彻底进入一个加息周期，那估值还会一杀再杀，值得大家关注 增长预测提高，与股票估值下降，可以同时发生。 用一个纯假设解释：一家公司预期利润提高10%，但市场愿意给予的估值倍数下降20%，两者相乘，股价仍然可能下降12% 最近很忙，上周我对持有的某些半导体标的做了详尽的调研。我认为长期来看，基本面一直在稳中向好。华尔街投行根据报告也在上调预期 所以今天我对几家比较看好的继续小额买入。

Eleven Labs 的 CEO估计现在不太好受 。商业护城河一夜之间没了 Fish Audio新模型重磅开源，也是我一直在用来创作视频的音频。 不论你是视频创作者，还是想跟你自己搭建的 AI 模型电话聊聊投资，我认为这都是第一选择，简单好用，效果出奇的好 这次 Drama3 Model 不仅开源，能够通过符号来控制情感输出，而且提供了 fix 单一音节发音的功能。做长音频输出的朋友都知道这意味着什么

@yinmou19 不知道🤷 https://t.co/MBKdXmBGSI

OpenAI内鬼事件。太炸裂了，放在Netflix绝对可以演两集 OpenAI在总部里找到了非常复杂的窃听器，并且用AI抓到了窃听的员工 目前事件仍然在调查过程中 https://t.co/q8nU3OmYwd

企业做 AI，真的一定要用最贵、最强的模型吗？借着Coinbase 这个案例，我想说说在后训练这个风口，普通人也能把握的赚钱机会，卖数据，卖好了也能赚大钱 Coinbase 拿了一个 90 亿参数的 Qwen 小模型，用自己的反欺诈数据微调了几周，单张 GPU 就能跑。在这项任务的测试里，召回率最高比 Claude Opus 4.5 高出 35 个百分点 这给企业省的却不是一点半点的成本，认同这个思路，咱们接着往下说 你以为这里面技术门槛最高的是后训练的算法 recipe infra 吗？绝对不是，是数据 一边是知识面很广、但没接受过这套内部数据训练的通才；另一边是专门看过大量真实案例、反复练这一项任务的小模型。 这让我想到，保险理赔、信贷风控、客服工单，大家身处各行各业，其实都可以用这个思路重新看一遍：公司手里那些积累了很多年、过去只躺在数据库里的业务记录，有没有可能拿来训练一个专门干活的模型？ 你的数据够好、够私有，一定会有人想买。 不妨也想想看，是不是这么个道理？

@ropzwho 啥意思？现在国内是面试官是 AI 吗？

又是一年一度的秋招季。真的心疼今年在找工作的年轻人，这是过去十年最拧巴的一年 今天我在给组里做面试培训，以及设计面试题库 很多题目我都要先做一遍，没有 AI 的帮助我也做不出来。不知道谁能理解那种神经突触重新长出来的痛，越做越痛苦 我觉得很惭愧，在 AI 盛行的当下，我们鼓励使用 AI，但面试还是老流程 这是真的考察，还是一种服从性测试？ 在整理面试题的时候，我把收集来的 OpenAI、Anthropic等一线 AI 大厂的面试题都过了一遍，取其精华，去其糟粕。这周改天跟大家分享几道

如果你在看算力互联，却不知道AI 训练 GPU卡和卡之间到底在传什么，那这篇一定要看完，会了解为什么互联非常重要 不论是投资 $NVDA $MRVL 等一众算力互联标的，还是 AI Infra 学习，收藏搞懂我这篇帖子，对你帮助都一定会很大。过程中所有的讲解，我都放到这幅图里了 上一篇我讲了推理的时候 GPU 在干什么，这一篇讲训练。为什么训练一个模型要几百几千张卡？卡和卡之间每一步到底在传什么？这个帖子是我认真整理的多卡训练内部流程，看懂了它，你再看英伟达为什么卖整机柜、卖 NVLink，会更有体感 1/ 我先来说两个词 > NVLink：卡和卡之间的高速通道，不用绕主板上的 PCIe。一台 8 卡 A100 服务器里，8 张卡两两全互联 > NCCL：英伟达的卡间通信库，负责在这条通道上搬数据。它只会搬字节，不认识“这是哪一层的权重” 多卡训练时，卡和卡之间主要搬两样东西。一样是梯度：几张训练卡各算各的，每一步都要凑到一起取平均，这叫 all-reduce。一样是权重：训练卡改完以后，要发给负责写答案的卡，这叫广播 你可以大致粗略地记一句话：训练卡负责改权重，写答案的卡负责用权重，NCCL 负责把改好的权重送过去。送得越快，卡就越不用干等 2/ 那强化学习训练的时候，GPU 到底在干什么？ 以现在最主流的 GRPO 为例，每一步就三件事：让模型对一批题写答案；按对错打分、算梯度、改权重；再把新权重交给写答案的那一份模型。我把一张卡和多张卡怎么干这三件事画进了一张动图，分三段 1. 一张卡上，写答案和训练只能轮流来，训练占了八成时间。非常难，训练和推理学（两项任务）会相互阻塞，因此我们需要多看 2. 多卡先分工，一部分卡专门写答案，一部分卡专门训练。卡要加在慢的那一侧：训练这侧加卡几乎线性变快；写答案这侧加卡几乎不变快，因为一批答案要等最长的那份写完。通常我们有一些 tricks，比如轮到下一轮继续生成，或者直接丢弃 3/ 先过一遍第一段：1 张卡 vs 6 张卡 ① 单卡：一步要写 128 份答案（8 道题，每题 16 份），再分 8 轮训完，最后把新权重拷给负责写答案的推理引擎 vLLM。显存里同时放着两份权重，一份用来写，一份用来训 ② 6 张卡：2 张专门写答案，各写一半；4 张专门训练，每张放一份完整的模型，128 份答案平分，每张只训 32 份。这叫数据并行（DDP） ③ 4 张训练卡喂的答案不一样，算出来的梯度也不一样，就是图里高高低低的红柱子。所以改权重之前，要先经 NVLink 把梯度取平均，4 张卡拿到同一个梯度，改出同一份新权重 ④ 新权重只由其中 1 张广播给 2 张写答案的卡，另外 3 张不用重复发 以 1.5B 的小模型为例，这一步可以把单轮训练从 14.85 秒降到 5.68 秒 但是我们从图上来看，在训练的时候推理卡就会停掉，存在潮汐问题。因此，聪明的研究工程师开始想如何让两边并行起来，榨干 GPU 的潜力 4/ 第二段：边训练边生成 训练卡训第 t 批的时候，写答案的卡用手上的旧权重，先把第 t+1 批写出来，这叫“落后一版” 修正办法叫重要性采样：写答案时把每个 token 被抽中的概率记下来，训练时用新权重再算一遍，按两者的比值给每个 token 加权，比值太大的按上限clip，防止偏移太大 5/ 第三段：权重到底是怎么传过去的 ① 推理完一批，再接收新请求：写答案的卡把手上这一批写完，不在写到一半的时候换权重 ② 权重传递预留：训练主进程先用 HTTP 告诉 vLLM，这次要传 338 个张量，各叫什么、什么形状、什么类型，对方照着清单开好空位。这一步走 CPU ③ NCCL 广播：打包成大块，从 GPU2 的显存经 NVLink 直接进 GPU0、GPU1 的显存，一发两收 ④ 权重装载：vLLM 按名字把张量放回去，q、k、v 三块拼成一块，fp32 转成 bf16 ⑤ 清缓存，改版本：旧权重算出来的 KV 缓存作废，版本号加一，接着写下一批 其中 NVLink 上真正搬 6.17 GB 只要 0.027 秒，其余时间花在报清单、装载和清缓存上 想搞投资，相信你看到这儿已经差不多都懂了。我们以小模型为例，训练的时候，卡和卡之间每一步都在搬几个 GB：15 亿参数的小模型，传一次权重就是 6.17 GB；大厂的模型大几百倍，要在几千张卡之间搬。微软 MAI 的技术报告里，最大的一次强化学习用了 4,864 张 GB300，4,096 张做推理、768 张做训练。 改成异步以后，新权重每隔几步就得送到整个推理集群，传得慢，推理卡就要闲着，答案也会更旧 想入门训练，我的建议是先把这三段自己画一遍：谁在写答案，谁在训练，权重从哪张卡流到哪张卡。这就是为什么我们说互联非常重要 我会沿着这条主线，结合每天的信息以及具体实践，帮大家搭建起科技到投资中间的这座桥梁 出处 [1] MAI-Thinking-1 技术报告，§3.6.4、§3.6.5 https://t.co/4ifkQ8xHtN [2] PyTorch 文档，Distributed Data Parallel https://t.co/OjNoKY1ngu [3] NCCL 文档，Collective Operations https://t.co/CKla8eRxiQ

和我听到的方向有些接近。其实大家对 RSI 的定义不同，各个厂商都在探索RSI，有不少存货模型还没有发布出来 接下来 AI 的进步速度，可能会让很多人措手不及。AI 的需求也可能会超过你所有的想象 > RSI 是什么？ 递归自我改进：AI 帮忙研发更强的 AI，更强的 AI 再回来加速研发，循环往上走 Google： 据称内部已接近或打通这个循环，最近的能力跃升可能与此有关 Anthropic： 据称已启动新一轮预训练，目标是 Fable 6，甚至更强的一代 OpenAI： 近期数学成果，与内部模型 Bel 以及 RSI 联系到了一起 这让我想起了两周之前，大家还说要暂停 AI 的发展。今天来看像个笑话，当时有人信了吗？

$MRVL 是我最喜欢的标的，我的其的收益已经超过了 215%。我坚定不移地相信。在算力和存储之后，互联就是下一个 AI 的决定性突破口, 这篇帖子写给有耐心持有一年以上的价值投资者看 MRVL 仍有突破空间,这个很考验认知，以及对 AI 的信仰，更考验耐心和看懂 这周我倾尽全力，逐字观看了投资者日的演讲稿，以及过去几个季度的财报和华尔街分析报告。看完之后，我的信心十足，底仓绝对不会再卖了。找到好机会会继续加码 我会把我的研究成果发布出来，内容大纲如下，希望大家喜欢，能学到知识 第一章｜Marvell 究竟卖什么？先认清公司在半导体产业里的位置：谁负责计算，谁负责存储，Marvell 又怎样帮助设备搬运数据 第二章｜AI 为什么会卡在“连接”上？从第一性原理科普：Marvell 为什么在解决瓶颈？ 第三章｜行业的钱，怎样变成 Marvell 的机会？把约 3 万亿的建设支出、4,000 亿的相关市场分开看，也解释为什么互联要守住优势、定制要扩大份额。 第四章｜FY28 目标200 亿怎么看，FY31 800 亿怎么实现？拆开近期展望和长期目标，看哪些业务已经在贡献收入，哪些项目还需要量产兑现 第六章｜同一个数据中心里，数据怎么跑？拆开光模块，看 DSP、驱动器和放大器分别做什么，为什么升级传输速度能带来生意 第七章｜不同城市的机房，怎么连起来？看长距离光连接怎样把分散的数据中心接到一起，以及 Marvell 在这段链路里卖什么 第八章｜机柜里面为什么也开始用光？解释铜线的限制、光器件怎样靠近计算芯片，以及交换芯片怎样安排数据去向 第九章｜定制生意为什么不只是一颗 AI 芯片？看看计算芯片周围的网卡、内存和管理芯片，如何形成 XPU attach 这门配套生意 第十章｜800 亿收入，怎样走到每股 30 美元？顺着成本、费用、税和股数，把收入到每股盈利的账算清楚 第十一章｜盈利目标和今天的股价，是什么关系？分清公司目标、分析师预测与估值假设，看盈利兑现多少、市场给多少倍，会怎样影响回报 第十二章｜接下来，用什么检验这套故事？把风险落到可以观察的事情上：客户采购、产品量产、利润率，以及每个季度能否接近此前的展望 读完之后，希望你能看懂两件事：Marvell 靠什么赚钱，以及买入 MRVL 时，自己到底在相信哪些前提。公司增长目标能否实现，要看经营结果；股东能赚多少，还要看买入价格和未来估值。

我在硅谷看得最清楚的一件事情，就是软件开发已经被 AI 蚕食得差不多了。如果让我选择当前最有价值的一个方向，那就是去做后训练算法或者数据，不论是学习，还是投资，后训练都值得你了解和认识 我们理解大模型的后训练，如果只学一个算法，我希望你了解的是 GRPO，现在是工业界最主流的 LLM 强化学习方式之一 这个方法是 DeepSeek 团队在 2024 年提出的。用大白话说，就是让模型对同一道题自己尝试多次，再比较这些尝试的结果，通过更新模型参数，让表现更好的生成行为更容易出现。 论文：https://t.co/lSnJWsRyD7 看完这个帖子，你会明白，那这个“自己学”，到底是怎么发生的？模型做错了一个问题，下一次怎样才有机会写得更好？为什么这个过程非常消耗算力？ 1/ 先让模型自己尝试 我们先准备好任务，以及判断结果好坏的评分规则。这里还是用写代码为例，市面上的所有任务，无论是文科还是理科，都是这个道理 举个假设的例子：亚马逊购物车为空时，程序会报错，现在让模型修好这个 bug。 把同一道任务交给同一个版本的模型，让模型尝试 8 次。每一次都去读代码、修改、检查结果，可能产生不同的解决过程。你可以认为模型在某些情况下总会蒙对几次 2/ 把这 8 次尝试放在一起比较 继续用假设来讲，评分程序按测试结果打分：通过得 1 分，失败得 0 分。 假设最后有 3 次通过、5 次失败，那么这组的平均分就是： 3÷8＝0.375 得 1 分的尝试，高于本组平均；得 0 分的尝试，低于本组平均。 GRPO 就利用这种组内差异，产生学习信号。 这里的 1 分和 0 分只是为了简化，实际上各种任务我们都可以有不同的 rubrics 去评判、打分 3/ 训练程序根据差异，真正去改模型 到了这一步，训练程序会计算损失和梯度，再更新模型参数。 训练目标是让高于本组均值的尝试中，那些生成行为更容易出现；低于均值的则受到抑制，那更新完参数后的模型，就更容易产生我们认为好的答案 更新完，再拿一批任务让模型尝试，继续比较、继续学习 这就是这里说的“模型自己学”：模型负责尝试，评分规则负责衡量结果，训练程序负责更新参数。 任务怎么选、什么结果值得奖励，仍然需要训练者设计。 4/ 最后看模型有没有真的进步 我举一个具体的例子，用 500 道软件工程任务，对 Qwen3.8-27B-Medium 做了 15 次训练更新后，模型在 DeepSWE 上的平均单次成功率，从 27.8% 提高到 39.1%，增加 11.3 个百分点。1 我觉得这件事值得关注的地方，是模型自己尝试产生的结果，可以继续用来训练模型。其次，在强化学习的过程中，模型要不断地去推理、尝试，每一次都是一次训练的消耗 但做强化学习，人类的工作也正在这里非常重要：要让模型有值得尝试的任务，再让尝试的结果变成有用的反馈。任务和奖励怎么设计，直接关系到模型最后在学什么。短期之内，我觉得人类还无法被替代，特别是在 rubrics 和 alignment 这块儿

今天微软被暂停 PERM 的消息，对还在等这一步的打工人来说，真的是一声噩耗！ 很多人可能不知道，PERM 对在美国打工的人意味着什么 对走常规雇主担保绿卡流程的人来说，PERM 是申请 I-140 前必须过的一关。如果这一步停住，连还能在美国工作多久，都成了问题。 工作做得再认真，也可能因为一个自己参与不了的决定，打乱未来几年的生活 有时候，命运真的不掌握在自己手里。 现在还有哪些公司在正常办 PERM？大家可以在评论区分享一下，最好带上最近确认的时间。互通消息，也互相取暖

《金融时报》这个标题，我觉得非常容易造成误解：OpenAI 的年化收入比此前报道少了 200 亿美元。乍一看像是挖到了什么内部猛料，甚至让人以为 OpenAI 突然卖不动了。这个帖子掰开了、揉碎了，带大家看看一场荒诞小作文诞生的前生今世，以及无良自媒体的解读 1/ 首先，先说一个严重误区 先把数字的来历说清楚。9 月 29 日，Reuters 引用匿名知情人，说 OpenAI 的年化收入接近 700 亿美元；10 月 8 日，FT 根据发给投资者的财务文件，报道 9 月底接近 500 亿美元。这里比较的是两次披露的数字，不能直接读成 OpenAI 的收入从 700 亿跌到了 500 亿 这两个数说的都是 annualized revenue / run rate，把近期的收入速度折算成一年。媒体也用了 ARR 这个词，但这不是今年实际确认的收入，更不能当成未来一年已经锁定的订单 FT 在正文里引用知情人的解释称，此前较高的数字，涉及投资者为了和 Anthropic 比较而作的合作伙伴收入调整。但公开报道没有提供完整对账，所以既不能直接认定收入下降了 200 亿，也不能说这 200 亿已经全部被口径差异解释清楚 这点似乎在全网自媒体的炒作过程中都被漏掉了，没人去看原文 2/ 为什么市场仍然会担心？ 我的理解是，如果投资者原先拿 700 亿作为 OpenAI 自身收入的基数，去估算它未来能买多少算力，现在发现这个基数可能高估了，就需要重算。哪怕没有客户流失，之前过于乐观的预期也可能影响半导体的估值 3/ 其次，再说一下 OpenAI 内部算力和收入的平衡策略 至于算力，我还是觉得要把研发这部分放进来一起看。OpenAI 的 CFO 今年公开说过，算力是最稀缺的资源；Brockman 也讲过，算力分配最上层就要决定多少给产品、多少给研究。这种取舍确实存在 如果一部分付费需求确实被容量卡住，把更多合适的算力投入商业服务，有机会增加短期 revenue。但 OpenAI 也可能认为，把资源用来做下一代模型，未来回报更大。我认为这是合理的经营选择，也是 OpenAI 的必经之路

@realMengyangLin 这叫暴雷吗？还是叫市场小作文和鬼故事

@BruceYcZhao 原来是你