美研芒格君 · X 阅读

10/08 今天AI半导体集体下跌，很多朋友还沉浸在积极胜利的喜悦当中，被市场打了个猝不及防，心在滴血 究其原因，今天宏观压力是导火索，油价、美债收益率高企，熟悉 DCF 现金流折算的朋友都知道这会影响高 β 的估值 光通信的高涨幅和集中持仓放大了跌幅，但基本面没有出现任何变化 这件事情在我眼里其实是好事，因为 AI 的脚步没有受到任何的变化，只会让我们判断是否有一个新的好价格出现，再次跟随 AI 一起上涨 很多朋友问 $MRVL 在投资者日之后，基本面发生了什么变化吗？我的答案是没有，甚至更好了，但现在的价格的确有点小贵 目前我正在写一篇文章：站在今天的 10 月投资者日之后，我们该怎么去看待 2027 年的 MRVL？如果你有什么问题，请在评论区让我知道，我会在文章里一起 cover 到 注意，最近又出现了一些骗子。我不会带大家买股票，不会收费，更不会建群、荐股，也不会给大家某个价格让大家买入。个人经验分享：投资需谨慎

忙碌的 Q3 终于过去了，我们团队有3个比较猛的数字： 我的团队 Token 用量比 Q2 翻了100%，AI 账单反而下降了；by default 90+% 的会议都有录屏，并有 AI 的直接参与。接近 75% 的内部 ticket AI 都能直接闭环了 此外，我被 escalate 了 5+ 次，原因是成员过度依赖 AI，对面团队不满 我在硅谷大厂带 AI 训练管理团队，今天跟大家汇报一下这个季度的 AI 化进展。希望给也在带团队、做训练推理、折腾 AI 的朋友一点具体参考 这个季度让我感受最深的是：模型越来越强，团队能不能吃到这波红利，要看工具、经验和流程是否能 AI Native 化 1/ 先让 AI 真正用上内部工具。 经过不懈的努力，大约 85% 的内部工具已经完成 CLI / MCP 化，剩下约 15% 通过 Browser Use 补齐操作入口 训练团队的工作里，有大量查日志、看实验状态、比配置的事情。 这一步很关键：把工具接好，AI 才有机会把一个任务往下做完 2/ 把一个人用 AI 的经验，变成整个团队都能用的东西 我们建立了团队内部的 skill 中央 repo，统一分发给每个人的 Codex/Claude 一个人打磨好的 skill，其他人也能接着用。少一点各自摸索，少一点重复踩坑 我觉得这件事很有复利。工具会换，模型会升级，但团队积累下来的好方法，应该留下来。反馈下来，大家都表示很好 3/ Ticket 也开始接近自动流转，接近 90% 可以 one shot 完成。 这是让我兴奋的地方。工具接通、skill 共享，最后要落到任务能不能做完 对我们团队来说，很多时候基础 ticket 的 debug 是对人力的一个消耗。用 Harness 自动处理 Ticket 之后，成员的时间才有机会腾出来，花在定义实验、判断结果、找真正的卡点上 当然，任务做完之后，该有的验收标准还是要有。能自动跑起来只是第一步，团队成员仍花不少时间在 evaluate，也存在返工的情况 4/ Token 消耗翻倍，但总账单反而下降 Q3 相比 Q2，我们团队的 Token 用量上涨了 100%，总体金额却下降了。大家目前最常用、最喜欢的，依然是 Opus 5.5 用得更多，花得更少 但作为 manager，我更想盯着一个数：完成一个经过验收的任务，到底花了多少钱。这个是我们下个 Q 监控的重点 要接着问：GPU、实验和 Token跑出了多少有效结果？从一个想法到拿到可靠结论，究竟快了多少？ 5/ 团队成员过度依赖 AI，引发对面团队不满 5/ 团队成员过度依赖 AI，引发对面团队不满 一个最主要的原因，就是团队成员的文档全是拿 AI 写的。动辄一个小的技术需求，就上来一个万字文档，对面没法读，没法合作，甚至发文档的人自己都讲不清楚在干啥 另外一个原因就是我们团队自动化程度很高，但 CI/CD 没有跟上。 一次团队成员用 AI 写的代码，AI evaluate 都过了，但 CI/CD 不够好，把线上和隔壁团队的整个 pipeline 搞崩了。但又不知道怎么解决，只能无脑 rollback 这个也是让我苦恼的点，暂时没有想到什么好的办法解决，只能告诫大家不要盲目信任 AI，但这也有点奇怪，不知道大家有没有什么好的办法？ 6/ 跟全部成员完成了累计 100+人次的 1:1 说实话，这个把我累个半死。我能感觉到大家对于后训练这个方向还是比较认可的，但有着深深的焦虑感 我觉得当 一个靠谱 manager 很难的是：既要处理一线的事务，又要帮团队成员当心理咨询师。今天 A 有情绪了，明天 B 觉得 C 抢了 scope，D 觉得做的事情无聊，E 又过度依赖 AI 这份 Q3 汇报先分享给大家。

嗅到了没有被定价的好机会，先分享出来，大家一起看看 1. SpaceX connectivity由谁设计和出货？资本市场完全没有定价 2. TSM 传言与 TereFab 合作，继续增加资本开支，会买谁的设备？

Congrats to Marvell!! If you want to understand what the AI data center looks like in 2030, drop everything now and watch Marvell's Investor Day. Best roadmap I've seen for what comes after the GPU bottleneck: → Compute is no longer the constraint. Connectivity is. 
→ Optics keeps marching inward: scale-across → scale-out → scale-up → "scale-in," light between dies inside the package 
→ Every XPU drags 1–2 custom "attach" chips with it: NICs, memory expansion, storage 
→ $400B TAM by 2030 The tell: in their own FY31 model, interconnect is bigger than custom compute. They're pitching the nervous system of the AI factory, and they want to own every inch of it. $MRVL

@WHongwu 其实应该谢谢你自己的，我只是传播知识

吃沙县是什么很丢人的事吗？我爱吃沙县 吃沙县咋了，离家近还方便，我要为沙县小吃正名 https://t.co/DrktV34jGN

@maggiezxq 市场是有效的。我的观点是，如果现在是一个保守的预期。那意味着还有没 price in 的内容，更深入的，这两天我会再研究分享出来

09/06 $MRVL 投资者日如期到来。今天又涨了7%，不知不觉又到 300$ 了，恭喜各位坚定的投资者！ 如果你是 AI 的使用者，那你应该知道，我们整个方向在于提高 GPU 和 memory 的使用率，在于更快的推理，所有的答案都指向了 MRVL 答案其实一直都在，你愿意相信吗？今天晚上打算吃个沙县庆祝一下

这也太扎心了，我们之间出了一个叛徒！Codex这额度削得也太厉害了 原来我三个Codex Pro加在一起，也比不上一个Claude Max😭 虽然最近一直有这种感觉，但还是感觉被背刺了，很难受很伤心 @thsottiaux 赶紧发发力

看到好的技术成果，我都会给大家转发，打破所有的信息差 小模型加强化学习，在某个特定领域达到和所有大模型一样的水平。flow-1就是其中之一。我最近也在做一个基于Qwen3.8 35B的Jev-for-MRVL，只做一件事，判断mrvl当下该怎么交易 这是当今在硅谷最热的一个方向之一。 新方向意味着新技术、新瓶颈、新发展。另一个我非常看重的机会是强化学习所需要的 data，这个需要业内人士去贡献。 不妨想想您所在的领域，是不是能做出一个 benchmark 和 rubric，共享给模型去训练？这是一个普通人都难得的机会

谢谢使用😂这个项目的初衷是在于让 Claude 能够使用 Computer Use 的能力 多让Claude操作电脑做一些复杂枯燥的任务，球场这类兴趣的就留给自己吧 最近我使用的频率非常高 1. 拿着我的保险卡，找 In-Network 的医生对比评价，选择我合适的时间 2. 每天早晨 5 点，在我还在睡觉的时候，AI 就会去阅读今天刚出炉的财报之类的新闻。我早晨一起床，就能拿到一个 brief

熟悉我的朋友都知道，我最喜欢的机会就是市场的错杀 今天做了两个操作： 1. 把上周五 Cerebras 的短线获利了结了一部分，长线继续持有。这部分是有赌的成分在，所以我不贪心 2. 买入部分了4 天后到期，行权价 252.5的MRVL put。对冲大量的正股

如果你会 AI，但是不投资，那就有点亏大了 不论是投资 $MRVL $AMD 等一众算力互联标的，还是 AI Infra学习，收藏搞懂我这篇帖子，对你帮助都一定会很大 算力发展远远不足，早点搞懂，就能早点把握住机会。不信你看下去 为什么OpenAI 想要提供快的推理速度，就得牺牲订阅额度上限，这个帖子是我认真整理的内部流程，看懂了它，你会更加得心应手。 1/ 我先来说两个指标 > TTFT (Time to First Token)，它来衡量你发出一条消息之后，OpenAI 多久响应吐出第一个字。 > TPOT（Time per Output Token），这个来衡量你总体的体感速度，以及什么时候完成？ 你总的等待时间约等于 TTFT 加 n 乘以 TPOT，n 就是你的 Token output总量，就是 AI 给你回了多少话 你可以大致粗略地记一句话。1 个 GPU 如果只给一个用户用，那么两者的速度都会很快，但互联的速度跟不上，因此 GPU 会有闲置时间，会导致浪费 那聪明的厂商就把一个 GPU 分给多个用户，这样 GPU 的闲置时间被充分使用了。但每个用户因为 GPU 调度需要等待的时间就会变长，导致整体速度变慢 2/ 那 GPU 内部在推理的时候，到底发生了什么呢？ 我做推理优化，这个循环是每天都要打交道的东西。我把一个请求在推理引擎里走的 5 步画进了一页动图，先说结论，后面按图的顺序讲 1. 请求进来不会直接上 GPU，而是先进调度器，由 CPU 驱动。GPU 每跑一步，调度器就重新挑一次人，批次每一步都在换人，这叫 continuous batching 2. 评估推理服务，工业界盯三个数，吞吐、出字间隔 ITL、首字延迟 TTFT，而且要看 P99, P50，需要有统计意义 3. 这三个数互相拉扯，决定了用户的成本和总的等待时间，总的来说是一个权衡（trade-off） 3/ 先过一遍图里的 5 步 ① 新请求带着整段 prompt 排队 ② 调度器每一步开跑前问三件事：已经在跑的先上，本轮 token 预算还剩多少，KV cache 的格子还够不够 ③ 能上的拼成一批。新来的做预填（prefill），整段 prompt 一次算完；老的做生成（decode），每人只写 1 个 token ④ GPU 把这一批一起算一步 ⑤ 写完的释放格子离场，没写完的回到 ②，马上开下一轮 2022 年的 Orca 论文把调度单位从“一个请求”改成“一步”，在 GPT-3 175B 上，同样延迟下吞吐做到了 FasterTransformer 的 36.9 倍 [1]。现在 vLLM 默认就按这一套在排 [2] 想搞投资，相信你看到这儿已经差不多都懂了。想入门推理，我的建议是先把这个循环自己画一遍，再去读压测报告，每个数都能对回其中一步 这里边的水很深，后续我会逐渐跟大家讲解，结合每天的信息以及具体实践，帮大家搭建起科技到投资中间的这座桥梁 出处 [1] Orca: A Distributed Serving System for Transformer-Based Generative Models，OSDI 2022 https://t.co/YEug2DJJKN [2] vLLM 文档，Optimization and Tuning https://t.co/opI2PoiUFH [3] Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve，OSDI 2024 https://t.co/IgpP9LvqFl [4] vLLM 文档，vllm bench serve

我把刚刚 Cerebras 的帖子删掉了。朋友跟我说，这种信息还是不要公开发出来比较好，就让信息留在餐桌上吧 趁着现在还没有开盘，一句话表达：Cerebras 和 OpenAI 的容量都被 Jane Street 等早就抢完了 上周五抄底了不少。看看明天价格怎么样

关于 $CBRS 这场可笑的闹剧, 我走访了一些业内的朋友。趁着还没开盘，聊聊这场闹剧背后的事实真相，以及上周五为什么我会短线抄底 市场犯了一个严重的错误，熟悉我的朋友都知道，这是我最喜欢的机会。GPT-6 使用英伟达支持，不是Cerebras 的芯片没人要，而是没货，是供不应求。 容量都被内部企业端客户抢满了 这场 drama 的的起因是 SemiAnalysis 发布报道，揭示 Cerebras 和 OpenAI 之间的裂痕，以及 GPT-6.1 没有第一时间跑在 Cerebras 上，而是跑在英伟达的芯片上，引发了一场市场恐慌 据我了解到的是，OpenAI 目前已经上线的 Cerebras 超高速推理的容量，被其中包括 Jane Street早已抢完 新一批机器还没有上线，所以 GPT-6.1 Ultra Fast 是 coming soon 的状态，要等下一批的 capacity and adoption 也就是说，对于 Cerebras 现在的状态，很可能是订单远远大于已经上线的物理 capacity。在去深挖8月份 GPT-5.6 Ultra Fast 上 Cerebras 时，OpenAI 自己写了一句话： "We will expand access as capacity grows." 尽管 Cerebras 不是我的主力仓位，但我上周五仍然进行了短线的抄底。以上只是我在和朋友的饭局听说和推理的。至于是否属实，就让时间来检验吧

OpenAI 最近的风评不太好，像极了六月份的 A➗。上周的 DevDay 把预期拉得这么高，结果没什么让人惊喜的新发布，还把额度砍半了 从第一性原理出发，背后其实还是算力和互联不足 我实际用下来 500$的pro，用 GPT-6 Medium /Ultrafast只能聊个 150 句 200$的实际用量也远远打不过 Opus 5.5。连我这种忠实用户都想着退订 背后的原因其实还是算力 这更加让我坚信和看好算力和互联标的的发展与长期持有，两者决定了推理容量和速度

这件事情对于我日常投资研究有两个重要意义 1. 研究一家公司的时候. 我的不同类的数据，例如研报、本地的 PDF、各种网页、数据源，终于可以 All in one 地让 AI 在我电脑上操作了 2. OpenAI Computer Use 好用，但就是太贵了。这个彻底解决了我 Token 不够，但是又需要操作电脑的问题

最近 Muse 很火，我也在想：有没有可能，让我们已经在用的任意的AI，也拥有像 Muse 一样操作电脑的能力？ 因此我周末捣鼓了开源一个skill。一句话来讲，使用它可以让任何AI 接到电脑上的 Computer Use，让它能看屏幕、点按钮、输入文字，直接操作 App 顺着这个方向，可以尝试的事情就很多了：找餐馆、查机票、购物比价，或者整理社交媒体素材。以前需要自己在几个 App 之间来回切换，现在可以试着用一句话把任务交给你已经订阅了的AI。（Kimi, 豆包 Gemini, Codex, Claude 等等） 开源链接 https://t.co/nE89deYTba 使用方式 把这个 GitHub 链接直接给到 AI，让它帮忙安装 在 demo 里，我演示了如何安装，并以 Claude Code 为例，操作我的浏览器，帮我给餐馆定位 我更感兴趣的是背后的成本空间。 这个 skill 复用了本机已安装的 ChatGPT/Codex Computer Use 组件，由你选择的模型理解任务、决定下一步怎么做。项目脚本本身不调用 OpenAI 推理 API，因此，不会消耗 OpenAI 的 Token，但前提是你要安装了 Codex 我自己也更愿意让操作发生在自己的电脑上，继续用自己的 App 和登录状态。此外所有的支付信息、付款记录全部留在本地，解决合规、隐私的顾虑 先开源出来，给大家玩玩。我很想看看，当更多 AI 能直接操作电脑之后，大家会拿它做出什么有意思的东西 如果是你，你最想让它接手电脑上的哪件事？如果你用起来觉得还挺有意思的，欢迎提交 PR，也欢迎点点 star 后续我们也会用仓库把我们的投研 harness 陆续开源出来

哇，这篇文章写得真好！想搞懂 Agent、Harness和 Post Train到底怎么连起来，一定要读这篇最终指南，我认真读了一遍，收获很大 《The ultimate guide to multi-harness RL》讲了一个很实际的问题：同一个模型，为什么放进 不同的 Harness, Claude Code、Codex、OpenCode，表现会差这么多？又该怎么训练，让它在不同框架里都能更好地完成任务？ 看完你能搞懂这几件事： 1/ 模型、Agent、Harness、RL 环境到底是什么关系。 Harness 就是模型外面负责组织上下文、执行工具、控制任务流程的那层程序。它改变了模型能看到什么、能做什么，也就改变了最终表现 为什么只在一个框架里训练，换个框架就可能出问题。 模型可能记住了某套工具名称、参数格式和重试规则。换个地方，连工具都调用不对，原本会做的任务也做不好 2/ 怎么让真实的 Agent 框架接上 RL 训练。 文章把 OpenEnv、Harbor、TRL 怎么配合讲得很细：任务在哪里跑，模型生成的数据怎么记录，最后怎样变成训练样本。连“为什么不能只存聊天文本，还要保留原始 token 和生成概率”这种容易忽略的细节都解释了。 3/ 怎样同时训练“做对”和“少走弯路”。 奖励怎么设计，怎样鼓励模型做对任务又少调用工具，以及模仿大模型的 SFT 和根据自身尝试学习的 RL，在这组实验里有什么区别。 文中有个很直观的实验结果：在 SmolDataEnvs 数据分析测试中，2.6B 的小模型经过四种框架联合 RL 训练，平均任务成功率从 42.2% 提升到 54.2%；在训练前后都做对的任务上，工具调用减少了约 31%。 我最喜欢的是它的讲法：先把概念讲明白，再用交互图一步步展示一次任务怎么跑完、数据怎么送进训练，后面还有代码和实验对照。想把 Agent 和 RL 真正串起来理解，这篇很值得收藏慢慢看

总是有坏人在尝试把市场的水搅浑误导大家 这次的坏人是 SemiAnalysis, 不过我感觉他是老坏蛋了