美研芒格君 · X 阅读

AI 发展还在早期，你应该幸运出生在这个时代 这两周有一条非常好赚钱的逻辑路线，我永远相信我的硅谷大厂朋友，和一手的信息源以及AI认知和体验 咱复盘一下，不知道大家抓住没有 OpenAI使用了超过 10 万块 GPU 训练出的 Astra，据公开信息了解是德州的星际之门。 那星际之门后面是谁建造的？那些建造者曾经被市场惩罚的逻辑还成立吗？ 如果不成立，那一直其实都是买入的好时候 如我所说，AI 发展还在初期，不要以为 GPT-6 已经是终点了。据我了解到的信息，更庞大规模的模型还在后面，训练中 今天我将更抽象的任务交给OpenAI新模型 Astra （GPT6）来做，摸一摸 AI 投研最新的天花板

09/04 很多朋友问我对 $MRVL 的看法，我认为市场上现在有一个严重的逻辑错误, 并且相互矛盾, 不能同时成立。而逻辑错误消除就是上行的时候 每次下跌，我都看好 $MRVL ，这也是为什么我上个帖子发完，在 202-210$ 抄底了不少, 并且我在等最关键的 10月，算是一个我个人的押注。总不能股票一直嫌高不敢买，跌了又说它完了，这怎么赚钱呢？ 逻辑错误： $AVGO 丢掉了谷歌的订单，短期内业绩承压 $MRVL 拿到了谷歌的订单，短期内无法业绩兑现 很多人可能会想, 中间还有一个联发科, 你说的没错。但有一个关键的逻辑矛盾是，博通和 MRVL 现在被市场当成了一个非此即彼的选择竞争对手，但逻辑上，一个在惩罚近端，一个惩罚远端，这是常见的逻辑不对位 我的押注： 我喜欢 MRVL 的一个关键原因，是因为它的管理层很靠谱。财报会议上，管理层说谷歌的订单对于 Marvell 是 monster 的体量。我选择相信。 这期的答案都会在 10 月初的 Investor Day 揭晓 请注意，这是我的个人投资。如果你要投入一分钱，欢迎看看我之前的帖子和文章

硅谷一线公司，Anthropic $NVDA OpenAI 这类 Frontier Lab/厂 的推理工程师，平时到底在做什么？ 结合我的实际工作内容，和对周围其他公司 AI 工程师的了解，帮大家整理出来了最一线的工作 5 项技术拆解，自己评估一下是否能通过面试？完全搞懂，你也半只脚踏入了硅谷大厂，多收藏看看会有帮助 （防杠，本帖为简化，实际工作比本帖复杂得多） 一句话总结： 所有技术都围绕着把一次用户请求，变成一条高并发、低延迟、可恢复、可观测、还能持续学习的生产流水线 1. 先让更多请求挤进同一批 GPU 推理引擎负责在显卡上运行模型。下一步是如何调度不同请求。用户实际感受到的速度和价格，很大程度上取决于这一层 Continuous batching：某个请求生成结束，新的请求立即补位，不用等整批完成。 Prefix caching：相同的系统提示、长文档和对话前缀，不必反复计算。 Chunked prefill：长上下文分段处理，避免一个超长请求堵住其他用户。 Model routing：简单任务交给更快、更便宜的模型；复杂任务再升级到更强模型 2. 验证模型，控制模型 模型可能调用工具、运行代码、访问文件或操作外部系统，因此每次执行都要被限制在明确边界内： 隔离运行环境 限制处理器、内存、时间和网络权限 检查工具调用是否合法 根据真实执行结果判断任务是否成功 3. 处理几百万个同时发生的请求，高并发 生产系统还要面对排队、突发流量、硬件故障和外部服务超时： 任务队列决定请求如何等待 优先级保证高价值或实时任务先执行 Backpressure 防止流量把系统直接压垮 Idempotent retry 允许安全重试，又不会重复扣费或重复操作 Checkpoint 让长任务在故障后继续，而不是从头开始 OpenTelemetry 记录请求究竟慢在排队、模型生成、工具调用还是结果验证 4. 把用户真实使用过程重新变成训练数据 推理系统不只是消耗模型，也在生产下一代模型的数据： SFT：把经过验证的高质量回答变成示范 LoRA：用较低成本训练特定能力 RL：让模型尝试多种策略，再根据真实结果学习 GRPO等：同一道任务生成多份答案，相互比较后提高优秀策略的概率 Reward hacking：模型学会钻评测漏洞，而不是完成真实目标 Data leakage：模型提前看过测试内容，导致指标虚高 训练数据、评测集、工具环境和时间窗口，都必须严格隔离 5. 新模型不是训练完就直接上线 真正的发布流程通常更像大型在线服务，而不是发一个 checkpoint： Shadow test：新版模型偷偷处理一部分真实请求，但不把结果交给用户 Release gate：正确率、延迟、成本和安全指标同时达标才允许发布 Canary rollout：先给极少量流量，再逐步扩大 Rollback：任何关键指标恶化，立即切回旧版本 Version tracking：模型、提示词、工具、数据和评测器全部记录版本 模型决定能力上限，推理工程决定这些能力能不能真正到达用户手里

Claude Code 总给我一种感觉：“你们这些卑贱的用户，赶紧求着我把智能放给你！” Codex 是：很抱歉我们没有 deliver 最好的模型，因此重置了额度，谢谢你的使用 还没有用上 Astra 的朋友有福了，Codex 又会把额度重置，并且 Astra 晚一天发布就会多重置一天 归根结底，还是OpenAI 拥有的算力多。真的有人还在质疑甲骨文到底能不能 deliver 算力，以及会不会临时变卦吗？ 我觉得大可不必担心了，值得恭喜大家在下跌到 114 的时候大胆抄底，下跌区间我也抄底了很多。现在如果把 AI比作一块蛋糕，我们连蛋糕胚都还没烤完

@SamuelDominator 好问题，GPT6 目前我体验下来依然不行. 再让我多用一周，会详细分享给大家：哪里不行，哪里做得好? 怎么让不行的地方变得行。怎么让最前沿的模型帮我们做 research 和投研？或者再泛化一点，做任意行业的调研？等我找个时间分享出来

在硅谷打拼多年，建立了不少业内的connection。这帮助我建立起了投研 + AI 认知的复利结构，给了我独特视角 最近有很强烈的感受，硅谷裁员大地震不远了，要抓紧时间。美研芒格君最近在忙啥？三件事：团队、Layoff，投研 1. 先说团队，在厂里带着团队在做新模型的适配。通常模型在正式发布之前，会和我们进行周知、推理的适配、eval 等等工作，这些都要提前做。正如我两天前的预告，很多模型都一一在时间线上发布了。9 月是模型发布的爆炸月 2. Layoff：不论是周围的朋友、后辈，或者自己投研团队的成员，大家在硅谷都因为 Layoff 而感到焦虑。在硅谷工作多年，我也想为大家尽一份力量，因此花了很多时间在做心灵马杀鸡、规划职业发展路线、找资料、帮改简历，这些占用了我很长的时间 3. 投研: 大家都知道的。最近除了加了一点甲骨文和 MRVL 以及 Tesla，其他的没有特别多的区别和变化，还是在耐心等待 第一点是我的本职工作，第二点是我最近想 focus 的路线。 我觉得在 AI 发展到现在的阶段，正处于无序混沌状态。如何在无序混沌中找到一份好的工作、找到自己 AI 的定位，是我想结合我在硅谷的视角，能够给大家尽可能带来帮助的。因为我预示着大裁员就要来了, 我在努力帮助周围的人，尽我所能，帮助大家度过这个难关和转型 如果你觉得我投研的内容发得比较少，请让我知道，我会多发

@BROOKE920210 据我所知，目前还在全量的过程中，大概需要两到三天，普通用户（pro/plus）才会出现

@KyrieHymn /Ultrafast 减少并行。Harness 编排还是 Codex 或者 Claude Code 吧，其他的编排很多都是画蛇添足

@curious_hao 我认为，每一次模型的升级迭代，过往的 prompt 都会失效很大一部分. 不过 Astra太贵了，投研体系依然有价值，不然不scalable

OpenAI Astra如期发布，有幸体验到了首发版接口，聊聊我的看法和一手体验。我认为这是第一次真正跨过了“能用”的临界点 我能感受到几年在预训练、强化学习和后训练上的积累，终于开始汇聚到同一个系统里 我用ai做投研很久了，reasoning、coding、computer use、tool use 和长任务，以前这些能力各自都很惊艳，但一串起来就容易崩：网页打不开、数字抄错、执行到一半忘了最初目标，最后还是人类接管 Astra 给我的感觉第一次不太一样。 我专门拿了一个很贴近我平时工作流的任务测试它：同时研究三家刚发财报的 AI 芯片/互联公司 $MRVL $CRDO $AVGO 只给了公司名字和一个问题： 为什么三家公司都在讲 AI demand 很强，但盘后市场却同时惩罚它们？到底是哪几个数字出了问题？ 它自己去 IR 页面找 earnings release、10-Q、电话会 transcript，再把 revenue、AI revenue、guide、design win、客户时间线等数据拉出来做成表。 中间有一个数字在新闻稿和电话会口径里不完全一样，它没有直接选一个数字继续写，而是重新打开原文，找到管理层解释这个数字对应的时间周期，然后回来修改自己的结论。 我做到一半临时改要求： “不要再讲宏观，把所有跟 Google / AWS custom silicon、互联和光通信有关的东西单独拆出来，再解释这三家公司之间到底是不是份额转移。” 以前的 Agent 很容易从头再来，或者把之前的信息忘掉。Astra 是在原来的 research tree 上重新规划：保留已经验证的数据，补新的资料，再修改 thesis。 那个体验很微妙，和之前的opus5和GPT5.6都不太一样 我第一次不是在不停地 prompt 一个模型，而是在 review 一个 junior researcher 的工作。 intelligence × agency × reliability都有了显著提升，这是一个我敢把整天的活交给它做的模型。静候全量继续使用

@ryY1436253 巨快无比，两天用完了一周的 200$ Plan 量。不过我不确定它背后实际的 quota 管理机制，因为还在灰度

听说 base:0x2b31d3ed065f1f834d5c85efed49089f4c4f6b07 今天有大事要发布，搬好小板凳了 利用一点人脉，灰度到了 UltraFast，爽用 14 倍速的 GPT5.6 Sol 用下来就一个字：爽！之前需要等待好几分钟的任务，现在就十几秒，大大减少了我同时管理 session 的数量，因为生成实在太快了。有的时候，我甚至觉得是在跟真人实时对话 这就是未来

@BitpushNewsCN 尽早转变身份。文科生、理科生，是给没有 AI 的时代的人划分的二分定义 有了 AI 之后，只有会用 AI 的人和不会用 AI 的人

今年可能是 AI 导致大规模 layoff 的元年 $UBER 在发出这篇《降本增效，如何使用 AI》的文章 5 天之后的今天，宣布全公司裁员 10%，真的非常讽刺 作为硅谷一线厂的 manager，我真诚建议，尽早转变上班的态度，你不是在为公司打工，是在提升自己。如果你还在做 SDE 的工作，尽早转型，离模型参数近一些，离 GPU 近一些。不要为了 leader 表扬你用 AI 用得好，就开始发了疯地到处宣讲、优化流程、自我革命 uber朋友一早收到的裁员邮件。硅谷众多公司都在推 AI 代码覆盖率、AI 使用率，甚至作为考核的指标之一。这已经算得上是明谋了，想裁员怕出事，等 AI 使用率上来之后就开始动刀

@hooxingzhao 2.3.4的后半部分 都可以依靠inference 工程解决，这也是为什么我鼓励大家转这个方向。企业的微调，SFT，Post-Train我也可以预见会越来越多 我可以预见到这个岗位短期不会被ai取代，缺口会越来越大 1 .4成本问题, 租硬件是固定成本。企业更好算账

我想真诚请教一下 X 上的各位天才程序员们，有没有什么 skill 或者工具能够做出来审美比较好的网站？ 最近想把投研网站好好弄一下，想做的有艺术感一点，审美好一点，UX 好一些 我投研团队成员们，前端审美一直不太好，做出来的网页，都是一股 one shot 的 AI 味儿。但我实在忍受不了，总有一种不正规的感觉 提前谢谢各位

@Ccinhtv 完全有可能，我我朋友在硅谷另外一家公司，他们 GPT 5.6 限额使用，5.4无限使用

@li53275613 我认为ai还没到零和博弈的阶段，ai在早期，蛋糕越做越大，现在蛋糕胚可能都还没烤好的阶段

我说的，可能是个违反大部分人直觉的想法：我认为将来私有化部署的开源模型 Kimi、GLM、DeepSeek 的需求，可能远大于 Fable、GPT 这类顶尖模型 我举个例子，大家就能懂这些顶级模型在日常工作中与我的关系： 1. Fable5.1：顶级聪明，名校毕业，智力超群，但问题是工资太高，高到我支付不起，而且有脾气，遇到不符合它心中标准的就不好好干，默默降智 2. GPT 5.6：能力卓越，勤劳肯干，能够很好地胜任大部分工作，但心中仍有道德感，会拒绝一些违反公序良俗的请求 3. 私有部署的开源kimi/deepseek模型：我相信这才是大部分人最想要的。它可以成为私人的嫡系，尽管他不是最聪明的，但是所有的脏活、累活、见不得人的都可以聊，可以做，数据天知地知你知我知。 虽然私有部署没有前面那些那么聪明，但是可以和你彻底成为同一战线，真正成为自己人 那么问题来了：如果你有一个工作，你愿意交给自己人来做，还是交给那些顶级聪明、但可能没有完全同一战线的人来做呢？

@madvincent4 不需要让明星员工分享，把明星员工的能力变成一个 service 提供出来