美研芒格君 · X 阅读

和我的体验几乎一致，GPT-6 感觉可能偷偷“降智”了，没有上周刚发布的时候那么惊艳。几天一直在用 Astra 的朋友，你们感觉怎么样？上周我夸得很认真，现在觉得没那么好了，也想把原因弄明白 从我个人的经验上来判断，这个降质本质上还是算力和资源不够，是不是做了更激进的 quantization，省显存、省带宽？ 或者同样选高思考档位，实际给的推理预算变少了？这些都可能影响体验 如果真是为了省资源，最后让用户来回追问、返工，那这笔账也未必划算。本来一次能做好的事情，来回做三次，省下来的计算可能又花回去了。但对于普通用户来说，我们的额度上限是一定的。用户来回追问、返工，消耗的也都是我们自己的额度。再结合 OpenAI 今天宣告暂停了 200 美元的会员申请，逻辑就圆了回来了 当然，除了这个技术角度之外，我想再往下深入一层：现在还缺算力&互联&存储，远远没有饱和

分享一份最近收集的 AI Infra 入门阅读清单，建议收藏，慢慢看 AI 已经可以生成很多很好的内容，解释概念、翻译论文、整理资料，都越来越方便。但在这个时代，能静下心来，把一篇好文章认真读完，把没懂的地方再琢磨一遍，我觉得更加难能可贵 这次整理的材料，主要集中在大模型推理这一块。从 KV Cache、显存管理，到请求调度、推理加速，再到怎么判断性能有没有真正变好 做工程的朋友，可以顺着往源码和实验里走。平时看 AI 产业、算力和存储的朋友，也可以先把原理读明白 读文章，挑值得反复读的。 1. 如果只选一篇，我会选 Inside vLLM。 Inside vLLM: Anatomy of a High-Throughput LLM Inference System，作者 Aleksa Gordić https://t.co/Lc2Sk6Ivuf 把很多零散的概念串进了一个真实系统：一个请求进来，怎么排队，怎么分配 KV Cache，怎么执行，最后又怎么把结果送回来 PagedAttention、continuous batching、chunked prefill、prefix caching、投机解码、P/D 分离、多卡和性能测试，都能在这条线上找到位置。 这篇适合当主线，后面的材料用来补不懂的地方 2. 想弄懂 continuous batching，先看 Anyscale 这篇。 Continuous Batching 博客 https://t.co/7jufAckmsE llm用户的回答有长有短，有的已经生成完了，有的还在继续。已经空出来的位置，能不能马上接下一个请求？ 这篇用静态批处理和连续批处理的对比图，把这个问题讲得很直观。看完你会理解，GPU 的效率，也取决于请求怎么安排 建议重点看图和机制 3. NVIDIA 的两篇，一篇帮你建立全貌，一篇教你怎么看性能。 Mastering LLM Techniques: Inference Optimization https://t.co/cFASAERBjM 适合先建立基本认识：处理输入的 prefill 和逐步生成输出的 decode 有什么区别，模型权重和 KV Cache 分别占什么空间，量化、批处理、多卡并行又各自解决什么问题 LLM Inference Benchmarking: Fundamental Concepts https://t.co/yR5bIXxseZ 这一篇我也很推荐。用户等多久才看到第一个 token，后面生成得快不快，整个系统一秒能服务多少请求，是不同的问题。TTFT、ITL、TPOT 这些指标，要连着测试口径一起看 4. 想再往下算一层，读 kipply 的 Transformer Inference Arithmetic Transformer Inference Arithmetic 这是一篇 2022 年的文章。它带你从计算量、内存容量、带宽和通信开销出发，估算推理为什么快、为什么慢，以及 batch size 改变后会发生什么 硬件和模型的具体例子有年代了, 作为 optional 选读

@curious_hao 谢谢你，也谢谢很多昨天留言的朋友。今天我也想明白了，有的事情无需解释，你无法叫醒一个装睡的人 一些狗叫我也不会再理会了，继续专注主线。 分享投研，分享硅谷一线的实战经验，和大家一起把认知换成冰冷的钱，放进账户，改善生活，这是我的北极星指标

这是我最近使用的 Prompt，用来帮助我快速解读任何的学习资料，几乎是我日常学习、投资或者任何 AI 技术，或者一个新的领域必用的 prompt 模板（如果你要使用的话，可以拿来直接微调） Prompt: 结合 /eli5 把下面的学习资料做成一个我能一遍看懂的图解 HTML 页面，发布成 Artifact。 【读者】 默认我对这个主题没有基础。所有术语第一次出现时用一句话解释。先说结论，再说原理。 【内容结构】 1. 先读完全部材料，列出材料里的核心概念（8 到 13 个），按"后一个概念是为了解决前一个概念带来的问题"的依赖顺序排列。顺序本身就是信息，不要按材料原顺序。 2. 找出一条贯穿全部概念的主线（一个主循环、一条流水线或一个核心矛盾），放在页面最上面，一句话 + 一张图。 3. 每个概念一张卡片，卡片就是一幅两格漫画：左格画"烦恼"（没有这个概念时会发生什么），右格画"办法"（这个概念怎么解决）。下面只写两行：解决了什么、代价是什么。不写第三行。 4. 全页用同一组固定角色贯穿所有图（比如 A、B、C 三个老请求和 D 一个新请求），数字用缩小版，方便我自己算，并明确标注"示意值"。 5. 页面末尾放一把"尺子"：这个领域衡量好坏的两三个指标，画在一张图上，说明每个办法通常改善哪个、牺牲哪个。 6. 如果材料里有我卡住的地方，单独加一节"零基础版"，一步一步写清楚每一步发生了什么，配一张对比表。 7. 最后给一条"一遍过完"的学习路线：三到四站，每站写为什么去、去多久、链接。链接必须联网核实真实存在，不能编。 【视觉风格：卡通手绘】 方格纸或笔记本底色，深色模式换成黑板粉笔感，两套主题都要设计。中文标题用手写体（Google Fonts 的 Ma Shan Zheng），英文和数字用 Patrick Hand，正文用系统无衬线保证可读。卡片用不规则圆角的手绘边框，轻微旋转，硬阴影。SVG 图形加轻微抖动滤镜（feTurbulence + feDisplacementMap）模拟手绘线条，文字不抖。颜色固定语义：绿色 = 正在进行的东西，橙色 = 新来的东西，蓝色 = 存起来的东西，红色虚线 = 被释放或作废。卡片右上角盖一个手绘印章标注我的进度：已学 / 补一下 / 下一站。 【硬性要求】 每格漫画里的说明文字不超过 15 个汉字，绝不允许文字压到边框或互相重叠。发布前用 headless Chrome 渲染一次整页截图，检查所有图，修完再发布。页面以图为主，正文每节不超过四句话。所有图用手写的内联 SVG，不用图表库。数字不能凭印象，材料里没有的要去核实。发布后把链接给我，并用五到八个要点告诉我页面的结构。

上午我说，如果最前面的用户都在排队，后面已经建好的算力，是不是根本不愁租？。 $ORCL 盘后发布财报，拉升 +6%，我的信心更加明确和坚定了，这个帖子速览财报数据，我的逻辑和操作 1/ 首先：财报前一个小时，跟大家分享了我买入了 ORCL 的 call option，并且持有正股。欢迎回看。有时间质疑一切、怀疑一切，不如低头虚心学习，把认知换来的钱揣进兜里不好吗？（笑） 还是那句话，我不是一个喜欢喊单的博主，除非信号太明确，偏离基本面太明显。这一切的认知都源于我在硅谷一线积累的经验和 AI 使用的体验（笑） 账户里的冰冷上升的数字是最真的，是底气 2/ 先看这季实际交出来的成绩： > 营收 193 亿美元，同比增长 30%，市场预期 191.4 亿美元，超预期约 0.8%。 > 调整后每股盈利 1.92 美元，同比增长 30%，市场预期 1.74 美元，超预期约 10.3%。 > 云业务收入 116 亿美元，同比增长 62%；其中 OCI 云基础设施收入 74 亿美元，同比增长 121%。 > 调整后经营利润 82 亿美元，同比增长 31%，经营利润率 42%。 我的理解是，营收小幅超预期，每股盈利给的惊喜更大。云业务已经占到总收入约六成。其中云应用收入增长 10%，OCI 增长 121%，这轮增长主要是谁在推动，已经很清楚了 Q2 指引按美元口径看： 总收入同比增长 30%～34%，本季实际增长 30%。 云收入同比增长 65%～71%，比本季的 62% 还要快。 调整后每股盈利 1.85～1.93 美元，中点 1.89 美元，正好符合市场预期 3/ 我的逻辑和操作 我的逻辑其实在过去的一个月阐述得很明确了： 1. OpenAI 这么强，我现在买了 3 个 200 刀的 Pro 账号 2. ORCL 根本不缺客户，我也不相信 OpenAI 会违约 3. 此外，ORCL 不被大家看好，被评为垃圾股，当网上都在骂的时候，我就知道我稳了 目前长线我仍然没有卖出的打算，leap call到期日期是明年 1 月 145 行权价，是否清空，会根据财报会议管理层的表述 上午盯的三个问题里，收入这一项给了正面反馈；机房是否按期交付、资金缺口有没有持续收窄，还要接着核对 财报会议之后，我会给大家带来更多的分享

在 AI 时代，我认为只有不敢学，没有学不会。我分享给大家一个 prompt和一个 skill，我基本用它来学习任何内容，大大降低了学习的门槛和理解成本。效果图我放到了本个帖子的图片里 例如上个帖子分享给大家的AI Infra 入门的五篇文档，很多朋友看着 PagedAttention、Chunked Prefill、TPPP、DP 各种字母被吓到了，感觉有用，但读不进去，我就很推荐使用 Skill: /eli5 Prompt篇幅有限，我把 prompt 放到评论区，希望对大家有帮助。可以用它来可视化、通俗易懂地学习任何内容，展开自己的想象力

09/10 前天半夜爬起来，又买了一个 $200 的 Pro。今天看到 OpenAI 宣布已经暂停这一档的新订阅，感觉这次确实抢对了。2026 年，好的 Token 开始要抢，谁拥有了足够多的高质量 Token，谁就有下一个时代的入场券 1/ 穿透现象看本质，还是算力紧缺了： 这让我更想研究给 OpenAI 提供算力的公司，尤其是 $ORCL，今天尤其关键，马上要发布财报 2/ 我的核心研究问题是：如果最前面的用户都在排队，后面已经建好的算力，是不是根本不愁租？ 查了甲骨文的披露，这个判断还真有直接证据。6 月发布的财报演示稿里，AI 基础设施利用率是 97.5%，AI 数据中心容量 98% 已经签约 3. 这让我对需求多了一份信心。但这里还要往后想一步：已经签约的容量，什么时候交付、开始收钱？ 上次财报之后，甲骨文被狠狠惩罚，需求很强，建设也确实很烧钱 解决了需求问题，甲骨文想要上线，要解决烧钱的问题。我觉得更值得看的是客户怎么参与出资。甲骨文披露，大型 AI 合同中，客户预付款和自带硬件的部分合计已达 750 亿美元 它说明，客户愿意承担部分前期硬件资金，甲骨文可以减少垫资，同时继续提供集群建设和运营服务。这个变化，才可能帮助它把旺盛需求变成更好的资本回报 今天 PPI 公布后的回调，也不能直接理解成宏观风险已经出尽。明天还有 CPI，甲骨文自己今天盘后也要交财报。利率会影响它后续融资的成本，也会影响市场愿意给未来利润多少估值 4/ 下午的财报：我会继续盯住 $ORCL，看三件事：新机房是否按期交付，交付后收入是否跟上，以及收入增长时资金缺口有没有收窄 5/ 我的操作 前段时间的下跌吸纳了不少低价筹码。今天甲骨文财报前跌了 5%，我认为是好事情。 目前我同时持有甲骨文的正股，今天财报前买了一部分看涨期权，小赌怡情 甲骨文在我的目标持仓里目前还没达到 50% 的阶段。如果下跌，我会放心大量买入，希望有回头的机会

@li53275613 你说得对，我把这本书当作 context 给 AI，持续追踪一段时间这些喷子账号，收集一下他们喷别人的回复核对对应的数据，到时候发给大家一个年度网络小丑 SOP 我得感谢 AI，没有 AI 的话，这些辣眼睛的人和内容还要我一个一个去整理

我知道很多人想转 AI Inference, 但 Day0 怎么开始呢？我在团队内整理了一个 1 小时的学习路径，分享出来，作为 Day0 的阅读和“开智”使用 大家可以通勤路上、上厕所、吃饭的时候，扫上两眼。收藏下来，慢慢品，都是干货请放心使用，希望对你有帮助。 这个学习路径是：AI 模型如何生成 → 哪些计算存储资源可以复用 → GPU 为什么忙不过来 → 高并发请求如何共享资源 → 怎样判断 AI 模型推理用户体验 1. 先理解模型生成和 KV cache｜20 分钟 https://t.co/wSXRYKfakz 带着一个问题读：模型权重、KV cache、生成的文本，分别是什么东西？ 这是后面理解长上下文显存占用、缓存收益的基础 2. 理解 GPU 的两类主要瓶颈｜15 分钟 https://t.co/2ILFSjfPJy 看 GPU Architecture Fundamentals 的结构图，重点读 Understanding Performance 带着一个问题读：为什么换算力更强的卡，AI生成速度不一定按比例变快？ 文档里的 GPU 示例比较早，今天学习原理即可 3. 理解不同请求之间怎样复用缓存｜10 分钟 https://t.co/GdNai7hHsC 读开头、Example workloads、Limits 第一篇讲生成过程中复用旧 K/V；这一篇讲不同请求共享相同前缀时，怎样进一步复用计算 它直接节省的主要是输入处理，也就是 prefill；新答案仍然需要逐步生成。 带着一个问题读：为什么缓存命中率很高，用户仍可能觉得慢？ 4. 理解长短请求如何争用同一张 GPU｜20 分钟 https://t.co/OKJYJEPLo6 读 Preemption、Chunked Prefill、Performance Tuning with Chunked Prefill 到这里，你就开始把已有的资源调度、容量和延迟知识，接到 LLM 服务上了 5. 理解性能数字究竟在衡量什么｜10 分钟 https://t.co/MeWQKJ968j 三个概念：TTFT 看第一段输出等多久；ITL 看流式输出的间隔；TPOT 看除首 token 外，平均每个输出 token 的耗时 5. 最后把这些概念接回数据｜5 分钟 https://t.co/XfjZl7jXd5 读 Workloads 和 Trace Format，看懂到达时间、输入长度、输出长度、前缀块 hash 四项。 带着一个问题读：这些记录能描述哪些负载特征，哪些东西仍然必须在真实 GPU 服务里测？ 6. 读完后思考 10 分钟 一个长请求进来以后，短请求为什么可能变慢？开启缓存以后，哪些成本减少了，哪些等待仍然存在？ 如果你能通俗易懂地解释了，说明这一个小时没白过 这一个小时的教程是我为投研团队成员准备的。他是我在@meta 的前同事，和我一起合作了很多 Marvell 的分析 他现在是在硅谷某个大厂的 SDE，对 AI infra 一窍不通，我在督促他建立一个 X 的账号，让他分享起来。从 Day One 开始，分享他从普通 SDE 转到 AI 的学习路径，相信会对很多人有帮助，坚持下来，大家的水平应该可以拉齐

大家日常高频使用 AI 的，应该都有这个痛点：AI 足够聪明能把任务跑完，但是！距离结果好到我能直接用，中间还有很长一段距离，有的时候 AI 的结果好得一塌糊涂，但就未必是我想要的 这个事情的解药在于Evaluations，AI 评估：我觉得每个想认真用 AI 的人都值得理解。我用 AI，越来越把重心放在 Evaluations上：什么叫做好，怎么验收，犯过的错怎么减少？ 今天结合我自己的的工作流，尝试把这件事彻底讲清楚 1/ 把“我觉得不行”，变成具体的验收标准 我之前分享过，让不加以特化的 AI 解读研报，有时每个字都认识，连起来却看不懂，还得追问好多轮。 它确实写完了。但我需要的是：读完能讲清楚公司靠什么挣钱、发生了什么变化，以及变化怎么影响盈利和估值。 所以，当前的工作流我会检查：数字有没有原始出处？季度和全年有没有混用？公司指引、券商预测、自己的判断有没有分开？市场 price in 预期的反推和我自己的建模 gap 在哪里？市场有哪些错误的逻辑？是否错杀？是否超买 Eval，就是把心里“这样才算做好”的标准，变成能反复执行的检查 能算清楚的，用程序检查；“有没有解释清楚”这种开放问题，就写成 rubric，评分标准，配上好坏案例，让 AI 辅助评判、人来校准。久而久之，你的私有化模型会越来越好 2/ 让它在真实工作的条件下接受测试，留下错误记录，持续进步 一套 eval，基本就是：Agent + 工作环境 + 任务 + 验收标准 以前 AI 输入文字、输出文字。现在 Agent 会开网页、读文件、改笔记。我会明确地写 skill 和 prompt，让 AI 去记录下来自己曾经做错了什么事情，然后再让它进行自更新（也就是 RSI），最后再让它把错误的部分重新再做一遍。 久而久之，模型的效果会越来越好。通常我会让AI做两件事情： 1. 对公司基本面短期、长期的判断 2. 实际的股票操作 回溯：哪些判断对了，就继续加强；哪些判断错了，就让模型记住错误的原因，下次不要再犯。久而久之，模型会变得出乎意料的好 3/ Evaluation 非常重要 这就是为什么目前我的每一个工作流或者工作体系，我都会写好 Evaluation 和自进化的规则。AI 顶尖聪明了，但问题就是，它有的时候认为它做的正确的方式，未必是你想要的 有了可靠的标准，AI 就可以帮忙找失败、提修改方案，再接受验证。人仍要定义什么是好，并确认评分规则衡量的确实是自己在乎的东西。 因此我建议大家如果想让 AI 把工作做好，先把“什么叫做好”写清楚

09/09 在过去的一个月里，我一共公开押注买入三次 MRVL。过去一周 $MRVL 上涨了 15%，30.62 美元。我的 call 整体盈利了 74%，200 区间抄底的短线正股股份获得了+16%，长期一直持有并且加码。 谁再说 AI 认知和工具的使用无法变现？我觉得这是变现途径 ROI 最高的方式 https://t.co/urE6Bthoxc 我通常不是一个喊单博主，除非我觉得信号太明确了，这个帖子分享我的操作和原因 下面都是原帖，欢迎回看 07/29 168$买入，那时候一片恐惧 https://t.co/nmeMEPdzP0 08/20 我认为财报会跌，跟大家分享了我买入财报的 put https://t.co/8xwpTpV56y 08/31 我认为市场错杀了 MRVL，股价惩罚得太厉害，买入了 10 月到期的 call。并加了不少正股长线 https://t.co/5Ndj15x4fh 今天，我买入了下周Protective Put，做个保护。依旧等待 Investor Day 长线接下来 MRVL 会有不少重磅的事件，篇幅有限，我放到第三张截图里。我的认知和 AI 实践告诉我，MRVL互联行业方向是绝对没有问题的，而且是市场仅有的还在蓬勃向上的行业

我自己是怎么应对 AI 焦虑的？分享3点这个月我的亲身实践，大家作为参考，这对我自己提升很高 1. 我把每个月工资的 10% 固定拿出来投入AI学习，我认为 ROI 非常高 除了公司消耗的Token之外，我个人订阅了 3 个 200 刀的 Codex Pro，1 个 200 刀的 claude code。做投研、自动化工作流、做强化学习，任何我想做的。因为Token沟通了，解放了生产力，才能看到别人看不到的问题 其余的钱，买卡、租服务器等等。回报不只是我的认知提升，走在AI的前沿，股票投资也给我带来了回报和成长 2. 把我的过往经历全部送给了AI，让 GPT-6 帮我指明下个阶段的方向，充分利用 Computer use 我的过往经历包括工作经历、生活经历、投资经历，现在过往电脑和浏览器的一切。让 AI 充分了解我的上下文，做每个决策都能充分思考 3. 把AI当人而不是工具，给他一些更困难的任务，跳出使用“工具”的思维框架 通常来说，我给 AI 的 prompt 会包含三段论 a. 背景信息：因为背景我已经收集好了，所以我只会告诉它去哪里找 b. 我要做什么 c. evaluation（非常重要）：一定要注明这一项，告诉 AI 我想要达到什么样的效果，怎么样才算真的结束了 尝试把你最难的任务给他，包含好 evaluation 这一项。相信我，你会有意外收获的 有没有人想听我分享几个我最近使用的、运行数个小时、我认为相对复杂的任务的 prompt，给大家参考？如果有的话，我下个帖子把我的 prompt 和任务拆解分享给大家

刚刚看到，这个博主真的用心了，总结了我过去对mrvl的关键操作的时间和帖子，如果这不是ai帖子，我会感动的 回过头来看，如果我对 $MRVL 恰好踩对了时间点和方向，别怀疑，我只是看懂了外加运气好了点。如果你看完也赚到了钱，那我替你感到开心 赚到钱了去买个codex pro学学AI 吧，就当投资自己了

@Fffffonny 逻辑一直在，为啥之前跌的时候不买？

OpenAI 表示 GPT-6 的需求太多，可能会考虑暂停 Pro 新会员的注册。 我赶紧爬起床又抢了一个200$ pro会员，太好用了，不够用 我建议大家都给GPT6一个需要运行3小时以上的任务，否则你会一直低估AI。如果你没有这么复杂的任务，那应该反思一自己 Pro会员意味着没有5小时额度limit，只要你想，你可以给最复杂的任务，探究AI的上限 这下我彻底不担心 $ORCL 了，好在前段时间底部吸够了筹码 另外一个冷知识：企业版的codex是按照API用量计费的，目前200$的个人账号纯属是亏欠赚吆喝，顺路收集数据

09/08，今天 $QCOM 和亚马逊宣布多代 AI 合作，股价应声跳涨 10%，合作内容和 $MRVL 很像，MRVL 会因此丢单承压吗？这个问题吓到了不少人。 我认为不会，不足以推翻我对 MRVL 增长的判断。结合我的模型预测，给大家带来这条消息的深入解读 1. 合作主要做两件事： 为 AWS 定制 AI 推理芯片，以及合作开发最高 1.6T 和后续代际的光互连。前者提高推理效率，后者解决大规模集群的数据搬运问题 2. 对 $MRVL 当然有竞争压力 定制芯片和光 DSP 都有重叠，AWS 多一个供应商，后续份额和价格就可能承压。高通也说已经为 Amazon 投产，预计今年 12 月季度开始贡献收入，值得认真跟踪 但今天 AI 板块过于热情，MRVL 同样上涨 3. 真的会挤压 MRVL 的份额吗？我看未必 根据消息和我的序列建模 MRVL 来自 Amazon 的定制芯片收入，FY2028 到 FY2029 本来就预计从约 21 亿美元略降到 20 亿； 同期全部定制芯片收入，从约 45 亿增长到 95 亿。两个财年大致对应自然年 2027、2028 因此可以见得，高通挤占 Marvell 的份额早有预计，属于符合预期。至少在我的这套预测里，后面的增长主要靠其他客户和项目，例如 $GOOG ， 没有押注 AWS 这条线持续高速增长 所以，对我继续沿着 AI 主线投资的判断，这条消息分量不大。目前还不足以让我推翻对 MRVL 的增长判断。 我更看重的是：客户继续围绕推理效率、带宽和成本做多代投入 一旦后面 Marvell、英伟达又跟 Amazon 搞一个大的合作，这都是增量

这个时代很残忍，目前我在硅谷一家一线厂任职 team lead。今天被管理层拉到了一个裁员决定会，说整个 org 要裁员10-15%。让我详细论证我组里的每一个 headcount 在 AI 的加持下都能为公司创造价值 我有两点 takeaway，给大家敲个警钟 1. 资本并没有把我们每一个员工当做一个真正的人。不管你是 中层还是一线干活的。在他们眼里，这只是人力，是电池，是耗材，不要太把自己当回事了 2. 当前大多数人还没被裁员的原因，就是人比 AI 便宜。但已经开始行动了 我需要在这周五之前提交报告，没有 qualified 的可能会被直接裁掉 AGI已经到来，它目前还仅仅收敛在一小部分拥有顶尖资源的人手里，还太贵了。 大家不妨问自己一个问题：当 AI 比你便宜的时候，你是否能依旧论证你的独特价值？ 如果可以，那才是过关了

如果你持有 $NVDA、$MU，或者正在关注三星、海力士，这篇文章，我强烈建议你先收藏，再从头读完。 我是美研芒格君。 之前写那篇“打破内存墙”的文章，我们陆陆续续花了 4 周、50 个小时，在硅谷走访了来自英伟达、美光、英特尔、SNDK 等公司的十余位工程师。想带给你的，是顺着技术变化，找到下一阶段值得研究的生意 这篇，就是沿着那条线继续往下挖。英伟达拿出了 NVHBM，三星和海力士也在推进各自的新架构。过去讨论“怎么打破内存墙”，现在还要追问：墙打破之后，谁能把钱留下？ 我把英伟达的公告和技术说明、三星与海力士的路线图、美光的财报放在一起核对，再用 10 张图，把控制器搬家、内存上下堆叠、散热、测试，一直拆到三家厂商的利润账本。 你不用先成为半导体专家。这篇想替你省下的，是在一堆缩写、新闻和财报之间来回拼图的时间。看完以后，你应该能自己分清：哪些变化只是参数更漂亮，哪些变化真的可能影响公司赚多少钱。 正文开始： 8 月 26 日，英伟达公布 NVHBM。名字里带着 HBM，最容易让人误会的地方是：英伟达要自己下场造内存了？ 它这次公布的，是一套自己定义控制器与接口、推动多家内存厂商共同供货的方案。DRAM 的制造、堆叠和测试，仍然要靠供应链完成。 开始深入对内存墙的定义，这是一个重要转变真正值得存储股东留意的，是客户$NVDA 看完这篇，你可以带走三件事： 看懂 NVHBM 是一种什么样的技术？ 到底搬了哪块电路，以及它和 zHBM 有什么不同。 分清这件事情带来的 出货增长、市场份额和毛利润，避免把行业热闹当成每家公司都受益 理解 散热、测试和良率，为什么可能成为下一轮客户愿意付钱的能力。 我的判断：HBM 的重要性没有下降，但利润会更取决于厂商实际承担了什么工作，以及能把它做得多好，会存在重新分配 01｜先拆开 HBM：数据究竟怎么送到 GPU？ 先记住两个指标。容量，是能放多少数据；带宽，是每秒能搬多少数据。 内存装得更大，并不等于每秒能送得更快。 GPU 负责计算。模型参数、计算过程中的临时数据，需要从内存送进去。数据送得不够快，计算电路就得等，这就是“内存墙”的一部分。 HBM 的办法，是把多层很薄的 DRAM 芯片叠起来，用密集的通路传数据。DRAM 就是计算时使用的工作内存。 从上往下拆，一摞 HBM 主要能看到： DRAM 层：保存数据。 底座芯片（base die）：承接连接、测试和相应的逻辑功能。 封装连接结构：把这一摞内存接到计算芯片。 图 1｜HBM 在 GPU 旁边。中介层位于两者下方，承担横向连接；它不是竖着夹在两块芯片之间的一堵墙。图中层数和间距仅为示意。 还差两块电路。内存控制器安排什么时候读写、怎样调度；PHY 接口电路负责真正收发电信号。 标准 HBM 系统中，计算芯片一侧有控制器和接口，内存一侧也需要相应接口。传输要求越高，接口的面积、功耗和信号质量就越需要精打细算。 计算芯片的面积很贵。分给内存管理和连接的面积增加，就会与计算、缓存等功能争夺空间。 于是工程师开始问：能不能把一部分功能，搬到 HBM 的底座里？ 02｜NVHBM：控制器搬家，设计分工也跟着变 英伟达的做法，是把自己设计的内存控制器放进 HBM 底座，并重新优化两边的连接方式。 这里搬的是电路功能。内存仍然可以放在计算芯片旁边 图 2｜标准 HBM 与 NVHBM 的简化对比。绿色区域突出控制器的位置变化；计算芯片仍需通信电路。此图不代表完整的 NVIDIA 电路布局。 对比标准 HBM4E，英伟达披露的方案指标包括： 每摞内存带宽，最高增加 30%。 HBM 功耗，最高降低 15%。 为主计算芯片释放更多可用于计算的面积。 NVIDIA 技术说明 美光在 2025 年 9 月的财报演示中也表达过预期：带定制底座的 HBM4E，毛利率有望高于标准产品。这是当时的产品预期，不是已经披露的 NVHBM 合同利润。美光 FY25 Q4 现在，平台提供共同方案，客户有机会少做一部分重复设计，供应商之间也更容易比较。 图纸趋同之后，谁能持续交出合格产品，谁才有继续谈价的底气。 “共同方案”不会让三家的制造能力瞬间一样。良率，也就是最终合格产品的比例，仍然可能差很多；功耗、可靠性、交付和成本也不会自动拉平。 所以我的判断是：独有设计带来的溢价可能承压，制造能力的重要性会上升。 这还不能推导出 HBM 立即变成低利润产品，更不能推导出定制设计收入全部消失。 03｜行业多卖三成，一家公司也可能几乎没多赚 一家内存厂的 HBM 毛利润，可以先拆成一条简单的关系： 行业出货量 × 厂商份额 × 每摞毛利润。 这是理解竞争的入口。NVHBM 可能影响份额，也可能影响单位收益； 我们沿用一笔教学假设，数字不对应任何真实公司： 行业从 5,000 万摞增至 6,500 万摞，增长 30%。 每摞毛利润从 400 美元降至 360 美元，减少 10%。 A、B、C 的数量份额，从 55%／25%／20%变成 47%／30%／23%。 这个数字有点复杂，但核心结论就一句：同一份行业增长，可能毛利润和份额会因为 NVHBM 的到来发生格局上的改变。可以落到很不一样的公司账本上。 现实里的最新参照，是 Counterpoint 9 月 1 日公布的二季度 HBM 收入份额：海力士 50%、三星 33%、美光 18%。数字四舍五入后相加为 101%。Counterpoint 份额 这里有两个不能跳过的区别：这是收入份额，不是摞数份额；这是二季度数据，早于 8 月 26 日 NVHBM 公布，不能拿它证明 NVHBM 已经造成份额变化。 对海力士，要看领先优势能否守住；对三星和美光，要看能否通过验证、拿到新增订单。追赶者有机会，不等于追赶者一定赢。 04｜云厂商自己做芯片，英伟达仍可能有生意 公告里一个很有意思的细节是：首个 NVHBM 合作者，是亚马逊的 Annapurna Labs，也就是参与开发 Trainium 的团队。NVIDIA 公告 一家云公司自己设计计算芯片，并不意味着它要把内存、互连、服务器和机柜也全部重做一遍。 英伟达的 NVLink Fusion，就是让客户自研芯片接入其互连和机柜级系统的一套合作体系。NVHBM 又把合作范围延伸到了内存。 图 4｜自研计算芯片、内存与互连、机柜是不同层次的工作。客户可以选择合作，也可以自己做；图中为通用系统概念，不对应某款 Trainium 服务器。 亚马逊此前已宣布从 Trainium4 开始支持 NVLink Fusion。这与“Trainium4 已经批量采用 NVHBM”是两件事，不能混读 你品一下这个商业关系：客户即使自己设计计算芯片，周围的连接和系统能力，仍然可能来自英伟达。 对内存厂来说，客户也会有不同选择： 采用平台共同方案：普通 HBM 进行更深的独立定制：NVHBM，或者其他类似产品 05｜再往前一步：内存从旁边，叠到计算芯片上方 NVHBM 调整的是控制器与接口分工。另一条更远的路线，直接改变内存和计算芯片的位置。 三星在 FMS 2026 展示的 zHBM，把内存从处理器旁边搬到上方。技术资料也把这一大类方向称为 Memory-on-Logic，直译就是“内存在上，逻辑芯片在下”。三星 zHBM 图 5｜并排布局的数据要经过横向连接；上下布局探索更短、更密的垂直通路。右图是架构方向，不是 NVHBM 的另一种写法，也不是已经确认量产的产品。 这个变化不只是“多叠几层”。传统 HBM 本来就有很多层内存；新方向进一步把内存与负责计算的逻辑芯片叠到一起。 距离缩短，有机会降低传输开销、提高连接密度。但是否真的更划算，还得把散热、供电、测试和报废一起算。 三星特别强调，自己同时具备内存、晶圆代工和先进封装能力。这让它有机会承接更多环节，却不保证每个环节都能赚钱。 06｜混合铜键合：两块芯片怎样贴得更紧？ 三星在这块儿有自己独到的知识积累。提到两项支撑技术：混合铜键合，以及把多个晶圆结合成整体的多晶圆键合。三星 zHBM 先看连接处。传统微凸点连接，要通过很小的焊料连接点把芯片接起来，层与层之间会留出相应的高度。 混合键合则让铜点对铜点、绝缘层对绝缘层精密对准并结合。两种材料一起完成结合，所以叫“混合”。NIST 混合键合 图 6｜连接界面的放大概念图。右侧铜点嵌在平整的绝缘层内，连接处不用传统焊球；并不意味着整颗封装的所有位置都不再需要焊料。 这听起来像“贴得紧一点”，实际很难。表面不够平、残留一粒污染物、位置对不准，都可能影响连接质量。 也正因为如此，能做出展示样品，和能每天稳定大量生产，是两道不同的门槛。 07｜三星和海力士，都在推进这个方向 三星的 zHBM 是一个明确的上下集成方向。9 月 1 日 SEMICON Taiwan 前期论坛的相关报道，又补充了时间线。 按 TrendForce 汇总的报道，三星 HBM5 量产预期约在 2028 年；zHBM 的推出则被放在 2029 年以后。这些是路线图与报道口径，不能写成已兑现的交付承诺。三星路线图报道 SK 海力士在 4 月的台积电技术研讨会上，展示了标准 HBM、定制 HBM、HBF，以及 3D 堆叠 DRAM on Logic 等方向。 它希望从“供应商”走向参与架构设计的“创作者”。这里的 HBF 是高带宽闪存方向，之前我们也聊到过。海力士技术研讨会 图 7｜不同公司的节点与应用方向并列展示，不代表同一产品依次升级。HBM5 在不同厂商和研究机构的时间表里也可能不同。 按 Hot Chips 2026 的现场报道，海力士认为混合键合赶不上 HBM4E，最早要看 HBM5，并展示了 20 层的混合键合样品。Counterpoint 对大规模采用的估计在 2029—2030 年。Hot Chips 报道 08｜NVHBM 改了规则，三家内存厂和台积电怎么赚钱？ 英伟达对 NVHBM 的安排，有一句话特别值得存储股东留意：建立一套共同实现方案，由多家内存厂商供货，减少客户适配和验证不同供应商的工作。NVIDIA 公告 这意味着，客户有机会获得更多采购选择。我的判断是，三家内存厂仍然能靠制造、堆叠和交付赚钱，但独有设计能留下多少溢价、客户更容易换供应商之后还能赚多少，需要重新算。 三星：机会在于进入更多采购名单 假如过去客户已经围绕某家供应商做了大量适配，即使三星愿意供货，客户也未必愿意重新投入开发和验证。 NVHBM 的共同方案，有机会减少其中一部分重复工作。对希望争取更多订单的厂商，这是一个值得重视的入口。 但共同方案只能减少适配负担，不能替三星解决良率、功耗和可靠性问题。客户更容易比较供应商，也就更容易比较谁做得不够好 所以，对三星我会看：有没有通过具体客户的验证，拿到了多少采购份额，以及这些订单能不能在合格率和成本达标的情况下交出去 SK 海力士：要证明客户有得选，仍然愿意选自己 海力士是现有 HBM 市场的领先者。Counterpoint 的二季度收入份额仍将它列在第一位。Counterpoint 数据 NVHBM 对领先者提出的问题是：如果客户适配第二家、第三家供应商变得更容易，原有订单还能守住多少？ 这不意味着海力士的经验失去价值。相同的方案，交给不同工厂，合格率、交付稳定性和成本仍然可能不同 如果海力士能让客户少遇到坏件、少耽误整机交付，即使客户拥有其他选择，也可能继续优先采购它的产品。 它要守住的，是“用了以后更省心、更划算”的优势，以及这种优势能支撑的价格。 美光：多拿订单的机会，要和每摞少赚的压力一起算 对美光来说，共同方案同样可能减少进入新客户体系的适配工作。但这件事有两面。 一面是，新客户采用 NVHBM 后，美光有机会争取更多订单；另一面是，多家供应商提供可比较的产品，客户谈价时也会更有底气。 所以，美光的受益逻辑要算的是：新增销量带来的毛利润，能否超过价格压力和扩产投入带来的成本 如果多卖了不少，但每摞赚得更少，还需要投入更多设备和研发，收入增长就未必能等比例变成股东回报。 台积电：关键是 NVHBM 的底座由谁制造 NVHBM 把英伟达设计的内存控制器放进 HBM 底座。这里必须分清：谁设计电路，和谁把电路制造出来，是两份工作。NVIDIA 技术说明 如果具体产品采用台积电的逻辑工艺制造底座，台积电就可能承接相应的晶圆代工业务。美光此前已披露标准和定制 HBM4E 底座与台积电合作，但这不能直接当作全部 NVHBM 订单的归属证明。美光 FY25 Q4 对台积电，要继续看具体产品采用什么工艺、底座面积多大、出货多少，以及最终承担哪些制造环节。 09｜接下来，哪些信号会真正改变我的判断？ NVHBM 已经把方向摆出来了：英伟达进一步参与内存方案的定义，希望让客户更容易采用多家供应商的产品。 接下来，我会沿着这条线，追到实际订单和利润。 第一，多家供货，到底有没有落地？ 我要看哪家内存厂通过了具体客户的验证，什么时候开始量产交付，以及客户有没有真的把订单分给第二家、第三家。 如果共同方案推出了，实际供货仍集中在少数厂商手里，就说明制造和验证的门槛依然很高。原有供应商的优势，也可能比预想中更牢。 第二，客户更容易换供应商之后，价格怎么谈？ 如果厂商为了争取订单，需要给出更低的价格，就要看良率提升、成本下降和销量增长，能不能补回来。 同样是多卖一摞 HBM，留下多少毛利润，比“多卖了”本身更重要。 第三，NVHBM 有没有带来新的客户和需求？ 我要看自研 AI 芯片的客户，是否因为接入更方便，真正采用了 NVHBM，并扩大部署。 这里要分清两种增长：一种是客户原本就要买这些内存，只是换了方案或供应商；另一种是新方案让更多项目能够落地，带来了额外采购。 前一种主要改变订单分配，后一种才可能扩大整体市场。两者对三家内存厂的意义不同。 第四，为了拿到这些订单，厂商先付出了多少？ 开发、验证、设备和产能都要投入。订单增长得快，如果前期花钱更多、量产爬坡更慢，现金回报也可能晚于收入增长。 所以我会把新增毛利润和新增投入放在一起看。客户愿意采购，只是这门生意的开始；能否收回投入，才决定它值不值得做。 第五，可靠性优势，能不能变成客户愿意付的钱？ 如果一家厂商能让客户少遇到故障、减少返工、按时完成整机交付，这种能力就有价值。 但价值最终以什么形式兑现，还要看合同：是更高的售价、更稳定的采购份额，还是更长的合作关系？供应商又承担了多少保修和赔偿责任？ 内存是一堵墙，大家都要打破它，英伟达出手了 资料与延伸阅读 NVIDIA 公告：2026-08-26，NVHBM、共同供货方案与 Annapurna 合作。 NVIDIA 技术说明：控制器、接口与性能指标口径。 Counterpoint 份额：2026-09-01，二季度 HBM 收入份额。 三星 zHBM：FMS 2026 架构与键合技术。 三星路线图报道：2026-09-01，时间节点为媒体汇总。 海力士技术研讨会：2026 年 4 月，定制与端侧 DRAM on Logic 方向。 Hot Chips 报道：2026-08-24，海力士发言与研究机构时间预期。 海力士 iHBM：2026-05-26，封装散热方案，30% 为公司披露口径。 海力士 HBM4E：2026-06-18，12 层产品送样。 NIST 混合键合：2026-01-29，铜与绝缘层结合及量测。 美光 FY25 Q4：2025-09-23，第 13 页，定制底座毛利预期与合作。 美光 FY26 Q3：2026-06-24，产品进展与部门财务数据。 设备资料：Besi · KLA · Advantest。用于说明产品能力，不作为本次新架构订单的证据。

在 GPT5, Fable5.1 发布的当下，我观察到一个反差： > 走在最前沿、真正把 AI 用进工作的人，觉得它已经跨过了某个坎。越用越觉得有用，也越觉得自己还有很多东西要学，过去的经验和工作方式都需要重新审视 > 没怎么认真用过的人，结论反而特别笃定：“GPT 时刻还没来，没有什么生产力革新，全是幻觉，根本做不好。” 你今天还能照常上班、照常领工资，并不能证明你的工作方式没有过时。也可能只是公司还没调整流程，客户还没找到更便宜的选择。 等到这些变化真的发生，你才开始学，留给自己的余地会有多少？ 因为认真用的人，每做完一件事和 AI 的交互，都在积累下一次的优势：哪些任务值得交给 AI，怎样提供背景，哪里必须检查，哪些旧流程可以直接删掉 如果你一直觉得它没用，不去突破上限使用。等你终于决定认真学，别人已经完成了多少轮尝试？ 同一代技术，为什么会让人产生这么大的认知差异？

@nftcrypto3 这正是我想说的。我的投资视角，也因此发生了变化。 如果把 AI 想象成一种正在成长的新物种，算力、存储和互联，就是支撑它运行的骨骼和血液