2026-09-09

我知道很多人想转 AI Inference, 但 Day0 怎么开始呢？我在团队内整理了一个 1 小时的学习路径，分享出来，作为 Day0 的阅读和“开智”使用 大家可以通勤路上、上厕所、吃饭的时候，扫上两眼。收藏下来，慢慢品，都是干货请放心使用，希望对你有帮助。 这个学习路径是：AI 模型如何生成 → 哪些计算存储资源可以复用 → GPU 为什么忙不过来 → 高并发请求如何共享资源 → 怎样判断 AI 模型推理用户体验 1. 先理解模型生成和 KV cache｜20 分钟 https://t.co/wSXRYKfakz 带着一个问题读：模型权重、KV cache、生成的文本，分别是什么东西？ 这是后面理解长上下文显存占用、缓存收益的基础 2. 理解 GPU 的两类主要瓶颈｜15 分钟 https://t.co/2ILFSjfPJy 看 GPU Architecture Fundamentals 的结构图，重点读 Understanding Performance 带着一个问题读：为什么换算力更强的卡，AI生成速度不一定按比例变快？ 文档里的 GPU 示例比较早，今天学习原理即可 3. 理解不同请求之间怎样复用缓存｜10 分钟 https://t.co/GdNai7hHsC 读开头、Example workloads、Limits 第一篇讲生成过程中复用旧 K/V；这一篇讲不同请求共享相同前缀时，怎样进一步复用计算 它直接节省的主要是输入处理，也就是 prefill；新答案仍然需要逐步生成。 带着一个问题读：为什么缓存命中率很高，用户仍可能觉得慢？ 4. 理解长短请求如何争用同一张 GPU｜20 分钟 https://t.co/OKJYJEPLo6 读 Preemption、Chunked Prefill、Performance Tuning with Chunked Prefill 到这里，你就开始把已有的资源调度、容量和延迟知识，接到 LLM 服务上了 5. 理解性能数字究竟在衡量什么｜10 分钟 https://t.co/MeWQKJ968j 三个概念：TTFT 看第一段输出等多久；ITL 看流式输出的间隔；TPOT 看除首 token 外，平均每个输出 token 的耗时 5. 最后把这些概念接回数据｜5 分钟 https://t.co/XfjZl7jXd5 读 Workloads 和 Trace Format，看懂到达时间、输入长度、输出长度、前缀块 hash 四项。 带着一个问题读：这些记录能描述哪些负载特征，哪些东西仍然必须在真实 GPU 服务里测？ 6. 读完后思考 10 分钟 一个长请求进来以后，短请求为什么可能变慢？开启缓存以后，哪些成本减少了，哪些等待仍然存在？ 如果你能通俗易懂地解释了，说明这一个小时没白过 这一个小时的教程是我为投研团队成员准备的。他是我在@meta 的前同事，和我一起合作了很多 Marvell 的分析 他现在是在硅谷某个大厂的 SDE，对 AI infra 一窍不通，我在督促他建立一个 X 的账号，让他分享起来。从 Day One 开始，分享他从普通 SDE 转到 AI 的学习路径，相信会对很多人有帮助，坚持下来，大家的水平应该可以拉齐

大家日常高频使用 AI 的，应该都有这个痛点：AI 足够聪明能把任务跑完，但是！距离结果好到我能直接用，中间还有很长一段距离，有的时候 AI 的结果好得一塌糊涂，但就未必是我想要的 这个事情的解药在于Evaluations，AI 评估：我觉得每个想认真用 AI 的人都值得理解。我用 AI，越来越把重心放在 Evaluations上：什么叫做好，怎么验收，犯过的错怎么减少？ 今天结合我自己的的工作流，尝试把这件事彻底讲清楚 1/ 把“我觉得不行”，变成具体的验收标准 我之前分享过，让不加以特化的 AI 解读研报，有时每个字都认识，连起来却看不懂，还得追问好多轮。 它确实写完了。但我需要的是：读完能讲清楚公司靠什么挣钱、发生了什么变化，以及变化怎么影响盈利和估值。 所以，当前的工作流我会检查：数字有没有原始出处？季度和全年有没有混用？公司指引、券商预测、自己的判断有没有分开？市场 price in 预期的反推和我自己的建模 gap 在哪里？市场有哪些错误的逻辑？是否错杀？是否超买 Eval，就是把心里“这样才算做好”的标准，变成能反复执行的检查 能算清楚的，用程序检查；“有没有解释清楚”这种开放问题，就写成 rubric，评分标准，配上好坏案例，让 AI 辅助评判、人来校准。久而久之，你的私有化模型会越来越好 2/ 让它在真实工作的条件下接受测试，留下错误记录，持续进步 一套 eval，基本就是：Agent + 工作环境 + 任务 + 验收标准 以前 AI 输入文字、输出文字。现在 Agent 会开网页、读文件、改笔记。我会明确地写 skill 和 prompt，让 AI 去记录下来自己曾经做错了什么事情，然后再让它进行自更新（也就是 RSI），最后再让它把错误的部分重新再做一遍。 久而久之，模型的效果会越来越好。通常我会让AI做两件事情： 1. 对公司基本面短期、长期的判断 2. 实际的股票操作 回溯：哪些判断对了，就继续加强；哪些判断错了，就让模型记住错误的原因，下次不要再犯。久而久之，模型会变得出乎意料的好 3/ Evaluation 非常重要 这就是为什么目前我的每一个工作流或者工作体系，我都会写好 Evaluation 和自进化的规则。AI 顶尖聪明了，但问题就是，它有的时候认为它做的正确的方式，未必是你想要的 有了可靠的标准，AI 就可以帮忙找失败、提修改方案，再接受验证。人仍要定义什么是好，并确认评分规则衡量的确实是自己在乎的东西。 因此我建议大家如果想让 AI 把工作做好，先把“什么叫做好”写清楚

09/09 在过去的一个月里，我一共公开押注买入三次 MRVL。过去一周 $MRVL 上涨了 15%，30.62 美元。我的 call 整体盈利了 74%，200 区间抄底的短线正股股份获得了+16%，长期一直持有并且加码。 谁再说 AI 认知和工具的使用无法变现？我觉得这是变现途径 ROI 最高的方式 https://t.co/urE6Bthoxc 我通常不是一个喊单博主，除非我觉得信号太明确了，这个帖子分享我的操作和原因 下面都是原帖，欢迎回看 07/29 168$买入，那时候一片恐惧 https://t.co/nmeMEPdzP0 08/20 我认为财报会跌，跟大家分享了我买入财报的 put https://t.co/8xwpTpV56y 08/31 我认为市场错杀了 MRVL，股价惩罚得太厉害，买入了 10 月到期的 call。并加了不少正股长线 https://t.co/5Ndj15x4fh 今天，我买入了下周Protective Put，做个保护。依旧等待 Investor Day 长线接下来 MRVL 会有不少重磅的事件，篇幅有限，我放到第三张截图里。我的认知和 AI 实践告诉我，MRVL互联行业方向是绝对没有问题的，而且是市场仅有的还在蓬勃向上的行业

我自己是怎么应对 AI 焦虑的？分享3点这个月我的亲身实践，大家作为参考，这对我自己提升很高 1. 我把每个月工资的 10% 固定拿出来投入AI学习，我认为 ROI 非常高 除了公司消耗的Token之外，我个人订阅了 3 个 200 刀的 Codex Pro，1 个 200 刀的 claude code。做投研、自动化工作流、做强化学习，任何我想做的。因为Token沟通了，解放了生产力，才能看到别人看不到的问题 其余的钱，买卡、租服务器等等。回报不只是我的认知提升，走在AI的前沿，股票投资也给我带来了回报和成长 2. 把我的过往经历全部送给了AI，让 GPT-6 帮我指明下个阶段的方向，充分利用 Computer use 我的过往经历包括工作经历、生活经历、投资经历，现在过往电脑和浏览器的一切。让 AI 充分了解我的上下文，做每个决策都能充分思考 3. 把AI当人而不是工具，给他一些更困难的任务，跳出使用“工具”的思维框架 通常来说，我给 AI 的 prompt 会包含三段论 a. 背景信息：因为背景我已经收集好了，所以我只会告诉它去哪里找 b. 我要做什么 c. evaluation（非常重要）：一定要注明这一项，告诉 AI 我想要达到什么样的效果，怎么样才算真的结束了 尝试把你最难的任务给他，包含好 evaluation 这一项。相信我，你会有意外收获的 有没有人想听我分享几个我最近使用的、运行数个小时、我认为相对复杂的任务的 prompt，给大家参考？如果有的话，我下个帖子把我的 prompt 和任务拆解分享给大家

CPU和NAND都会缺死的 本来每台device需要的资源，变成了agent需求。agent调用都要用CPU的

刚刚看到，这个博主真的用心了，总结了我过去对mrvl的关键操作的时间和帖子，如果这不是ai帖子，我会感动的 回过头来看，如果我对 $MRVL 恰好踩对了时间点和方向，别怀疑，我只是看懂了外加运气好了点。如果你看完也赚到了钱，那我替你感到开心 赚到钱了去买个codex pro学学AI 吧，就当投资自己了

@Fffffonny 逻辑一直在，为啥之前跌的时候不买？

OpenAI 表示 GPT-6 的需求太多，可能会考虑暂停 Pro 新会员的注册。 我赶紧爬起床又抢了一个200$ pro会员，太好用了，不够用 我建议大家都给GPT6一个需要运行3小时以上的任务，否则你会一直低估AI。如果你没有这么复杂的任务，那应该反思一自己 Pro会员意味着没有5小时额度limit，只要你想，你可以给最复杂的任务，探究AI的上限 这下我彻底不担心 $ORCL 了，好在前段时间底部吸够了筹码 另外一个冷知识：企业版的codex是按照API用量计费的，目前200$的个人账号纯属是亏欠赚吆喝，顺路收集数据