2026-08-29

这些年我在硅谷各种大厂加起来，面试的也有上百人了，最近我喜欢在一面考察一下 candidate 对 AI 推理内部流程的认知。浓缩成了一张图，建议收藏，如果彻底搞懂，不论是搞股市投资，还是想转 AI 肯定都有帮助 起因是：我的投研团队一位成员最近在从 SDE 转 AI infra，经常跟我聊职业发展的事，我跟他讲完全搞懂了这张图，AI 这扇门才算踏进了半只脚，仅仅是半只，未来道阻且长 你是否好奇，当你给 AI 发一句话，后面到底发生了什么？ 很多人以为，点下「发送」后，模型马上开始“吐字” 其实一条流式请求，先要经过： HTTPS / 鉴权 → 模板化和分词 → 路由、排队与 KV 容量 等 Prefill 处理完未缓存的 Prompt，首个 Token 才出现 之后才进入真正的循环 Decode + sampling → 增量反分词 → 封装成事件 / SSE 分块 → 客户端 所以 AI 推理这件事，不只是 GPU 算得快不快 首 Token 需要看如何均衡高并发排队和 Prefill，持续输出看 Decode，如何在有限的硬件资源（算力、存储）下服务更多人，需要优化 KV Cache 这里边门道很深。因此，我说搞懂这张图才算踏进了半只脚 今天下午坐在咖啡厅，我找了好多资料，帮我投研团队的成员规划了未来 12 周的学习路线 我在想要不要让ta开一个 X 的账号，把他每天学习的课程路径和好的资源都整理下来。如果他 12 周之后能找到不错的工作，相信大家跟完这个也可以

🚨 OpenAI 宣布断供 Cursor 的模型供应，恐怕这是在 Cursor 里能使用 GPT 系列的最后 3 个月了 我们常说：“数据决定模型的上限”。用户入口非常关键，用户解决问题的路径都是宝贵训练数据。OpenAI 就是不希望把自己的数据再给到 SpaceX，甚至是 可能合作的Anthropic 虽然我本人已经不用 Cursor 很久了，任务执行长度和深度都不够，本质还是 Harness 不行。相比之下，还是 Codex Plan 更香 Cursor 回应说，目前只有 5% 的 Cursor 总流量运行在 GPT 模型，无伤大雅。让我们看看这个剧本会演到什么程度