美研芒格君 · 2026-08-30 · 帖子

这些年我在硅谷各种大厂加起来，面试的也有上百人了，最近我喜欢在一面考察一下 candidate 对 AI 推理内部流程的认知。浓缩成了一张图，建议收藏，如果彻底搞懂，不论是搞股市投资，还是想转 AI 肯定都有帮助 起因是：我的投研团队一位成员最近在从 SDE 转 AI infra，经常跟我聊职业发展的事，我跟他讲完全搞懂了这张图，AI 这扇门才算踏进了半只脚，仅仅是半只，未来道阻且长 你是否好奇，当你给 AI 发一句话，后面到底发生了什么？ 很多人以为，点下「发送」后，模型马上开始“吐字” 其实一条流式请求，先要经过： HTTPS / 鉴权 → 模板化和分词 → 路由、排队与 KV 容量 等 Prefill 处理完未缓存的 Prompt，首个 Token 才出现 之后才进入真正的循环 Decode + sampling → 增量反分词 → 封装成事件 / SSE 分块 → 客户端 所以 AI 推理这件事，不只是 GPU 算得快不快 首 Token 需要看如何均衡高并发排队和 Prefill，持续输出看 Decode，如何在有限的硬件资源（算力、存储）下服务更多人，需要优化 KV Cache 这里边门道很深。因此，我说搞懂这张图才算踏进了半只脚 今天下午坐在咖啡厅，我找了好多资料，帮我投研团队的成员规划了未来 12 周的学习路线 我在想要不要让ta开一个 X 的账号，把他每天学习的课程路径和好的资源都整理下来。如果他 12 周之后能找到不错的工作，相信大家跟完这个也可以