2026-09-11

@Wu15961741 我个人认为这个大方向一定是对的。GPT-6 降智和 OpenAI 取消暂停 200 刀会员申请，绝对是一个没有被市场充分 price in 的信号，因为它刚刚发生，还没有传导开 但个股依然值得钻研，难以下一致的结论，我也打算深挖一下这个方向

和我的体验几乎一致，GPT-6 感觉可能偷偷“降智”了，没有上周刚发布的时候那么惊艳。几天一直在用 Astra 的朋友，你们感觉怎么样？上周我夸得很认真，现在觉得没那么好了，也想把原因弄明白 从我个人的经验上来判断，这个降质本质上还是算力和资源不够，是不是做了更激进的 quantization，省显存、省带宽？ 或者同样选高思考档位，实际给的推理预算变少了？这些都可能影响体验 如果真是为了省资源，最后让用户来回追问、返工，那这笔账也未必划算。本来一次能做好的事情，来回做三次，省下来的计算可能又花回去了。但对于普通用户来说，我们的额度上限是一定的。用户来回追问、返工，消耗的也都是我们自己的额度。再结合 OpenAI 今天宣告暂停了 200 美元的会员申请，逻辑就圆了回来了 当然，除了这个技术角度之外，我想再往下深入一层：现在还缺算力&互联&存储，远远没有饱和

分享一份最近收集的 AI Infra 入门阅读清单，建议收藏，慢慢看 AI 已经可以生成很多很好的内容，解释概念、翻译论文、整理资料，都越来越方便。但在这个时代，能静下心来，把一篇好文章认真读完，把没懂的地方再琢磨一遍，我觉得更加难能可贵 这次整理的材料，主要集中在大模型推理这一块。从 KV Cache、显存管理，到请求调度、推理加速，再到怎么判断性能有没有真正变好 做工程的朋友，可以顺着往源码和实验里走。平时看 AI 产业、算力和存储的朋友，也可以先把原理读明白 读文章，挑值得反复读的。 1. 如果只选一篇，我会选 Inside vLLM。 Inside vLLM: Anatomy of a High-Throughput LLM Inference System，作者 Aleksa Gordić https://t.co/Lc2Sk6Ivuf 把很多零散的概念串进了一个真实系统：一个请求进来，怎么排队，怎么分配 KV Cache，怎么执行，最后又怎么把结果送回来 PagedAttention、continuous batching、chunked prefill、prefix caching、投机解码、P/D 分离、多卡和性能测试，都能在这条线上找到位置。 这篇适合当主线，后面的材料用来补不懂的地方 2. 想弄懂 continuous batching，先看 Anyscale 这篇。 Continuous Batching 博客 https://t.co/7jufAckmsE llm用户的回答有长有短，有的已经生成完了，有的还在继续。已经空出来的位置，能不能马上接下一个请求？ 这篇用静态批处理和连续批处理的对比图，把这个问题讲得很直观。看完你会理解，GPU 的效率，也取决于请求怎么安排 建议重点看图和机制 3. NVIDIA 的两篇，一篇帮你建立全貌，一篇教你怎么看性能。 Mastering LLM Techniques: Inference Optimization https://t.co/cFASAERBjM 适合先建立基本认识：处理输入的 prefill 和逐步生成输出的 decode 有什么区别，模型权重和 KV Cache 分别占什么空间，量化、批处理、多卡并行又各自解决什么问题 LLM Inference Benchmarking: Fundamental Concepts https://t.co/yR5bIXxseZ 这一篇我也很推荐。用户等多久才看到第一个 token，后面生成得快不快，整个系统一秒能服务多少请求，是不同的问题。TTFT、ITL、TPOT 这些指标，要连着测试口径一起看 4. 想再往下算一层，读 kipply 的 Transformer Inference Arithmetic Transformer Inference Arithmetic 这是一篇 2022 年的文章。它带你从计算量、内存容量、带宽和通信开销出发，估算推理为什么快、为什么慢，以及 batch size 改变后会发生什么 硬件和模型的具体例子有年代了, 作为 optional 选读