美研芒格君 · 2026-09-21 · 帖子

我非常推荐大家收藏斯坦福今年秋季这门课：MS&E 319：Efficient Generative Language Models（高效生成式语言模型） 这门课会从预训练一路讲到推理和后训练。（我最喜欢的部分）课程资料和录屏后面会同步上传 我很喜欢它的出发点：模型越做越大，但预算总有上限。给定一个具体想实现的效果，手里的算力又有限，训练目标怎么定、模型架构怎么选、推理怎么跑，才能把钱花得更值，避免所有任务都用最贵的模型 GPT6 “再买点 GPU”当然是一种办法，也是现在市场的主流 有关于 MoE、attention与 KV Cache 压缩、量化、投机解码，以及 LoRA、RLHF、DPO、蒸馏，都会涉及。这门课把平时分散看到的这些技术，放回同一个问题里理解：它到底省了哪部分计算、显存或时间，又付出了什么代价？ 比如，同样是想降低模型的使用成本，有的办法让每次只调用一部分参数，有的减少需要存储和搬运的数据，有的加快生成答案。先把各自解决的问题分清楚，才知道手里的任务适合用哪一种，哪些方法还能配合起来用。 我自己看 AI 公司，也很关心这一层：同样一笔预算，能不能训练出更好的模型，或者服务更多用户。把这些技术背后的取舍弄懂，再看模型发布和成本变化，判断会具体很多。 这门课有一定门槛，感兴趣的一定要关注