2026-09-15

@runningmanfast 好问题，但人生何必一直向前发展呢，享受下普通的快乐，陪陪家人

@LanLance24 这是什么，比沙县好吃吗

今天送一位上周被 layoff的老朋友去机场，ta决定回国发展了，我们聊了很多，也都认为我们的职业可能会在 5 年左右消失。 难以想象一年半之前，我们还在对话框里跟 AI 聊天，把代码复制进去，再复制出来。写代码还是 Tab Tab Tab，用 Copilot 补全，而不是让 AI 直接写 我们也聊到了硅谷湾区这个反人类的地方，如果你是顶级天才，或者有不得不的理由在这里打工谋生、追求人生进步，这确实是个绝佳的地方，但它也是大多数人的围城 如果你随意找在这里的 10 个中国人，我想至少有5个都会跟你说，这里很无聊，想离开这里。这里的人种多样性堪比中关村创业大街 硅谷的确是一个会让人变土、变单调，变得人生方向收窄的地方。 回来的路上我在想，如果我没有从事计算机，在纽约、洛杉矶、上海，我的人生会不同吗？

继续上个帖子把 AI Agent 强化学习的学习材料补齐了，按入门 → 动手 → 进阶 的顺序, 推荐收藏阅读搞懂 ① 基础循环｜HF 的 RL 入门 学什么：观察 → 行动 → 环境反馈 → 奖励，先弄懂模型怎样与环境互动。 https://t.co/fFdGIhFFSC ② 奖励与训练｜How frontier models train on outcomes 学什么：怎样把任务结果变成奖励，再用奖励训练模型；评分方式会影响模型学到什么。 https://t.co/swSNP1QCNY ③ 更新模型｜GRPO Trainer 学什么：同题生成多份回答、比较得分，再用评分更新模型参数。TRL 就是 Hugging Face 的模型训练工具库。 https://t.co/4hpG9KryjQ ④ 训练环境｜One sandbox per rollout 学什么：任务与验收规则、Agent 的操作程序、沙箱和训练器怎样配合，为什么每次尝试需要独立的运行空间。 https://t.co/q7L3RGQJXo ⑤ 动手实战｜TRL＋OpenEnv 训练编程 Agent 学什么：让现成 Agent 在沙箱里做任务，把模型回答和工具调用整理成训练数据，检查结果，再接回训练程序。 https://t.co/WWn9T99nKV ⑥ 验证效果｜Evaluating agents with Inspect AI 学什么：用未参与训练的任务做评估，检查训练中的进步能不能用到新题上。 https://t.co/tuy2ROwtaF ⑦ 规模化进阶｜Keep the Tokens Flowing 学什么：让产生尝试和更新模型并行，减少等待；同时处理旧模型产生的数据。 https://t.co/a68TMYEz9P

很多人问，业界里的强化学习到底在做什么？本质上就一句话：用尽可能小的成本，高质量完成特定领域任务 我想用这个帖子举个例子大家串一下5 步简化流程，和我整理的一个 hugging face 系列阅读链接（免费，可放心使用），我把完整的阅读链接放在评论区 业界 RL原理本质上其实很简单：在特定领域出题 → 尝试 → 评分 → 更新 → 验证，反复进行，看似简单的流程，每一项都可以挖得很深，适合个人学习或者职业选择的方向 我举个例子用一个 Hugging Face 训练小模型，如何强化学习提升修 bug能力， 可以先抓住这几个步骤： 1/ 出题、定标准：选一个已有基础能力的SOTA模型，准备代码任务，提前规定怎样算修好 2/ 让你要强化学习的开元模型尝试：读代码、改文件、跑测试，根据报错继续改。这一整次尝试，叫一个 rollout 3/ 给结果打分：检查代码通过哪些测试，把结果变成奖励。奖励怎么设计，会影响模型往什么方向学 4/ 更新模型：收集多次尝试的记录和评分，用 GRPO 等方法调整模型参数 5/ 换题验证：用没参与训练的任务检查效果。训练奖励涨了，还要看新题能不能做好。评估方法 我整理的阅读资料按照这个顺序看： 1️⃣ 先懂基本循环：HF 的 RL 入门。用游戏例子讲清行动、环境反馈和奖励的关系 https://t.co/fFdGIhFFSC 2️⃣ 再懂怎么评分：How frontier models train on outcomes。看大模型怎样利用可验证结果训练，以及奖励设计为什么会影响效果 https://t.co/swSNP1QCNY 篇幅有限，如何更新模型权重？任务、工具、接口、沙箱如何配合？以及对应的HF 上的实战 demo，训练等待优化和旧模型数据处理的教程，我也一并整理好，我放在评论区 相信看完，你基本就半只脚趾头踏入了 LLM 后训练强化学习的部分

这个文章转教学视频的 Skill 工具，源于我最近的一个痛苦，每天社区内容太多，真的看吐了。我非常需要一个方式去降低我的输入门槛和认知成本 如果你也有类似痛苦，建议也用类似的方式去尝试：把你来回问 AI 的一个问题、某篇晦涩难懂的长文、甚至是上学学习的课件或者 PPT，用视频的方式总结出来学习 我在思考，是否我日后的文章都可以提供一个视频形式，亦或者，把我每天同步思考的内容用这种方式发布成视频 这个工具真的做到了零成本制作一个高质量科普视频，效果出来的时候，我觉得非常 amazing

我在AI 训练和推理这行干了很多年，最近越来越觉得，机会正在往两个方向转移 为了让所有人都能理解这个趋势，我拆解了一家Harvey的 AI 律师公司，他们用开源模型在特定领域 GLM 击败了 Fable5 和 GPT-5.6，我认为是个趋势 本来写了一篇长文来科普，后来觉得字数太多，于是 做了一个教学 Skill 工具，把写好的稿子变成一个音频同步的视频 如果你想转行，我很推荐两个方向 > 一个是后训练，也就是拿一个已经很聪明的模型，在明确的任务、工具和成本约束下，再针对这条生产线加练一遍 > 另一个是AI 推理，其实两者不分家 ， 最后自己读一遍都觉得，这么多公式和缩写，谁会看完呢？我自己文字读多了都觉得累。所以干脆换个办法，把它做成了一个不到十分钟的小视频，一边讲，一边在白板上把图画出来。视频放在下面 视频里我按一堂课的顺序讲了下面这些 1. 为什么通用模型在一条具体生产线上不是最优，后训练到底在修什么 2. 开放权重和闭源的区别 3. 监督微调和 GRPO 各管什么，GSPO/GRPO/LoRA 的应用差异 4. 在垂直领域，开源模型 overall 是如何击败闭源模型的？ 这个视频是我自己搭的一个小工具做出来的，逐字稿进去，配音和白板动画自动出来，讲到哪句画到哪步。工具还在打磨，做顺手了再拿出来细说。