美研芒格君 · 2026-10-27 · 帖子

Agent Evaluation 是我觉得为数不多还需要人力去做判断、将来很难被AI 彻底取代的职业方向。我给大家找了一个非常好的学习资料入门：Hugging Face 的公开 Training Agent 课程 学完了，你应该会有更强的 sense，判断 AI 时代下哪些工作更适合人来做 这个资料是公开的，视频都在 Hugging Face 的 YouTube 频道，代码全部开源，下面有这六节： 1、Agentic Evaluations Workshop：怎么评价一个 Agent。 这一章节去看：为什么 benchmark 分数和真实使用体验对不上？目前 Agent Eval 做到了哪一步，还有哪些问题没解决。先把“怎样才算一个好 Agent”，等等都有 cover 2、RL for Agents Workshop：给 Agent 做强化学习，难在哪 这一章节去关注：从 LLM 的 RL 走到 Agent 的 RL，会多出哪些难点？环境怎么搭、rollout 怎么跑、reward 怎么设计，以及训练过程中推理为什么会成为 bottleneck 3、SFT on agent traces：用 Agent 的执行轨迹做微调 这一章节去关注：拿公开的 coding-agent traces（执行轨迹）整理成训练数据，用 TRL + LoRA 做 SFT，在 Hugging Face Jobs 上跑，用 Trackio 看指标。基本带着走了一遍小型的微调流程 4、Distillation：把大模型的能力蒸馏给小 Agent 这一章节去关注：怎么把 teacher model 的能力转移给更小的 coding agent。off-policy、on-policy、self-distillation 都会讲，看看这几种蒸馏方式分别怎么做 5、Reinforcement Learning：SFT 之后，怎么继续用 RL 训练 这一章节去关注：用 GRPO 接着训练，讲 group sampling、可验证的 reward，以及 reward、KL、输出长度这些曲线怎么看。看 Agent 怎么 reward hacking 6、From reward functions to environments：让 Agent 在真实环境里学习 这一章节去动手：从 reset()/step() 接口讲起，用 OpenEnv 搭环境、上传到 Hub，再接入 TRL 的 GRPOTrainer。最后通过 Harbor 和 Hugging Face sandboxes，用 AsyncGRPOTrainer 训练真正的 coding agent：OpenCode。让 Agent 在环境里采取动作、拿到反馈，再继续训练