标签：agent-evaluation
-
Handshake AI 探讨 AI 数据标注向专家创作演进及市场增长前景
Latent Space
Handshake AI 团队指出，AI 训练数据已从基础标注转向由专家构建复杂模拟环境，以支持长时域任务。他们预测该市场将从目前的百亿美元规模在三年内增长至千亿美元，并强调评估体系在 AI 落地中的核心作用。 -
构建自我改进的 AI Agent：利用评分与反思优化系统配置
AI Engineer
Warp 的 DevEx 工程主管 Ben Holmes 介绍了如何通过收集 Agent 会话轨迹、基于 Rubric 打分、并让自我改进 Agent 定期分析失败记录提出 PR，以此自动化优化 Agent 技能与配置。 -
Brainbase 如何将 Domino's 竞品比价 Agent 准确率从 41% 提升至 97%
AI Engineer
Brainbase 的 Milind 分享了为 Domino's CMO 办公室构建后勤比价 Agent 的六步迭代框架（Kickoff、Anthology、Benchmarks、First Agent、Iterating、Handing Off），通过规则细化与评测驱动，将准确率从 41% 提升至 97%，单源成本从 2 美元降至 1 美元。 -
在睡眠中自我改进的 AI Agent：Arize 的闭环自我迭代机制
AI Engineer
Arize 产品经理 Fouad Ali 介绍了通过追踪、评估、活体测试集与编码智能体构建的 Agent 自我改进闭环。该机制利用 Signal 智能体自动分析生产追踪、聚类错误、提议评估指标、定位根因并生成带有实验验证的 PR，同时探讨了置信度路由与人机协同在闭环中的最佳切入点。 -
使用 Harbor 在真实任务与沙箱环境中评估 AI Agent
AI Engineer
Arize AI 工程师 Xander Song 介绍了开源 Agent 评估框架 Harbor 的架构与实践。Harbor 在独立 Docker 沙箱中运行任务并由验证器生成反馈，Arize 团队将其与 Phoenix 及 OpenInference 结合，用于测试优化包含 MCP 服务、CLI 和提示词的复合 Agent 体验。 -
别盲目信任你的 AI Agent：用科学家的思维做评估
AI Engineer
前天文学家、现 Omni Analytics AI 工程师 Stephanie Jarmak 分享了如何科学评估 AI Agent。她指出公共基准与实际工作负载存在巨大脱节，微小的 Harness 配置差异即可导致截然相反的评估结论。面对 Agent 评估中的指标误导、不可靠 Trace 以及人机审查瓶颈，团队必须构建贴近生产环境的评测闭环、分离检测与拦截机制，并依托高可观测性体系掌控系统风险。 -
无基准测试集时如何评估AI Agent：加拿大航空的逆向生成实践
AI Engineer
加拿大航空数据科学团队面对垂直业务场景缺乏公开基准且专家资源稀缺的难题，提出了“答案先行、逆向构造测试集”的核心方法。通过基于规则合成合同、破坏已有合规合同、参数模板排列组合以及不变性测试等五种技术，用确定性代码替代高噪的LLM-as-a-judge，实现Agent评估的快速闭环。 -
跨越80%信任悬崖：从基准幻觉到以客户为中心的Agent评测飞轮
AI Engineer
Amazon AGI Lab团队分享了构建浏览器Agent评测体系的实战经验。演讲指出依赖静态基准测试会产生“基准幻觉”，而80%的可靠性因需要人工兜底反而加重用户负担，必须跨越90%的“信任悬崖”。团队提出了包含定义成功、捕获信号、诊断差距和驱动决策的评测飞轮，通过紧密跟踪客户旅程并保持能力边界透明，真正建立用户对Agent系统的信任。 -
AI Agent 评估实战：从链路追踪到自动化闭环迭代
AI Engineer
本文介绍 AI Agent 评估的完整工作流，涵盖链路追踪、代码与 LLM 裁判评估、元评估及数据集实验。强调评估产出而非路径，利用编程智能体实现自动化改进，构建持续迭代的软件开发生命周期。 -
构建自增强智能体：Weights & Biases的评测驱动与闭环演进实践
AI Engineer
Weights & Biases 工程师 Zubin Aysola 深度分享了自增强智能体 Arya 的研发体系。通过统一研发与生产环境、构建无约束沙箱与 DAG 配置流，W&B 利用 Weave 实现了生产 Trace 回流离线评测与爬山算法自动优化，探索出从编写代码转向构建系统护栏的新范式。 -
长周期多智能体系统的自动化研究：用闭环实验突破‘提示词微调’瓶颈
AI Engineer
针对多智能体在长时间运行中出现的信源丢失、谣言硬化为事实等社会一致性退化问题，前微软与 Supercell 工程师提出结合 Auto-Research 的闭环实验架构。通过冻结测试框架、设计控制场景套件、引入多维平衡记分卡并约束微调策略面，实现智能体协议的自适应演进与长周期一致性。 -
鼠力隐喻与心智模型：破解 AI Agent 的价值度量困局
AI Engineer
Yutori 创始设计师 Maximillian Piras 探讨了当前 AI Agent 面临的核心瓶颈：能力增长与价值度量之间的脱节。类比瓦特发明'马力'来破除用户对蒸汽机的认知阻碍，文章提出了'鼠力'（Mouse Power）概念，并基于香农信息熵构建了涵盖'执行步骤不确定性'与'验收标准不确定性'的二维评估矩阵，指出理想的 Agent 场景应具备类似 NP 问题的特征——验证难度远低于执行难度，从而实现以算力速度度量价值。 -
高效电商 AI 智能体解剖指南 | 选自 Anthropic 的 Claude 博客 | 宝玉的分享
baoyu.io
本文是一份关于构建高效电商 AI 智能体的解剖指南，重点探讨了架构设计、延迟与成本优化、生产环境中的记忆管理、安全性约束以及评估实践。核心思想是优先使用技能而非子智能体，将 UI 组件工程化为工具，并通过提示词缓存、模型选择和严格的评估套件来平衡模型智商、延迟和成本，最终实现用户体验和业务指标的统一。 -
从单体到多智能体：Navan 生产级 AI Agent 架构演进与落地实践
AI Engineer
Navan 首席架构师 Roberto Milev 与架构团队成员 Uday 分享了生产级 AI Agent 的参考架构演进。内容涵盖运行时持久化、动态上下文与技能管理、基于轨迹评估与 Hooks 的可观测性体系、企业级安全护栏，以及从单 Agent 渐进式加载到 A2A 协议的编排权衡。 -
重构长视界任务的强化学习环境：Theta Software 的探索与实践
AI Engineer
本访谈由 Theta Software 联合创始人团队分享，深入探讨了人工智能代理在长视界（Long-Horizon）任务中的评估与训练环境重构。讨论涵盖了 METR 等基准的局限性、模型与人类评估尺度的差异，并系统性地提出了利用评判代理（Judge Agents）、可查询轨迹（Queryable Trajectories）和高密度评估红线（Rubrics）来提升模型在复杂软件及金融领域学习能力的核心设计原则。 -
从轨迹到模拟：智能体评估与优化的新范式
AI Engineer
Snorkel AI 平台团队负责人 Rustem Feyzkhanov 探讨了将生产环境中的智能体轨迹（Traces）转化为离线模拟（Simulations）的工程实践。通过构建贴近真实业务的私有基准测试，团队能够引入成本、延迟等多维指标，建立可靠的发布门禁与持续优化闭环。 -
评估的未来：从大模型裁判到智能体裁判
AI Engineer
Arize AI 联合创始人 Aparna Dhinakaran 探讨了 AI 评估（Evals）的演进趋势。随着 Frontier 模型引入工具调用和推理，评估对象从单一 Prompt 升级为复杂的长周期 Agent。针对动态且不可预测的执行轨迹，传统基于固定标准的大模型裁判已无法满足需求，而自适应的智能体裁判（Agent as a Judge）将成为未来趋势，Arize AI 对此发布了主动分析并修复代码缺陷的 Signal 智能体。 -
YouTube Ads 团队分享：如何通过评估系统（Evals）与提示词塑造 Agent 的行为
AI Engineer
本文是 YouTube Ads 团队专家关于构建生产级 Agent 评估系统（Evals）的深度分享。文章详细阐述了如何从优化基础工具集、初期的直觉评估（Vibing）阶段，逐步过渡到人类评估与 LLM 裁判的规模化评估，并重点探讨了通过 Trace 分析排查非确定性问题以及 launch 指标爬坡的实践路径。 -
构建切实有效的 AI Agent 评估体系：Lyft 客服大模型系统的演进与实践
AI Engineer
本文深入整理了 Lyft 在构建客服 AI Agent 系统过程中的评估体系演进。详细阐述了离线模拟器与在线评估的双阶段架构，分析了评估失败的核心原因，提出了微调用户模型以模拟真实非理性用户、将 LLM 评判器作为分类器进行精度校验以及建立持续错误分析闭环等核心实践，为企业级 Agent 的落地提供了系统化的方法论。 -
SWE-Marathon：十亿 Token 预算下的长航时软件工程 Agent 评测
AI Engineer
Abundant AI 的 ML 工程师 Rishi Desai 介绍了针对编码 Agent 的全新长航时基准测试 SWE-Marathon。该基准用于评估 Agent 在面对十亿级别 Token 预算和项目级任务（如从头构建 Slack 复制品、C 编译器，或重写整个框架）时的协调与控制能力。目前最强配置（Opus 4.8 + Claude Code）仅能达到 26% 的解决率，且长航时测试也引入了更为复杂的“奖励作弊（Reward Hacking）”与“验证码规避”攻击面。研究表明，长航时智能体的核心瓶颈在于鲁棒的多通道验证和反作弊防御。