标签：llm-as-a-judge
-
金融合规场景下的语音 AI 评测与闭环迭代
AI Engineer
Upstart 与 Coval 分享在强监管借贷场景落地语音 Agent 的实践。团队通过人工审核对齐 LLM Judge，将合规一致性从 33% 提升至 92%，并建立包含实时监控、仿真测试与人工把关的持续闭环迭代流程。 -
Arize 动手工作坊：如何编写你的第一个 AI Eval
AI Engineer
Arize 产品负责人 Sally Ann 讲解了 AI 评估（Eval）与传统单元测试及“凭感觉（vibe checks）”的区别，并带大家在 Arize 平台中基于 Trace 数据、提取具体标准，在 Playground 中构建并测试 LLM-as-a-judge 评估器。 -
基于可观测性构建 AI Agent 的回归测试与自我修复闭环
AI Engineer
Arize 前线部署工程师 Sophia Yakoubovitch 探讨了 AI Agent 回归测试的难点。Agent 往往在运行时而非代码层面出错，单行 Prompt 修改可能改善某项指标却导致任务完成率下降。演讲提出了结合生产链路追踪的五步回归闭环，并展望了从人工介入转向由 Agent 自主排查、修复与演进的未来趋势。 -
无基准测试集时如何评估AI Agent：加拿大航空的逆向生成实践
AI Engineer
加拿大航空数据科学团队面对垂直业务场景缺乏公开基准且专家资源稀缺的难题，提出了“答案先行、逆向构造测试集”的核心方法。通过基于规则合成合同、破坏已有合规合同、参数模板排列组合以及不变性测试等五种技术，用确定性代码替代高噪的LLM-as-a-judge，实现Agent评估的快速闭环。 -
AI Agent 评估实战：从链路追踪到自动化闭环迭代
AI Engineer
本文介绍 AI Agent 评估的完整工作流，涵盖链路追踪、代码与 LLM 裁判评估、元评估及数据集实验。强调评估产出而非路径，利用编程智能体实现自动化改进，构建持续迭代的软件开发生命周期。 -
Universal Verifier：如何构建超越人类一致性的网页智能体评估系统
AI Engineer
BrowserBase与微软联合展示了针对Web Agent的全新通用验证器（Universal Verifier）。传统LLM裁判存在大量盲目自信与误判，该研究引入解耦细则、关键截图证据检索、过程分与结果分分离等原则，使评估虚报率归零，并在多步网页自动化与强化学习过滤中大幅提升模型质量。 -
评估视频垃圾：Character.ai 如何重构 AI 视频生成评估体系
AI Engineer
本文根据 Character.ai 工程师 Maor Bril 的分享整理。文章深入探讨了 AI 视频生成评估面临的挑战，详细介绍了 Character.ai 如何将评估方法从主观绝对评分转向相对对比（A vs B），如何通过蒸馏技术将复杂的“专家委员会”模型转化为超快速的轻量级视觉语言模型（VLM），以及如何利用 Agentic 工作流将评估机制前置并嵌入生成闭环中，从而实现低成本的视频自动校正与优化。 -
从信号到PR：构建自我修复的智能体与可观测性2.0时代
AI Engineer
Arize创始人Jason Lopatecki探讨了可观测性在AI智能体时代的演进。他指出，传统面向人类的可观测性正转向面向智能体的“可观测性2.0”。通过遥测追踪、组合式技能以及安全沙箱，智能体能够自主定位代码路径并生成修复PR，重构了软件调试的工作流。 -
构建切实有效的 AI Agent 评估体系：Lyft 客服大模型系统的演进与实践
AI Engineer
本文深入整理了 Lyft 在构建客服 AI Agent 系统过程中的评估体系演进。详细阐述了离线模拟器与在线评估的双阶段架构，分析了评估失败的核心原因，提出了微调用户模型以模拟真实非理性用户、将 LLM 评判器作为分类器进行精度校验以及建立持续错误分析闭环等核心实践，为企业级 Agent 的落地提供了系统化的方法论。 -
生产级 AI 行动指南：企业级智能体的部署与落地
AI Engineer
本文基于 Databricks 技术负责人 Sandipan Bhaumik 的演讲整理，分享了将 AI 系统和智能体推向生产环境的五大核心支柱：评估、可观测性、数据基座、多智能体编排和治理，并通过零售银行聊天机器人的真实案例，详细阐述了如何构建可见、可衡量、可问责的生产级 AI 系统。 -
AI系统黑盒破局：可观测性、评估与自动化实验
AI Engineer
Arize AI架构师Dat Ngo深入剖析了企业级AI应用开发的三大核心支柱：可观测性、系统评估与实验改进。文章详细拆解了如何通过OpenTelemetry追踪智能体轨迹，探讨了五种核心评估信号源，并展望了由AI自动完成评估与优化的软件工程新范式。 -
系统提示词学习：重构 AI 编码智能体的核心进化引擎
AI Engineer
本文探讨了由 Andrej Karpathy 提出的“系统提示词学习”范式，对比了强化学习（RL）在数据效率上的局限性，提出利用 LLM-as-a-Judge 生成的自然语言反馈来驱动提示词迭代。通过在 SWE-bench 基准测试上对 Claude Code 和 Cline 进行实测，证明了该方法仅需少量样本即可显著提升智能体的工程问题解决能力。