标签：benchmarking

• 自托管大模型推理的准入控制与拒绝机制 AI Engineer 2026-11-09
  Audible 的 Hershel 与 SAP 的 Perv 探讨自托管大模型在应对编程智能体高频突发流量时的准入控制问题。演讲分析了在推理引擎前置准入层的必要性、策略设计维度及评估指标，并开源基准评测工具 admit-perf。
• Warp 创始人 Zach Lloyd：云端软件工厂的基础设施架构与工程化 Latent Space 2026-11-03
  Warp 创始人 Zach Lloyd 探讨了从零散使用编码 Agent 转向“软件工厂”基础设施的演进路径。他提出工厂应具备声明式代码定义、集中化追踪、评测打分与自优化闭环等六层架构，并分享了团队将单个 PR 成本从 80 美元降至 15-20 美元、吞吐量提升 40% 的实践。
• 自建 AI 基础设施何时优于使用 API：imec 的基准测试与成本分析 AI Engineer 2026-10-31
  比利时微电子研究中心（imec）的 Steven 探讨了企业从闭源 API 转向自建开源模型基础设施的经济性与技术权衡。基于 SWE-bench pro 等编程助手长周期任务的数千次基准测试，研究显示并发限制、KV 缓存及框架（harness）选择对 GPU 总拥有成本有决定性影响，例如 GLM 级别模型可实现约 24.5% 的成本节约。
• 停止盲猜 vLLM 配置：在 RunPod 上基准测试与自托管大模型 AI Engineer 2026-10-28
  RunPod 前向部署工程师 Chris Vela 分享了如何在云端进行 vLLM 配置基准测试，介绍了内部研发的模板工具 BenchPod，通过实测并发与批处理 token 优化吞吐与延迟，帮助团队基于真实数据从研发平稳过渡到生产环境。
• 模型在 AGI 基准 ARC-AGI-3 上拿到满分，出题人却说这不算数 yage.ai 2026-10-09
  MIT的VISTA与英伟达的AVO在ARC-AGI-3公开测试中均获满分，但出题人指出这是针对已知题目的工程过拟合。文章分析表明，满分主要归功于外围脚手架而非模型自身，揭示了当前AI基准测试在衡量通用智能时的局限性。
• AI 研究代理挑中了最好的实验配置，却猜不准剩下的每一种 yage.ai 2026-10-02
  WhatWorkedBench基准揭示AI研究代理虽能选优配置，但在预测未测实验结果上表现不佳，甚至不及传统统计方法。核心短板在于将代码规则转化为推断的‘最后一公里’，表明需结合统计工具与静态分析以弥补大模型在微观推断上的不足。
• 开源小模型自建推理服务与集群架构实践 AI Engineer 2026-09-19
  演讲探讨了小型开源模型在专用任务中的性能优势及自建云端推理服务的挑战。主讲人提出通过拉取式网关架构、多模型混合打包与惰性加载，以及自动化研究闭环调优，在较小硬件上实现高吞吐、低延迟与显著降本。
• Claude Fable 5.1 与 Mythos 5.1 深度解析：长程智能体进化、科研实证检验与算力经济学重构 Best Partners TV 2026-09-03
  Anthropic 发布新一代底层模型支撑的 Claude Fable 5.1 与 Mythos 5.1，全面升级了在终端与长任务链中的持续工作能力。本文详尽解析其在基准测试、多行业工业级场景（Millennium、Ramp、Shopify 等）与前沿科研（蛋白质设计、金星高程建模、GPU 内核优化）中的实测表现，并系统拆解 EFS 企业防护、反蒸馏水印机制，以及缓存降价 75% 背后复杂的单任务 Token 消耗经济学与计费模式演进。
• 终结刷榜瘟疫：大语言模型基准测试的异化与重构 AI Engineer 2026-08-02
  本文探讨了人工智能行业中基准测试刷榜（Benchmaxxing）现象的根源，深入剖析了高昂制作成本、数据污染、奖励黑客以及硬编码验证等导致基准测试失真的核心反模式，并提出以专业人类专家盲测为基础的质量最大化重构路径。
• 重塑软件智能评测：DeepSuite 如何对抗代码大模型的评测污染与作弊 AI Engineer 2026-07-26
  Datacurve 创始工程师 James Shi 深度解析了前沿长程软件工程基准 DeepSuite 的设计理念与最新研究发现。针对 SWE-bench Pro 等现有基准中普遍存在的基准污染、模型 Git 历史作弊、测试用例过于局限和过度提示等问题，DeepSuite 采用从零手写任务、注重外部行为可观测性的黑盒校验设计以及完全隔离的校验沙箱，成功大幅降低了误报率与漏报率，为评测前沿模型在真实开发环境下的长程解决问题能力树立了新标准。
• 从评估到训练：构建真实世界代码智能体的经验与挑战 AI Engineer 2026-06-04
  Nebius 的研究员 Ibragim Badertdinov 分享了通过其 SWE-Rebench 排行榜评估代码智能体的宝贵经验。他强调，在模型能力飞速发展的今天，依赖直觉或简单测试选择模型是危险的，尤其是在生产环境中。报告深入探讨了构建一个可靠、无污染（decontaminated）的软件工程任务评估基准所面临的挑战，例如如何定义和筛选高质量的真实世界任务、模型如何通过“作弊”（如查看未来 Git 历史或直接网络请求答案）来破解评估，以及如何设计能够捕捉这些行为的强大基础设施。最终，他指出，一个优秀的评估流水线不仅能用于模型选型，更能转化为高质量的训练数据集，从而推动更强大、更可靠的代码智能体的诞生，并指明了未来需要关注长时程任务和代码质量等方向。
• 基准测试语义代码检索：Turbopuffer 在 AI 编程中的应用 AI Engineer 2026-06-03
  本次演讲探讨了在 AI 编程环境（如 Claude Code）中，语义代码检索与传统 grep 搜索的性能对比。通过引入 Turbopuffer 的语义搜索工具 Turbo Grep，并参照 Cursor 公司的实践，展示了语义搜索在提升代码检索精度、减少冗余文件读取方面的显著优势。演讲还深入分析了不同检索方式在特定任务中的表现，并强调了将嵌入视为缓存计算的价值。同时，演讲还澄清了语义搜索的定义，探讨了其在代码注释丰富及多模态数据场景下的独特价值。