标签：benchmark

• 从厌恶到真香：Fable 5.2 如何改变了我对 Claude 的看法 How I AI 2026-11-09
  讲述者分享了自己曾因早先 Fable 与 Opus 5 的交互体验而转用 Codex，但最新发布的 Fable 5.2 凭借极快的响应速度、强大的几何与空间理解、长程工程重构能力以及出色的创意与动画生成能力，彻底改变了其态度。文中评测了其在视频制作、3D打字机搭建和工程任务中的表现，同时也指出了其在前端与网页设计审美上的不足。
• 超越模型卡片：用评估度量参差前沿与大模型投资回报率 AI Engineer 2026-10-30
  演讲者探讨了基础模型在不同领域及任务中表现出的“参差前沿”，指出公开基准的单一分数无法反映实际业务表现，盲目选用单价较低的模型反而可能因消耗更多 Token 而导致成本更高。通过构建贴合实际工作流程的定制化评估（Eval），企业能够量化投入产出比、优化模型路由与采购决策，从而有效推动 AI 的规模化落地。
• 实测四大个人 AI Agent 横评：9 项真实任务下的能力与场景差异 How I AI 2026-10-28
  博主设计了一项包含 9 个实际任务的基准测试，对比了 Dot、Grockbot、Muse 和 Claude Duet 四款个人 Agent。测试涵盖邮件/消息回复、短视频剪辑、代码修 Bug、Figma 缩略图、收件箱待办整理、家庭报纸生成、物理题答疑、比价购物和产品发布视频。综合评测中 Grockbot 排名第一，Muse 在创意与生活场景表现出色，Claude Duet 在代码修复与长视频上准确度高但整体速度慢且权限过严，Dot 则在创意任务上表现欠佳。
• 为什么 AI 写作依然充斥着“AI味”（Slop）：ToneBench 基准测试与破局之道 AI Engineer 2026-10-22
  Towards AI 联合创始人 Louis-François Bouchard 深入探讨了大语言模型在写作中普遍存在的“AI味”（Slop）问题。他定义了 Slop 的六大核心特征，并推出全新开源评估基准 ToneBench，通过 9 项指标量化模型的语气还原度与写作质量，同时分享了构建长提示词、多草稿融合及利用高思考模型评审的高效低成本工作流。
• 模型越来越强，为什么用户没感觉？再访阿里国际站总裁张阔 硅谷101播客 2026-10-09
  阿里国际站总裁张阔深度拆解AI Agent在电商领域的落地现状。面对通用评测逼近满分但实际体验提升有限的脱节现象，团队开源107个真实电商任务基准，通过帕累托最优模型路由将成本降至三分之一。访谈深入探讨了垂直Agent的供应链壁垒、长程任务演进以及人机决策边界。
• 个人 AI 智能体的演进、主动性与商业模式探讨 a16z 2026-09-29
  对话探讨了消费级个人 AI 智能体的发展脉络、Assistant Bench 基准测试、主动性壁垒及性格配置，并分析了长尾初创公司面临的成本挑战与商业化模式。
• 数学家 Ken Ono 谈 AI 时代的形式化验证与人生选择 EO 2026-07-20
  数学家 Ken Ono 结合童年竞赛和参与 Epoch AI 基准编写的经历，探讨了大语言模型对脑力劳动与科研带来的颠覆。他指出高风险决策仍需人类判断，提出形式化验证是未来发展方向，并呼吁人们摆脱盲目比较、活出属于自己的人生。
• BackendForge：AI 已经能写完整 App，评测也得学会追问 yage.ai 2026-07-17
  文章探讨了 AI 在编写完整应用代码后，如何通过改进评测机制来发现和解决测试覆盖率的漏洞。核心思想是引入 'BackendForge' 这种迭代式追问流程（co-evolution），让 Agent 不仅生成代码，还能主动寻找现有测试集中的遗漏点，从而使基准测试从单一函数扩展到完整应用级别。
• SWE-Bench Pro 饱和之后，有人做了一把新尺子 yage.ai 2026-05-28
  DeepSWE 是针对现有编程基准测试（如 SWE-Bench Pro）数据污染与验证僵化设计的全新测量工具。它通过全新任务集与灵活验证方法，显著拉开了各顶配模型在编码能力上的表现差距，揭示了旧测量工具评估大模型能力时的局限性。