标签:harness

  • 模型在 AGI 基准 ARC-AGI-3 上拿到满分,出题人却说这不算数 yage.ai
    MIT的VISTA与英伟达的AVO在ARC-AGI-3公开测试中均获满分,但出题人指出这是针对已知题目的工程过拟合。文章分析表明,满分主要归功于外围脚手架而非模型自身,揭示了当前AI基准测试在衡量通用智能时的局限性。
  • 打破 99% 安全假象:为什么 Prompt Injection 的防线与评测都在 Harness? yage.ai
    文章探讨了Prompt Injection(提示词注入)在Agent时代面临的安全挑战,指出传统的模型微调或更换无法解决问题。核心观点是安全防护的有效性取决于外部工具链和运行时策略(如Harness)的边界控制,而非模型本身的内生属性。文章还批判了现有评估体系中存在的五大陷阱,包括静态评测集过拟合、LLM-as-a-Judge带来的漂移以及忽视Utility Under Attack等问题,强调构建基于系统架构隔离和确定性Harness控制的防御体系才是工程实践中的关键。
  • DeepSeek V4 Flash 0731:用 Nano 级价格买中端性能,斩杀线叙事遮蔽的真实 Agent 经济学 yage.ai
    DeepSeek V4 Flash 0731 发布了新的 API 版本,以 Nano 级价格提供中端性能。文章分析了其在性价比上的优势,但指出其真实能力仍处于轻量级定位,并非旗舰模型替代品。核心讨论了API定价、跑分口径差异(Harness)、幻觉率以及Agent生产经济学中的'Cost per accepted task'等工程落地细节。
  • AI 编程正在进入它的 DevOps 时刻 yage.ai
    文章分析了火山引擎FORCE大会上关于AI编程的最新数据,指出AI代码生成速度已达到人的10倍以上,但团队研发效率提升有限。核心观点是瓶颈已从代码生成转向软件交付流水线(harness),即如何将快速生成的代码稳定送过测试、review和部署流程,才能实现真正的工程效率提升。
  • 被打脸是常态:真格戴雨森的2026年AI创投全景复盘 · 乔木博客 向阳乔木
    戴雨森复盘了2026年AI创投的预测与现实,认为AI商业闭环尚待验证。他强调AI应用重心正从“套壳”向操作系统般的“Harness”转变,并指出模型与产品应相互反哺。戴雨森还对AI生产力增效持谨慎态度,认为AI无法替代创新与人的决策责任。