标签：synthetic-data

• 无基准测试集时如何评估AI Agent：加拿大航空的逆向生成实践 AI Engineer 2026-10-22
  加拿大航空数据科学团队面对垂直业务场景缺乏公开基准且专家资源稀缺的难题，提出了“答案先行、逆向构造测试集”的核心方法。通过基于规则合成合同、破坏已有合规合同、参数模板排列组合以及不变性测试等五种技术，用确定性代码替代高噪的LLM-as-a-judge，实现Agent评估的快速闭环。
• 大模型的研究能力，两天就能蒸馏进一个小模型 yage.ai 2026-10-06
  OpenResearcher论文提出通过构建本地封闭检索环境，利用大模型生成研究轨迹并蒸馏至小模型，使其在特定基准上超越商业旗舰。该方法揭示了环境工程与行为轨迹的价值，但受限于教师模型上限及环境泛化能力。
• 谁在给大模型出题与判卷？揭秘AI数据行业的野蛮生长与评测内幕 硅谷101播客 2026-09-28
  随着大模型能力从知识问答迈向长程Agent执行，训练数据需求经历了从人工众包标注、专家评分细则（Rubric）到强化学习（RL）真实环境的剧烈演进。本期对话深入探讨数据数商的商业模式分化、评测基准与刷榜（Bench-maxxing）的博弈、垂直领域私有数据采购壁垒，以及学术界与工业界在解决数据污染与激励机制上的真实挑战。
• 数据质量：被忽视的十倍算力乘数与模型炼制新范式 AI Engineer 2026-07-31
  Datology AI创始人Ari Morcos深入解析了在算力稀缺与推理Token爆炸的背景下，如何通过数据质量（清洗、筛选、生成、组合）作为算力乘数，大幅降低训练和推理成本，并结合汤森路透与RCI的实战案例证明了高性价比定制前沿大模型的可行性。
• 大模型规模化的喧嚣与真实：合成数据策略与分布式预训练工程实操 AI Engineer 2026-07-26
  本文深入探讨了 poolside 在训练 Laguna 系列（包括 Laguna M.1、XS.2 及最新 118B MoE 架构的 Laguna S）模型时的前沿实践。文章详细介绍了 poolside 的合成数据流水线设计（包括多阶段生成、跨域迁移和双角色演进等四种核心模式），以及在大规模分布式预训练中，如何通过模型副本哈希校验（Model Replica Hash Checks）、FP32 精度积累和解决开源 DeepGemm FP8 算子中的竞态条件，来应对静默数据损坏与梯度爆炸等工程挑战。