标签：data-quality
-
数据质量：被忽视的十倍算力乘数与模型炼制新范式
📝
🎙️ AI Engineer
📄 Datology AI创始人Ari Morcos深入解析了在算力稀缺与推理Token爆炸的背景下，如何通过数据质量（清洗、筛选、生成、组合）作为算力乘数，大幅降低训练和推理成本，并结合汤森路透与RCI的实战案例证明了高性价比定制前沿大模型的可行性。 -
顶级模型 Fable/Mythos 是如何训练出来的？ · 乔木博客
🎙️ 向阳乔木
📄 文章探讨了顶级模型如 Fable/Mythos 的训练机制，核心观点在于模型的性能取决于基础底座与可验证奖励信号的质量。作者详细阐述了从高密度预训练、可验证强化学习（GRPO）、测试时算力筛选到长流程管理等六个层次的训练流程，强调‘可验证经验’是模型能力的关键，而非单纯的网络结构或参数量。 -
停止盲目扩大模型：用强化学习与优质数据让4B模型超越235B模型
📝
🎙️ AI Engineer
📄 Snorkel 开发者倡导者 Kobe Crawford 分享了一项研究成果：在金融分析的工具使用任务中，通过基于高质量领域数据的强化学习（RL），一个 40 亿参数的小模型成功超越了 2350 亿参数的大模型。文章强调了工具使用纪律对模型性能的决定性作用，并展示了低成本（不到500美元）微调的巨大潜力。 -
垃圾数据喂出来的大模型，可能比精筛数据更强 · 乔木博客
🎙️ 向阳乔木
📄 斯坦福大学研究表明，在大规模计算条件下，未经任何过滤的原始网络爬虫数据训练大模型，效果优于经过精心过滤的数据。研究解释了垃圾数据与有效任务在大模型内部的隔离机制，指出数据过滤在更大规模训练中可能不再必要，强调了计算扩展能力的潜力。 -
在中国，AI只能卖结果：Sam Altman 来了都要呕血三升
📝
🎙️ 人民公园说AI
📄 本播客对谈深入探讨了AI时代下中国企业面临的独特挑战与机遇。嘉宾百融智能创始人张韶峰指出，中国企业不为过程买单，而是更看重交易即服务（TaaS）与结果即服务（RaaS）模式。对话还涉及AI对职场结构、企业管理、投资逻辑的颠覆，以及如何应对知识库缺失和归因难题，最终展望了中国AI应用市场的未来发展。 -
他在谷歌深耕14年，亲手种下GPT的种子，却只能看OpenAI收割 · 乔木博客
🎙️ 向阳乔木
📄 谷歌 AI 老将 Andrew Dai 在谷歌深耕 14 年，深度参与了 Transformer 及多模态大模型研发，但因大厂组织官僚体系错失先机。文章探讨了模型架构与数据质量对 AI 竞争的关键作用，以及 Andrew Dai 离职后创立 Aloran AI，试图通过“语言逻辑+视觉推理”的中间路线探索视觉 AGI 的前沿方向。 -
AI 时代的质量革命：Surge AI 的自力更生之道与数据伦理
📝
🎙️ Best Partners TV
📄 Surge AI 凭借 60-70 名员工实现 10 亿美元营收，不依赖 VC。它专注于 AI 训练数据质量，强调“品味与审美”而非“做题”。文章批判了当前 AI 发展的“AI Slop”现象，并展望了基于 RL 环境和目标函数设计的未来 AI 训练范式，指出人类价值在 AI 时代回归。 -
GPT-4为何比一年前更智能？—— OpenAI联合创始人John Schulman解读
📝
🎙️ Dwarkesh Patel
📄 本期访谈探讨了AI模型训练中计算资源分配的重心转移，从预训练转向后训练。演讲者认为，模型生成的高质量数据比网络上的大多数内容更有价值，因此模型自主思考的价值日益凸显。后训练被视为建立“护城河”的关键，因为它依赖于复杂的专业知识和组织能力，并非易事。虽然大型科技公司在此领域领先，但小型参与者也可能通过模型蒸馏或利用现有模型作为评判标准来获得进展。研究人员的成功关键在于跨技术栈的经验、好奇心以及理论与实践的结合。