标签：data-pipeline
-
Robinhood 数据管道的混合 PR 审查实践：脚本验证事实，AI 负责判断
AI Engineer
Robinhood 工程师 Jas 介绍了应对机器生成 PR 激增的混合审查系统：确定性脚本验证注册事实，AI Agent 推理代码上下文与风险，人类保留敏感权限与低置信度决策，实现 60% 数据 PR 无人审查合并并减少 75% 人工审查工作量。 -
即时本体：廉价智能时代的动态数据重构
AI Engineer
在算力与存储成本剧降、AI智能极度廉价的背景下，传统预设的通用静态数据架构正走向失效。Hrishi Olickel提出'即时本体'（Just-in-Time Ontologies）架构范式：解构单一庞大Schema，按需动态生成数据管道，并通过设计者、执行者与优化者三层分工及严格的对抗验证机制，彻底将现代数据工程的核心瓶颈从转换转移至判断与核验。 -
同一本书，训练可算合理使用，盗版流程为何要赔 15
亿美元
yage.ai
本文探讨了 Bartz v. Anthropic 版权诉讼中，因 AI 公司从盗版渠道获取图书并用于模型训练引发的法律争议。法院对数据在不同技术阶段（下载、存储、显存计算）的复制行为给出了不同的法律评估，导致行业达成了一笔巨额和解基金。文章分析了这种风险和解的本质是买断历史诉讼风险，而非模型本身合规的最终证明，并强调了未来 AI 数据系统在工程层面需要建立完整的证据链来证明数据获取、复制目的及留存状态。 -
利用大语言模型与 MCP 构建数据抓取流水线
AI Engineer
分享者探讨了利用大语言模型与 MCP 构建爬虫流水线而非逐页解析的方法。通过 Bright Data 的技能集与 MCP，智能体可提取网页内容并编写和维护爬虫脚本，从而降低 token 消耗并应对反爬机制。 -
实时数据与 AI：Estuary 如何重构企业数据管线
The MAD Podcast with Matt Turck
Estuary 首席执行官介绍了其作为“实时数据平台”的理念，该平台融合了批处理与流处理。演讲重点探讨了利用 AI 优化数据管线，包括实时错误诊断、自动化转换、通过提示词自动生成管线，并展示了如何通过 CDC 技术将实时数据同步至 Snowflake、BigQuery 及向量数据库以实现实时 AI 应用。