LLM 与规模化数据收集的困境

在上一场会议中，我讨论了模型上下文协议（Model Context Protocol, MCP: 一种允许 AI 连接外部数据源的开放标准）如何让大语言模型（Large Language Model: 基于海量文本训练的 AI 系统）访问那些被验证码和机器人检测系统拦截的网站。而在本次会议中，我想进一步探讨：如何真正利用 LLM 实现规模化的数据收集？

在社交媒体上，经常能看到这样的疑问：“我需要扫描一万个产品，如果全部用 LLM 来解析，那将消耗海量的 Token。”显然，用 LLM 直接解析海量网页是不现实的。因此，本场会议的核心是探讨如何利用 LLM 构建自动化数据管道。与其告诉 LLM “帮我解析这个页面”，不如让它为你**构建一个专属的抓取工具（Scraper）**来完成解析工作。

构建自我修复的代理工具

借助 Bright Data 提供的技能集，我们可以直接教会 LLM 如何构建数据管道。通过 MCP，AI 可以自动提取网页的 HTML 结构，识别出需要解析的 DOM 选择器，并编写出相应的抓取代码。

如果你曾经手写过网页抓取脚本，一定会体会过那种痛苦：突然之间数据消失了，页面结构改变了，客户开始疯狂抱怨“数据去哪了”。在过去，你需要手动编写并持续维护这些脚本，有时维护所花费的心力甚至超过了最初的编写阶段。特别是面对那些频繁更改选择器的防御型网站，或是复杂的 React 单页应用，这项工作会变得极其艰难。

而AI 代理（Agent）完美地解决了这个痛点。借助 MCP，它能自行探索网页、理解所需的数据结构、自动编写代码并执行。更重要的是，它能够自我维护。事实上，我每天都在进行自动化的数据收集工作。每隔 30 分钟，我的 LLM 代理池就会自动启动，检查数据收集进度。一旦它发现某个数据点缺失，代理会在 5 分钟内自动修复抓取逻辑。你再也不用在半夜被警报叫醒去修代码了。

真实世界演示：突破防爬机制与降低成本

为了演示这个过程，我将使用 Claude Code。过去编写一个抓取工具通常需要几天甚至几周的时间来排查选择器，而现在，它只需要短短 3 分钟。我们在 GitHub 上提供了专属的技能库，你的代理可以直接获取构建抓取工具所需的所有知识。

我们可以给 AI 下达这样一个指令：“为 Walmart（沃尔玛）构建一个抓取工具，包含关键词和最大页数两个输入变量。搜索‘耳机’，并收集前三页的数据。”众所周知，沃尔玛部署了极其严苛的防御验证屏障（如验证码和长按识别）。但接收指令后，AI 会自动利用 MCP 提取页面的底层信息，找到关键选择器，并构建出一个只提取纯文本的 Markdown 抓取脚本，彻底抛弃了无用的 HTML 标签。

这种“先建脚本再抓取”的模式极大地降低了 Token 成本。在我们的实测中，针对三个商品页，通过生成 Markdown 抓取脚本而非直接让 LLM 解析原始 HTML，我们省下了一百万个 Token（约减少了 62% 的消耗）。即便你只是为了个人用途——比如想寻找性价比最高的耳机——你也不必再手动去 CNET 查测评。你可以直接让自动化脚本扫过五页市场真实评价，并让 AI 从中为你选出最佳产品，同时完美绕过 Cloudflare 等拦截系统的封锁。

MCP 工具链、预建 API 与高保真浏览器模拟

为了进一步拓展 AI 的能力边界，MCP 为代理提供了 66 种内置工具。它可以发送简单的 Curl 请求，系统会自动在后台解决验证码、注入恰当的 Header 和 Cookie 参数，伪装成合法浏览器并获取 HTML 响应。而更高效的方法是使用我们为不同领域预建的 500 多个 API。例如针对 Amazon（亚马逊），你的代理甚至不需要编写任何爬虫脚本，只需通过 API 发送请求，就能直接获取完全结构化的 JSON 数据。这种纯 JSON 的处理方式，消耗的 Token 甚至不到 Markdown 方案的十分之一。

对于那些涉及深度交互（如 Skyscanner 的航班查询，其 URL 往往被哈希加密处理）或具有严格地理位置限制的网站，MCP 可以随时唤醒我们在云端部署的远程浏览器（Remote Browser）。我可以立刻在本地指令上千个挂载美国 IP 的云端浏览器同时启动。

这些浏览器具备极高的行为拟真度（Human-like Behavior）。它们绝不会像传统脚本那样瞬间完成“瞬移点击”，而是完全基于人类真实的预录制轨迹来移动鼠标。当执行打字操作时，输入速度会呈现自然的快慢起伏，甚至会故意制造打字失误并进行回删。正因如此，无论目标网站的安全追踪器多敏感，AI 的行为在服务器看来都与真人毫无二致。在如此强大的底层掩护下，即便代理使用的是 Claude Haiku 这样轻量级的底层模型，也足以出色地完成所有网页漫游任务。

数据合法性边界与个人自动化场景

这项技术并非只是面向下载百万级数据的企业客户，它同样能彻底改变我们的生活方式。举个例子，当我在寻找新公寓时，我利用 CloudCrawl 设定了一个监听系统，要求它每半小时扫描一次特定区域，只要出现符合我预算的私人房源就立刻通知我。没过几天，我就收到了符合要求的推送，现在我已经成功搬了进去。同样地，你也可以用这个逻辑，让代理去为你盯盘预订那些永远一席难求的热门餐厅。

但在拥抱这些强大自动化能力的同时，我们必须坚守一条底线：我们仅处理公开数据（Public Data）。系统绝不会越过登录墙去触碰私人数据，我们也不主动勾选同意网站的防爬虫条款。因为一旦你创建账户并接受了《服务条款》，如果随后使用自动化机器人抓取，公司是完全可以起诉你的。这也正是为何最近新闻里频繁出现 LinkedIn 等巨头到处发律师函的原因。在这个时代，数据就是新的石油。特别是自从 Elon Musk 接管 Twitter 后，原本极其开放的平台数据也被迅速封锁保护了起来。

然而，公开数据的本质就是公开的。在这点上，我们曾经在法庭上面对过 Meta 和 Elon Musk，并成功赢得了这些诉讼。法官的裁决逻辑非常简单：它就像你走在马路上，记下了一家商店柜台上的标价，然后把这些信息分享或出售给别人。公开可得的数据，无论你采用何种方式阅览、如何分析处理，它的公共属性都不会改变。