---
author: AI Engineer
date: '2026-09-24'
guest: ''
layout: post.njk
source: https://www.youtube.com/watch?v=I_VEh7XSwyc
speaker: AI Engineer
tags:
- physical-ai
- robotics-training
- world-model
- video-indexing
- computer-vision
title: 物理AI的新瓶颈：如何从海量公开视频中检索高价值训练数据
summary: 随着大模型向具身智能与物理世界模型演进，机器人训练面临严重的数据饥渴。针对人工遥操作成本高、任务指示偏差大以及仿真环境物理失真等痛点，Bright Data提出基于动作级索引的多模态视频检索技术，从海量公开视频中精准切片提取现实物理交互，破解具身智能的数据与算力损耗瓶颈。
insight: ''
draft: true
series: ''
category: ai-ml
area: tech-engineering
project: []
people: []
companies_orgs:
- Bright Data
- Google
- Meta
- Waymo
products_models:
- YouTube
- Stable Video Diffusion
media_books: []
status: evergreen
---
### 具身智能的数据荒漠：物理世界模型的核心瓶颈
在人工智能技术快速迭代的浪潮中，**物理世界智能**（Physical AI: 能够理解物理规律、感知环境并在物理世界采取行动的具身智能系统）正在成为下一个核心前沿。回顾技术演进路径：**谷歌**（Google）在2022年开始尝试通过图像引导机器人付诸现实操作；2023年多模态模型迎来跨越式发展，AI开始具备处理复杂连续任务的能力；而到了2024年，开源模型的涌现彻底改变了技术生态的竞争规则，各大前沿实验室均获得了顶尖AI模型的使用权，并将其快速部署于人形机器人与自动驾驶场景中。诸如在旧金山街头运行的 **Waymo** 无人驾驶汽车，本质上就是依靠车载摄像头和传感器记录的巨量行车数据，驱动物理AI模型学会独立应对复杂的现实道路环境。
然而，物理AI系统的落地速度受制于底层最坚固的壁垒——训练数据的极度匮乏。没有高质量数据的输入，任何人工智能架构都只是无法运转的空盒子。对比不同领域的数据资产规模可以清晰看出鸿沟：驱动聊天机器人的 **大语言模型**（Large Language Model: 基于海量文本序列预测下一词的生成式架构）拥有数万亿级的文本词元（Tokens）；用于图像生成的扩散模型拥有数十亿张高质量打标图片作为支撑；但在**机器人学**（Robotics）领域，目前可用的公开规范数据集仅有约100万个视频。这种数量级上的悬殊差距，直接构成了机器人学习物理世界常识与通用操作的最大阻碍。
Original English Source
大家好。恭喜。感谢那些直接就到了我这儿。致那些在此的人们休息一下，也谢谢你。。我会试试你。寓教于乐新事物。所以，再次，我的名字是拉斐尔。我在……工作明亮数据。我已经在大数据工作了。超过8年。在明亮数据中我们收集数据和我们正在努力实施创新。所以今天我想要谈谈搜索学习视频世界代理人模型。我们有点让我们来解释一下它是什么。今天怎么样？必须构建一个系统，谁能看见，理解并采取行动？或者错误的？我是说，我们已经发现的是，什么是人工智能？我们一直都是他我们正在进步。它，你知道，不知怎么的决定了。但现在最难的事情——哪个把数据给他？为了人人都知道，人工智能没有数据——就这么简单盒子。难道不是吗？所以让我带你回到过去一点点历史。难道不是吗？在谷歌在2022年进行了教学努力付诸实际行动通过图片。难道不是吗？然后，继续2023年发生的人工智能跳跃开始管理多部作品。在2024年，它出现了开源软件。这里游戏规则改变了。立刻似乎已打开代码，所有实验室获得了人工智能的使用权然后开始在……中实施机器人。难道不是吗？和现在这些模型已经管理人形机器人。你会看到他们中的一些人。当然，他们大部分都在这里偏僻的管理。但在圣Francisco 就是 Waymo，就是那个。无人驾驶。这不是很酷吗？什么时候这是我第一次坐这样的车。车，我想我会死，但那是实际上非常不错吧？作为你觉得她是什么样的人？你学会开车了吗？学习独立于数据从摄像机上看视频录像机，难道不是吗？在每个这辆车有数字录像机。所以，如果你提供这个人工智能，他可以了解如何管理开车。所以，正如我之前所说……据称人工智能已不复存在。难点在于……数据才是最重要的。而这正是我要谈的。聊聊吧？聊天 LLM 有万亿个单词和是短信，对吧？所以在我们人很多。文本数据法学硕士研究。为了图像生成我们有数十亿标记图片这也非常巨大。数据库。但是……机器人技术只是大约一百万视频。这些非常小，限量套装关于如何的数据机器人正在做一些事情。难道不是吗？
### 人工采集与模拟仿真的局限：数据扩展性困境
面对机器人训练数据的枯竭，目前行业主要依赖两种传统路径，但二者均存在不可忽视的系统性缺陷。第一种路径是雇佣人工进行遥操作或穿戴设备记录。许多具身智能公司耗费巨资招募人员，按照脚本指示逐一记录日常动作（例如开门、在椅子上就坐）。但这种采集方式存在严重的**观察者偏见**（Observer Bias: 受试者在知晓被拍摄或记录时产生的非自然行为扭曲）。当人类被明确告知去完成特定指令时，其动作节奏、发力角度和姿态往往显得僵硬而不自然；一旦离开镜头，人类在现实生活中的真实交互完全是另一回事。更为致命的是**扩展性瓶颈**（Scalability Bottleneck）：一个人每天至多连续录制8小时，即便动用大量人力耗费数年，采集到的行为数据规模依然极为有限，且在直觉行为样本上存在严重失真。
第二种路径则是依赖**合成虚拟仿真**（Simulation: 在数字化虚拟引擎中通过物理模拟生成训练样本）。虽然仿真模拟在边际成本上具有极高优势，但当前虚拟环境与真实物理世界之间存在难以弥合的“现实鸿沟”（Sim-to-Real Gap）。即便是最逼真的电子游戏或物理引擎，其动力学模型依然无法完全重现现实中摩擦力、流体阻力、重力瞬态变化以及材料形变等复杂微观物理法则，直接用于高精度的通用物理AI和机器人训练显然远远不够。在现成专业数据集规模停留在百万级视频的当下，要实现具身智能的真正突破，必须寻找具备指数级扩展能力的新型数据源。
Original English Source
所以，这个想法就是许多公司今天就付钱给别人记录某些操作。真的？例如：请写信告诉我你的近况。你打开门，或者写下你的坐姿。在椅子上。但问题在于……当一个人被告知她去做某事。这显得很不自然。这就是我称之为“指示，你明白吗？如果你他们说要把方法写下来你打开门，你这样做是为了有人，而且根本不是。就像你进来就好家。所有运动其他的。那么它们合适吗？这些数据用于训练机器人？在我看来，不，这些说法带有偏见。未提供的数据必要的'结果。当然，机器人不会是那样的。有效'的，例如直观案例行为，对吧？我列举了几个幻灯片上的例子是'的？所以，呃……数据，精心挑选的，它是与数据不同，我们得到从侧面看，对吧？除了，人们的行为完全不同他们正在被拍摄。。你们有些人知道这一点。有些人他们不爱拍照。当你指向他们用相机拍摄，他们正在发生变化。但在现实生活中的一切完全不同。这就是我们究竟想做什么在 Bright Data 中解决，真相？呃……又来了是的，为什么是普通的那些？数据来源还不够，对吧？是的？虚拟的模拟成本低廉，但是，你知道，每个人玩电子游戏。电子游戏中的物理学几乎不相上下，但它不够机器人训练。是的？手动控制人类控制机器人，——这有可能，但是一天多少小时可以录制工作？有多少人必须从大规模地，正确的？我穿着请注意，你可以记录8小时每天。你工作几个小时？一年后你能拿到吗？它可扩展性不强。当然，它们早已存在。现成的数据集但是，正如我所说，它们很小。就这一页他们的时刻大约一百万视频。那它到底是什么？选择？
### 公共视频的物理常识与海量噪声悖论
破局的根本路径在于直接挖掘**开放互联网视频**（Public Web Video: YouTube、Vimeo等平台上数十亿小时的公开视频流）。互联网是人类社会最大的天然行为与物理互动数据库。以 **YouTube** 为例，平台上存储着数十亿条视频，包含以第一人称视角开门、烹饪、组装等日常行为的累计时长高达数百万小时。这些视频本质上是极高纯度的真实世界物理教材：每一次摔倒、碰撞或日常操作，都完整展示了重力影响、运动轨迹、因果关系（Cause-and-Effect）以及人与物体互动的真实力学反馈。
实验已经证实了海量无标注视频的有效性。以 **Meta** 的物理智能研究为例，研究团队让模型在约100万小时真实世界视频中学习物理常识后，仅需补充62小时真实机器人的物理操作数据进行对齐与微调，就能让机器人成功学会自主移动和环境交互。这表明物理AI无需完全依赖高成本仿真，海量视频足以帮助模型构建物理世界常识。然而，随之而来的挑战在于**高熵噪声**（High-entropy Noise）：公开视频并非为机器人量身定制，直接全量下载处理会导致惊人的算力与存储浪费。在许多视频生成与世界模型训练中（例如 **Stable Video Diffusion**），高达74%乃至96%的下载视频因缺乏明确物理动作、镜头抖动或语义无关而被直接清洗丢弃。盲目抓取海量长视频，不仅占满了存储吞吐，更导致了极其高昂的计算资源损耗。
Original English Source
另一种选择是互联网。我们开始吧我们来思考一下……YouTube。有多少个视频YouTube？我不知道。 5数十亿个视频？这些有多少种操作？视频可以重新制造这个机器人？我我的意思是，拜托。我们来思考一下。你好吗？你觉得多少？有一个视频，其中一个人打开门被拆除了第一人称？数百万小时。你你会感到惊讶的。所以，每日网络视频证明重力运动，或错误的？所以原因和当然，后果就是如此。事故，最大的因果，真相？人们如何表现物体。和数十亿小时——极佳的材料机器人训练。什么是啊，但问题出在哪里呢？？问题在于……很吵，对吧？在例如，是的？所以，其中一个模型Meta训练的AI：他们给了她亲近一百万小时的视频来自现实世界，以及那时就有必要了。仅62小时真实的机器人技术实际数据管理现实机器人。所以，如果思考一下，数据是公开集会，真的？所以，他们训练机器人一些随机的事情，以及62小时内他开始工作移动。所以，没有模拟这是必要的。自主机器人技术迅速到货。但视频并非如此。展示如何机器人正在移动吗？错误的？所以你可以想想看：嗯，听着，多少对工作有用看看一个人将水倒入一杯？有通过这些方法人工智能还可以区分实际上学习正在发生'的行动视频上。如果你拿两帧，一帧一帧框架，人工智能测量这种变化，这种差异，对吧？所以，你有图片 A 和图片 B，以及两者之间他们是一个小规模的组织，人工智能的变化实际上可以衡量这一变化。所以如果继续这样做在……期间整个视频中，人工智能可以实际计算角度、距离等等需要什么机器人训练真相？所以，我们不绝对需要但是，传感器数据当然，还有视频本身。您可以从中下载YouTube，你来自那里你得到的是数据，而不是一定会付出100%的努力结果。你需要完成顶部还有一些收尾工作，但它是可以买到的。这是，以及您所需的一切要做的事情是处理它。所以仍然举几个例子，是的。？例如，
### 先检索后采集：动作级视频索引的技术实现与商业赋能
针对96%视频沦为废弃算力垃圾的行业痛点，**Bright Data** 提出了从根本上重塑管线的解决方案——“先精准检索，再定向采集”（Search, then collect）。传统的视频采集是以整段长视频的标题关键词为索引维度，无法感知视频内部的动态物理行为。而新型的**动作语义索引**（Action-level Semantic Indexing: 通过视觉模型衡量前后帧变化，量化计算动作幅度、肢体关节角度、距离位移与物体互动状态的细粒度视频片段索引技术）能够直接透视帧级内容。模型通过对比帧A与帧B之间的像素差异与光流变化，结合手部交互几何图谱，将无序的长视频拆解为具有物理动作标签的高保真片段。
依托此项技术，平台已将最初约1亿条视频的索引体量扩张至超过 **11亿条视频**。开发者与企业无需将数千小时全长视频下载至本地再行剪辑，而是能够直接通过API输入结构化或自然语言的动作检索条件（例如：“在水槽中用海绵涂抹洗洁精洗碗去油，经水冲洗后放置在沥水架上”、“双手将不同材质的T恤折叠整齐”）。系统即时返回经过毫秒级精准裁剪的视频片段、时间戳及源URL。这种架构彻底消除了无效画面的带宽与算力开销，直接输出随时可喂入物理AI与机器人模型的即用型数据资产。
除了为人形机器人与自动驾驶（例如学习俄罗斯行车记录仪中的恶劣天气碰撞、红绿灯判断、转弯避让等边缘案例）输送高价值物理样本外，动作级多模态索引也正在重构传统商业分析逻辑。例如在**品牌上下文检测**（Brand Context Analytics）场景中，品牌方不再受限于视频标题是否包含品牌名，而是能穿透到播客画面或生活Vlog中，直接检索某款化妆品被主播拿起并摆放在桌上的具体交互片段；在游戏领域，玩家亦可通过特定关卡操作行为直接定位对应动作切片。通过把整个互联网公开视频流重构为可被动作语义检索的结构化物理数据库，具身智能与物理世界模型正在迎来数据获取效率的质变。
Original English Source
在视频中，他们训练时宇宙运转，它们约96%的人拒绝了视频。这是什么？方法？他们下载量达一百万次数小时的视频，却只有 4%确实很有用。其他一切被拒绝。它浪费计算力量。它浪费容量。这是浪费钱。避难所。很简单。很多用途花费的金额。因此，稳定的视频扩散过滤掉74%的视频正在加载。这就是为什么在 Bright Data 我们尝试解决这个问题，并且这样做向前走一步。所以，我们我们建议：首先搜索，然后收集。我们实际索引视频并允许你需要寻找特定的行动。因为我们我们谈论的是一个人，那便打开了大门。我们继续使用此例子。在我们的您可以访问的平台输入详细信息，对吧？要求。男人洗澡餐具，有人正在折叠T 恤衫等等。我们我们将提供片段视频显示这些行动。这是什么？方法？这意味着，递减收款损失数据，保存储物空间和吞吐量能力，对吧？所以，再多一点关于它的工作原理。当然，这取决于你。你正在寻找的是什么？我们我们正在寻找在数十亿人之中之前索引视频并非按关键词言语，但行动，以及我们为您提供即用型产品使用夹子。和当然，他们已经修剪和已准备就绪你的学业。所以你需要的一切要做的事情——这只是其中的一小部分。或许是为了处理……对于运动传感器，距离等等。而且它们准备好了装载到工作。我有小例子视频演示了它是如何运作的实际上有效我们的平台。让我只需按下“如果我“播放”，我可以找到它。这里我们看到一个人用手洗碗水槽，移除用海绵擦掉盘子上的油脂以及肥皂，包括冲洗和将菜肴摆放在大型烘干机手部互动计划。现在发生了什么？在数十亿个视频。这段视频有点老了。有仅索引大约1亿，但现在我们已经拥有它们了。11亿。而这字面上来说，嗯，视频稍微快一点，所以别浪费时间。但它会给你视频片段中的人他们负责洗碗。你呢您可以在这里看到我们所有的视频我们发现。部分这些视频可以一点也不与洗涤有关菜肴。这可能是厨房清洁。或者别的什么。这是另一个例子。例如，一个人创作不同的作品服装类型。真的？所以，再多一点描述。越多您提供的描述，你投入的越多回应。所以，再一次，一点点加快速度。让我们来看看。我想，这样你就能明白这是什么了。可能是任何事。施暴者化妆品。假设在你拥有一个品牌，而且你想找个视频，你的品牌在哪里？出现。这一切也可以提供。所以，你看……人们正在叠衣服。所以现在你可以教机器人叠衣服。当然均可通过以下方式获取蜜蜂。我们并不指望人们会怎么做？是手工制作的，对吧？？所以你可以通过 API 运行此程序。你进去了答案片段视频和网址。我们我们提供了一个链接原视频如果你想要的话审查。但关键在于我们可以我们可以提供视频片段你的教育机器人技术。我不是当然，有人吗？你目前正在教书机器人。因此我我再给你一个。例如尽量有用。假设你有品牌，你想要了解你的品牌在哪里演示视频。视频标题并非之所以重要，是因为它并不真地关心你产品。很简单。这个人正在写播客，但是你你看到一个女人化妆，你看，你的那份就在桌子上。化妆品品牌。现在你可以立即找到所有信息视频中你的已被使用无论品牌如何上下文很重要，对吧？按名称搜索视频，你没有你会发现，但多亏了视频索引你你可以找到的正是这个你感兴趣的。一个苹果从树木等等。所以，作为回应，我们我们提供时间戳，合格评定您的请求，当然，这个数字与框架相关的你正在寻找的是什么？那么，这会带来哪些改变？它变化很大，当然？较少的资源浪费。你不需要下载数百万小时的视频。你可以得到这些具体行动你感兴趣的。再说一遍，这极其对学习很重要机器人，因为噪音造成问题，是幻觉吧？？是的？这样可以消除噪音。这有什么用？不仅适用于机器人，而且当然，还有为了无人汽车。例如，WeMeo，对吧？从视频中学到视频录像机，以及YouTube上有数百万个这样的视频，亿万数小时的此类录音。你们谁喜欢注意事故发生情况，视频中注册员？我我相信每个人看到一些疯狂的事情在俄罗斯开车，对吧？这就是我们讨论的内容。我们在说话，对吧？关于那些免费视频使用权。当然？路人红灯时，那个人停在红灯，左转，右转等等。所有这些都可以是非常有用用于训练的数据以及其他任何世界模型，物理，对吧？机器人需要理解物理学。什么什么是重力？作为如何坐，如何走，如何移动。再次当然，你您可以提前多写下来。次数。现在我我正在和一些人交谈人们，他们有数百万人在为他们录音视频。嘿，你可以请告诉我你的感受你要开门吗？它疯狂。你为什么需要它？一百万人如果一切都已就绪，请执行网络？互联网是最大的基地之一数据。只为人们不完全是……那不是真的光使用，真相？我是说现在只剩下这一个了我们可进行的搜索——按关键词视频标题。当然，一个来源——全部公共视频网络在同一地点。我有我的意思是，我们有YouTube，Vimeo，我们有很多各种视频平台。数十亿，数以亿计学习时间数据就等着呢，直到你拿走它们为止采制。这是个新问题。我们的产品我们在 Bright Data 中创建，正确的？我们将视频编入索引你可以找到具体行动。任何-什么，你还能说什么？再想想是的，有可能。适用于品牌。这不仅如此用于训练数据。你能做的一切要想出一个办法，可能是一旦发生意外。或许你游戏玩家，想知道如何通过这一关但这样的视频不。所以你可以搜索：好的，人们通过该关卡电子游戏，对吧？任何事物。整个世界都是你的。所以，我会去取。结果。我不知道是否你有什么问题吗？如果你想联系我，谈谈这件事更大胆在领英上加我好友吧！。是的，我想要谢谢你注意力。我会一直在附近。Bright Data 支架，如果您你想聊聊吗？更多相关信息。是的。谢谢你们的光临。。