机器人领域的数据荒漠

陈茜: 问你个问题，机器人领域最羡慕 AI 大语言模型领域的什么？答案是数据。你猜对了吗？我们没有用于训练机器人的数据，网络上没有，现有的视频数据远远不够。当 Scaling Law（缩放定律） 让大语言模型一路狂飙，用万亿参数涌现一代又一代更强大的智能之际，机器人领域却被数据荒漠所困，让具身智能的泛化性和自主性进展迟缓。

为什么 AI 能用的数据，机器人用不了？机器人的四层数据金字塔是如何运作的？每一层的进展和技术困境分别是什么？以及我们如何才能解决掉机器人的数据难题呢？这期视频继续我们的“机器人专辑”，我们飞到上海走进了机器人数采工厂，甚至尝试了一下“遥操作采集员”这份工作，并和 Sharpa 等机器人公司聊了聊机器人数据的技术路线与未来发展。

机器人数据的独特性

陈茜: 什么是机器人数据？它跟 AI 大语言模型以及图片视频模型的数据有什么不同呢？大语言模型是靠“吃掉互联网”变聪明的，GPT-4 的训练数据量以万亿 token 计。简单来说，AI 生文、生图、生视频的参数都可以在互联网上找到。大语言模型用的是“世界的文本语言”，图像模型用的是“世界的瞬间截图”，视频模型用的是“世界的连续变化”。

而机器人需要的数据，是具身本体在真实物理世界里和具体物体发生具体交互时，产生的多维度传感器信号：视觉、力觉、关节位置、电机控制量，全部要精确同步、时间戳对齐，才能够构成一条有用的训练轨迹。

姚卯青: 这些信息从来没有被系统性地记录过。它的难点就在于，这些数据天然是不存在互联网上的，它需要我们去以某种方式采集它。无论是真实环境还是虚拟世界，都需要布设机器人、搭建场景，引入遥操人员。

张凯峰: 我觉得数据最大难点在于，我们没有办法采集到机器人去操作的数据（机器人自己干活的数据），而更能采集到的是人在操作的数据。操作员是感受不到机器人的感受的，这就是整个行业数据困境的根源。

第一层：遥操真机数据

陈茜: 如今行业摸索出了四条并行的路线，构成了一个金字塔。金字塔的顶层就是遥操数据，又被称为“真机数据”。遥操员通过外骨骼或遥操系统，实时操控机器人在真实场景里完成操作。这层数据信息最完整，真实的物理接触和不确定性是今天让机器人落地的核心原材料。我们来到上海 智元机器人 的数据采集工厂，这里有 200 台机器，每个机器配备采集员。

某金牌采集员: 好的数据采集员和差的采集员，效率可能有 3 倍的差距。一个有天赋的采集员首先要协调性好、空间感特别好，因为他在隔空控制另外一个身体，没有直观反馈，更多只能通过肉眼来闭环。机器人的手臂和人的手臂构型也不一样，人能达到的姿态机器未必能。

陈茜: 就算是专家水平的遥操员，也不一定每一条都是有效数据。

姚卯青: 一个专业遥操员 8 小时工作，平均产出 2-3 小时有效数据，大约占 1/4。真机数据的优势是准确，但代价是贵、慢、不容易指数级扩张。

陈茜: 觅蜂科技 正在将真机数据做成一站式的物理 AI 数据服务平台。他们 2026 年的真机遥操产能接近 200 万小时，规划采集约 800 万小时的 Human-Centric 数据。这就是机器人行业中的“石油业务”。

第二层：仿真合成数据

陈茜: 金字塔第二层是仿真合成数据，这是规模效应最极致的路线，也是英伟达重点押注的。英伟达 Isaac Lab 可以在单台 GPU 上并行运行成千上万个虚拟机器人同时训练。Sharpa 的乒乓球机器人就是用纯仿真数据在 40 小时内训练出来的。

张凯峰: 我们最近跟英伟达合作了一个触觉仿真工具叫 Tacmap。它用物体和指尖穿膜的深度图作为介质，在仿真里高效得到 Deformation map（形变图）。现实中我们通过翻译模型将原始图像翻译成形变图，实现了精细化操作的 Sim-to-Real。

陈茜: 但这条路线有一个巨大的漏洞：Sim-to-Real Gap（仿真到现实的鸿沟）。真实世界的物理要复杂得多，摩擦系数、重力细节、软性材料形变等，物理引擎很难完整复现。

张凯峰: 现在很难解决动力学的 Sim-to-Real Gap，即环境 dynamics（动力学）的迁移，这需要科学方法上的创新。此外还有 Real-to-Sim Gap，即无法把无限细节的真实世界准确搬进仿真。

第三层：动作捕捉数据

陈茜: 第三层是动作捕捉数据（MOCAP）。这个派系用光学设备或视觉算法追踪人手运动轨迹，映射到机器人上。Physical Intelligence 的 π0 系列就大量使用了这类数据。它的优点是数据质量高，对复杂动作特别有效，比如机器人跳舞。

张凯峰: 但这里有 Embodiment Gap（具身鸿沟）。一是视觉差异（人手 vs 机器人手），二是状态差异（自遮挡问题）。还有一个难题叫 Functional Retargeting：机器人只是在模仿动作形状，而不是理解动作要完成什么。动捕数据常会出现关节角度超限、力矩不够、平衡失败等问题，因此有时被视为“低质量数据”。

第四层：海量视频数据

陈茜: 第四层是互联网上的海量视频数据，这是唯一不缺的原材料。但它能教会机器人什么呢？

姚卯青: 更多是学习通用表征和物理规律的粗浅认知，还停留在一个阶段。视频里没有动作信号，只有结果。

陈茜: 这里有两个关键概念：**Egocentric（自我中心数据）**和 Human-Centric（人类中心数据）。Egocentric 是以机器视角看出去的第一视角视频；Human-Centric 是围绕人类意图和偏好构建的视频。两者的交集——人类第一视角完成任务的数据，被视为视频数据中最有价值的部分。

特斯拉在 2025 年 6 月将采集方式换成了摄像机头盔，录制工人日常视频训练 Optimus。这符合马斯克的第一性原理。而 Sharpa 发布了 CraftNet，用触觉反射层 System 0 做补偿，使得低质量动捕和视频数据也能“点石成金”。

寻找数据的“黄金配方”

陈茜: 这四层金字塔各自有优劣。最精确的真机数据最稀缺，最易获取的视频数据质量最低。目前的共识是将它们混合使用。这个混合的配方是什么？

姚卯青: 目前很难说有黄金配方。因为技术路线还在探索，且训练目标不同。有的场景要求极致的工业成功率，有的则要求高泛化性，对数据的要求也不一样。

张凯峰: 对于复杂任务，各层数据的轨迹数量比大约是：遥操与动捕 1:100，动捕与互联网视频 1:100。遥操数据虽仅占万分之一，却是决定模型能否落地的关键。

中美不同的数据策略

陈茜: 中国机器人公司如 智元，倾向于建立数据工厂，利用人力成本优势打造护城河。而在硅谷，几家公司在走“捷径路线”。Physical Intelligence (PI) 押注强化学习（RL），让机器人通过真实部署自我改进。

陈茜: 但 RL 路线有三个未解难题：奖励函数量化难、安全边界代价大、数据归属权模糊。Figure AI 则与 Brookfield 合作，在真实的写字楼和住宅中拍摄视频训练 Helix 模型。整个硅谷正在往视频数据靠，减少对遥操的依赖。

开源生态与数据飞轮

陈茜: 2024 年，智元 将百万条遥操数据 AgiBot World 免费向全球开放。这背后是因为行业面临认知危机：没有公共数据基准（Benchmark）。GR00T N1 训练所用的真实数据约 80% 来自该数据集。

姚卯青: 具身智能的数据飞轮绝对存在。机器人更需要飞轮，因为它的容错度低。我们需要在现实部署中触发高价值数据回流，不需要 100% 回流，可能 5% 以内会动的东西或失败场景就够了。

陈茜: 具身智能的 Scaling Law 是否成立？

姚卯青: 语言模型数据翻倍能力就会涌现，但机器人行业目前还没有确切答案。我们现在能看到物体层面的泛化和环境层面的泛化，但在任务层级的泛化（举一反三）还没有可信证据。这是整个行业走向下一步进化的钥匙。

陈茜: 在机器人大规模部署之前，我们可能都不会有答案。一旦麦当劳每家店各放一台机器人，产生的具身训练数据将呈数量级增长。我们距离找到这把钥匙是否更近了？我们拭目以待。