---
author: 硅谷101
date: '2026-05-15'
guest: ''
layout: post.njk
source: https://www.youtube.com/watch?v=ZvHIuIIZ3Is
speaker: 硅谷101
tags:
  - robotics-data
  - embodied-ai
  - sim-to-real
  - data-pyramid
  - scaling-law
title: 揭秘具身智能数据荒漠：机器人如何跨越“从知道到会做”的鸿沟？
summary: 本访谈深入探讨了机器人领域面临的核心挑战——数据荒漠。通过实地探访数采工厂并对话行业专家，详细拆解了由遥操作、仿真、动捕及视频构成的机器人四层数据金字塔。分析了各技术路线在处理 Sim-to-Real、具身鸿沟及泛化性上的优劣势，并展望了开源生态与数据飞轮对具身智能 Scaling Law 的推动作用。
insight: ''
draft: true
series: ''
category: ai-ml
area: tech-engineering
project: []
people: []
companies_orgs:
  - 智元机器人
  - Sharpa
  - 英伟达
  - Tesla
  - Physical Intelligence
  - Figure AI
  - 觅蜂科技
  - Google DeepMind
products_models:
  - GR00T N1
  - π0
  - Optimus
  - RT-2
  - Open X-Embodiment
  - Isaac Lab
media_books: []
status: evergreen
---
### 机器人领域的数据荒漠

**陈茜**: 问你个问题，机器人领域最羡慕 AI 大语言模型领域的什么？答案是数据。你猜对了吗？我们没有用于训练机器人的数据，网络上没有，现有的视频数据远远不够。当 **Scaling Law（缩放定律）** 让大语言模型一路狂飙，用万亿参数涌现一代又一代更强大的智能之际，机器人领域却被**数据荒漠**所困，让**具身智能**的泛化性和自主性进展迟缓。

为什么 AI 能用的数据，机器人用不了？机器人的四层数据金字塔是如何运作的？每一层的进展和技术困境分别是什么？以及我们如何才能解决掉机器人的数据难题呢？这期视频继续我们的“机器人专辑”，我们飞到上海走进了机器人数采工厂，甚至尝试了一下“遥操作采集员”这份工作，并和 **Sharpa** 等机器人公司聊了聊机器人数据的技术路线与未来发展。

### 机器人数据的独特性

**陈茜**: 什么是机器人数据？它跟 AI 大语言模型以及图片视频模型的数据有什么不同呢？大语言模型是靠“吃掉互联网”变聪明的，GPT-4 的训练数据量以万亿 token 计。简单来说，AI 生文、生图、生视频的参数都可以在互联网上找到。大语言模型用的是“世界的文本语言”，图像模型用的是“世界的瞬间截图”，视频模型用的是“世界的连续变化”。

而机器人需要的数据，是具身本体在真实物理世界里和具体物体发生具体交互时，产生的**多维度传感器信号**：视觉、力觉、关节位置、电机控制量，全部要精确同步、时间戳对齐，才能够构成一条有用的训练轨迹。

**姚卯青**: 这些信息从来没有被系统性地记录过。它的难点就在于，这些数据天然是不存在互联网上的，它需要我们去以某种方式采集它。无论是真实环境还是虚拟世界，都需要布设机器人、搭建场景，引入**遥操人员**。

**张凯峰**: 我觉得数据最大难点在于，我们没有办法采集到机器人去操作的数据（机器人自己干活的数据），而更能采集到的是人在操作的数据。操作员是感受不到机器人的感受的，这就是整个行业数据困境的根源。

### 第一层：遥操真机数据

**陈茜**: 如今行业摸索出了四条并行的路线，构成了一个金字塔。金字塔的顶层就是**遥操数据**，又被称为“真机数据”。遥操员通过外骨骼或遥操系统，实时操控机器人在真实场景里完成操作。这层数据信息最完整，真实的物理接触和不确定性是今天让机器人落地的核心原材料。我们来到上海 **智元机器人** 的数据采集工厂，这里有 200 台机器，每个机器配备采集员。

**某金牌采集员**: 好的数据采集员和差的采集员，效率可能有 3 倍的差距。一个有天赋的采集员首先要协调性好、空间感特别好，因为他在隔空控制另外一个身体，没有直观反馈，更多只能通过肉眼来闭环。机器人的手臂和人的手臂构型也不一样，人能达到的姿态机器未必能。

**陈茜**: 就算是专家水平的遥操员，也不一定每一条都是有效数据。

**姚卯青**: 一个专业遥操员 8 小时工作，平均产出 2-3 小时有效数据，大约占 1/4。真机数据的优势是准确，但代价是贵、慢、不容易指数级扩张。

**陈茜**: **觅蜂科技** 正在将真机数据做成一站式的物理 AI 数据服务平台。他们 2026 年的真机遥操产能接近 200 万小时，规划采集约 800 万小时的 **Human-Centric 数据**。这就是机器人行业中的“石油业务”。

### 第二层：仿真合成数据

**陈茜**: 金字塔第二层是**仿真合成数据**，这是规模效应最极致的路线，也是**英伟达**重点押注的。**英伟达 Isaac Lab** 可以在单台 GPU 上并行运行成千上万个虚拟机器人同时训练。**Sharpa** 的乒乓球机器人就是用纯仿真数据在 40 小时内训练出来的。

**张凯峰**: 我们最近跟英伟达合作了一个触觉仿真工具叫 **Tacmap**。它用物体和指尖穿膜的深度图作为介质，在仿真里高效得到 **Deformation map（形变图）**。现实中我们通过翻译模型将原始图像翻译成形变图，实现了精细化操作的 **Sim-to-Real**。

**陈茜**: 但这条路线有一个巨大的漏洞：**Sim-to-Real Gap（仿真到现实的鸿沟）**。真实世界的物理要复杂得多，摩擦系数、重力细节、软性材料形变等，物理引擎很难完整复现。

**张凯峰**: 现在很难解决动力学的 Sim-to-Real Gap，即环境 dynamics（动力学）的迁移，这需要科学方法上的创新。此外还有 **Real-to-Sim Gap**，即无法把无限细节的真实世界准确搬进仿真。

### 第三层：动作捕捉数据

**陈茜**: 第三层是**动作捕捉数据（MOCAP）**。这个派系用光学设备或视觉算法追踪人手运动轨迹，映射到机器人上。**Physical Intelligence** 的 π0 系列就大量使用了这类数据。它的优点是数据质量高，对复杂动作特别有效，比如机器人跳舞。

**张凯峰**: 但这里有 **Embodiment Gap（具身鸿沟）**。一是视觉差异（人手 vs 机器人手），二是状态差异（自遮挡问题）。还有一个难题叫 **Functional Retargeting**：机器人只是在模仿动作形状，而不是理解动作要完成什么。动捕数据常会出现关节角度超限、力矩不够、平衡失败等问题，因此有时被视为“低质量数据”。

### 第四层：海量视频数据

**陈茜**: 第四层是互联网上的海量视频数据，这是唯一不缺的原材料。但它能教会机器人什么呢？

**姚卯青**: 更多是学习通用表征和物理规律的粗浅认知，还停留在一个阶段。视频里没有动作信号，只有结果。

**陈茜**: 这里有两个关键概念：**Egocentric（自我中心数据）**和 **Human-Centric（人类中心数据）**。**Egocentric** 是以机器视角看出去的第一视角视频；**Human-Centric** 是围绕人类意图和偏好构建的视频。两者的交集——人类第一视角完成任务的数据，被视为视频数据中最有价值的部分。

**特斯拉**在 2025 年 6 月将采集方式换成了摄像机头盔，录制工人日常视频训练 **Optimus**。这符合马斯克的第一性原理。而 **Sharpa** 发布了 **CraftNet**，用触觉反射层 System 0 做补偿，使得低质量动捕和视频数据也能“点石成金”。

### 寻找数据的“黄金配方”

**陈茜**: 这四层金字塔各自有优劣。最精确的真机数据最稀缺，最易获取的视频数据质量最低。目前的共识是将它们混合使用。这个混合的配方是什么？

**姚卯青**: 目前很难说有黄金配方。因为技术路线还在探索，且训练目标不同。有的场景要求极致的工业成功率，有的则要求高泛化性，对数据的要求也不一样。

**张凯峰**: 对于复杂任务，各层数据的轨迹数量比大约是：遥操与动捕 1:100，动捕与互联网视频 1:100。遥操数据虽仅占万分之一，却是决定模型能否落地的关键。

### 中美不同的数据策略

**陈茜**: 中国机器人公司如 **智元**，倾向于建立数据工厂，利用人力成本优势打造护城河。而在硅谷，几家公司在走“捷径路线”。**Physical Intelligence (PI)** 押注强化学习（RL），让机器人通过真实部署自我改进。

**陈茜**: 但 RL 路线有三个未解难题：奖励函数量化难、安全边界代价大、数据归属权模糊。**Figure AI** 则与 **Brookfield** 合作，在真实的写字楼和住宅中拍摄视频训练 **Helix 模型**。整个硅谷正在往视频数据靠，减少对遥操的依赖。

### 开源生态与数据飞轮

**陈茜**: 2024 年，**智元** 将百万条遥操数据 **AgiBot World** 免费向全球开放。这背后是因为行业面临认知危机：没有公共数据基准（Benchmark）。**GR00T N1** 训练所用的真实数据约 80% 来自该数据集。

**姚卯青**: 具身智能的数据飞轮绝对存在。机器人更需要飞轮，因为它的容错度低。我们需要在现实部署中触发高价值数据回流，不需要 100% 回流，可能 5% 以内会动的东西或失败场景就够了。

**陈茜**: 具身智能的 **Scaling Law** 是否成立？

**姚卯青**: 语言模型数据翻倍能力就会涌现，但机器人行业目前还没有确切答案。我们现在能看到物体层面的泛化和环境层面的泛化，但在任务层级的泛化（举一反三）还没有可信证据。这是整个行业走向下一步进化的钥匙。

**陈茜**: 在机器人大规模部署之前，我们可能都不会有答案。一旦麦当劳每家店各放一台机器人，产生的具身训练数据将呈数量级增长。我们距离找到这把钥匙是否更近了？我们拭目以待。