---
author: 硅谷101播客
date: '2026-07-16'
guest: ''
layout: post.njk
source: https://www.youtube.com/watch?v=Dxh1srVJr4s
speaker: 硅谷101播客
tags:
  - sim2real
  - 3d-data-modeling
  - embodied-ai
  - general-robotics
  - model-architecture
title: 机器人技术水平的评估与Sim2Real路径研究
summary: 文章探讨了如何通过演示来判断机器人公司的技术水平，重点分析了从二维数据到三维数据集的演进（如ImageNet到ShapeNet），以及仿真到现实（Sim2Real）的技术挑战。核心观点是，通用机器人的发展需要软硬件强绑定，并提出分层结构（底层操作与上层推理）作为应对开放世界复杂任务的关键策略。
insight: ''
draft: true
series: ''
category: ai-ml
area: tech-engineering
project: []
people: []
companies_orgs: []
products_models: []
media_books: []
status: evergreen
---
<!-- chunk 1/3 -->

### 能够代表机器人技术水平的Demo

哈喽大家好，欢迎收听《硅谷101》，我是泓君。之前我反复在播客里，跟机器人的公司讨论一个问题，就是说我们能不能通过一个demo，就判断一家机器人公司技术上的好坏。很多人告诉我的答案是不能。

原因在于，大家并不知道在这个demo之前，这些机器人公司有没有针对特定的环境去做适配。哪怕我们说只是在展出的前几天，它到现场去采集一下环境数据，可能都会对demo有很大的帮助。所以如果对环境做了更多的优化，机器人demo的效果就会更好。

而今天我们要聊的这家公司叫做苏度科技，它就敢在一个完全没有训练的新环境中去做demo，它的效果到底怎么样？

### 苏度科技与联合创始人苏昊的背景

说到苏度，在机器人的这条路上，其实有一个绕不开的名字，就是它的联合创始人苏昊。教机器人看懂世界的ImageNet有他，主流的机器人仿真器大多都和他的团队有渊源，连硅谷最火的那几家机器人公司，比如说像Physical Intelligence，谷歌的DeepMind的机器人团队，也都有他的学生和师弟师妹。可以说他们是这条路上开山一派。

而他自己现在最想啃的，也是机器人最难的那块骨头，就是让机器人动手。让机器人在开放世界动手有多难，他的合伙人韩铮是这么说的：机器人如果是要对于物体去做操作，它这个难度要高两到三个数量级。

### 机器人的上下分层结构路线

另外，我今年在跟很多机器人领域的人聊天的时候，大家一直认为在现在的机器人的训练方法和实现路径上是没有收敛的。韩铮他并没有站在硅谷主流的那一派路径上，他认为在今年的下半年，所有人都会重新回到他们现在正在走的这条路上。

我们有一个暴论，就是可能从今年的下半年开始，上下分层的这种结构，会重新再回到主流里边来。而且可能在之后大家选择的方案，推到商业化里边去，可能是最终的一个方法。

这期节目我们就来聊透三件事：机器人的3D数据从哪里来？Sim2Real（仿真到现实）这条路到底能不能走通？以及这场全球机器人竞赛，各大头部玩家他们的技术路径是什么，谁能真正地跑出来？

今天跟我在一起的嘉宾，是苏度科技的联合创始人与CEO韩铮。哈喽韩总你好。

泓君你好，很高兴来到《硅谷101》的节目。

### 苏度科技的全栈定位与模型侧重

我看你们现在做机器人其实也是很火，我看见新闻的消息是说，投资人基本上很难抢到你们的投资份额，因为现在其实做机器人的公司也非常的多。我初步把它分成两层：一层是造大脑的机器人，以硅谷的PI为代表的，其实这类的公司在硅谷我觉得还蛮多的，包括最近拿融资的估值140亿美元的Skild；还有一块就是说造身体，做人形跟做机械臂的机器人公司。这类机器人公司像马斯克的Optimus、宇树，包括Figure它算在哪一边，我们待会可以再详细地聊一聊。但是我觉得大家在初步看到一个机器人公司，跟看到它demo的时候，其实很难分清楚这个机器人公司到底是做什么的。所以开始的时候，您要不要简单给您的公司做一个定位，看看我们苏度在做机器人的哪个环节。

好的，我们其实是大脑和本体都做。其实也是现在很多的机器人公司都在强调的一点，就是要全栈，要做整个的系统。但整个团队的背景，其实是在将近10年以前，就开始往机器人以机器学习的方法来驱动机器人方向来做探索和尝试的时候，主要都是以软件为主。直到2022年，团队开始以商业化的方式来做准备的时候，我们才开始正式地考虑自己来做硬件的本体。当然也是因为很多年积累下来的经验，如果自己不碰本体的话，也很难把大脑的能力展现，甚至说能够去做一些迭代和探索。所以简单来讲的话，我们是做全栈。

如果我们要类比一家硅谷的大家现在已经比较熟悉名字的这些机器人公司，你觉得你们做的这些环节跟哪一家机器人公司是更接近的，还是说市场上没有对标者？

我觉得硅谷的机器人公司，不管是像Optimus，还是上一代的波士顿动力，还是Figure 1X的话，其实都是本体加模型。不过这几家公司在模型侧的能力，相对来说，比Physical Intelligence包括Skild的话，要稍微没有那么专注。

所以你们现在核心最专注的方向是什么，是模型的大脑层，还是说操作的层面？比如说我们刚刚提到的Optimus，它是一个大家熟知的最经典的人形机器人，它除了要做手部的这种操作，它也要去做运动。我看见你们的那个demo，那个机器人它其实是带一个滚轮的机器人，你核心的控制是集中在手部环节的。我并不是说一定说做人形就比做手不好，因为我们之前的播客其实有讨论过，灵巧手是机器人可能是最后一公里跟最难的一部分。我想简单的还是来做一个定位上的区隔。

### 人形机器人与操作模型的区别

对，我觉得做机器人的仿生手模型，做基础模型，特别是做操作模型的大部分团队，其实都会类似于像我们，以及Physical Intelligence这样的公司，专注在像gripper、二指夹爪，它对于物体的操作和能力。先把它拉到一定能力的边界，再有一些，比如说像二指的夹爪不太好处理的情况之下，再看能不能用多只手或者是灵巧手来做处理。

但人形机器人公司，为了让大家感觉到像人，我觉得这一波的风潮其实是在大概2022年左右，Optimus出来的时候，大家对于Elon Musk给大家描绘的类人型机器人重新回到大家公众的视野，其实是起到了非常强的引导作用。但在我们看的话，机器人里边要做的物体操作的任务，可能90%不一定需要灵巧手，剩下的可能5%到10%任务的话才真正需要多只手。另外是不是双足和轮式，现在机器人的下肢还不是特别稳定。一会我们可能也会提到，像宇树机器人和波士顿动力、Figure、Optimus，现在对于环境的认知和感知其实还不是特别强，以及它经常会出现跌倒的情况。所以我们在现在这个阶段，可能还是会把操作的任务和下肢灵巧的程度，相对来说会解耦一下。但未来我们感觉可能还是会回归到同一条线上来。

未来的同一条线，你指的是通用机器人？

对，通用机器人的构型，它应该是一个带有足式，或者是我们自己内部认为的话，可能是轮足式的一个构型。它在平地时候可能会有稳定和高效的一个方式移动，但是在遇到一些特殊地形的时候，还是会像人或者是其他动物一样，有双足或者是四足之间的某一种形态在移动。

### 从ImageNet到3D数据集ShapeNet

对，因为我觉得我们要看每一家公司做机器人它的思路有什么不一样，可能要从它的整个历史说起。我知道你的联合创始人苏昊，他是李飞飞的学生。李飞飞当年成名之战是ImageNet，她给上百万的图片做人工标注，然后让机器第一次看这个足够多的世界。苏昊他其实就是ImageNet的核心作者之一，后来他把这个思路搬到了3D。我觉得这个跟今天的苏度整个的历史也是一脉相承的，所以你可不可以简单跟大家介绍一下，ImageNet它当年给机器看海量的带标签的图片，这个当时在整个机器人业界它是一个什么样的意义，为什么它会成为整个AI爆发的一个导火索？

苏昊求学生涯里边其实一共有两个PhD。其中大概有将近4年时间的话，他是在李飞飞老师当时在普林斯顿后来在斯坦福的实验室里边，核心的项目就像您讲的，实际上是做ImageNet大的项目。他曾经跟我讲过，飞飞对于整个ImageNet的推动和架构的话，实际上是非常有远见的。但核心总结来讲，就是一个能够复现世界上典型物体的2D图片和它的文字对，用一个结构化的方法去描述，这样的一个基础思想。比如说我们在桌子上的杯子，我们需要一系列的典型图片去描述世界上几乎所有的杯子，但是同样款式的杯子我们一张或者两张图片可能就够了。

这个思想在2012年、2013年，他的第二个PhD导师，就是Leo Guibas，在斯坦福的实验室里边开始的时候，他也把这套思想带到了3D里边来。所以他那个时候开始组建3D的大数据集ShapeNet。当然后续还有一些非常关键的工作成果，比如说像激光雷达以点云为表示的表征方法，这个PointNet都是他的核心工作。但回到3D大数据集ShapeNet的话，其实它最大最大的挑战就在于，相比于ImageNet，你可以把互联网上面几乎所有的图片，和它下面的文字描述和标题梳理清楚，并且找到当时用亚马逊，最早最早的话我记得应该是在普林斯顿的时候，他们用Mechanical Turk以众包的方法去做标注，但那3D的模型，其实是非常非常欠缺的，这其实是一个最大的挑战。

### 建立3D数据集与2D标注的差异与挑战

我理解李飞飞当年她的ImageNet为什么这么火，是因为本质上她当时也是在用一个堆大规模的数据，然后让机器识别，其实有一点点像今天的Scaling Law。只是在那个时间大家还没有意识到，我可以用一个规模化的数据库去解决机器识别的问题，她自己做了一个大规模的数据库，我觉得在当年那个年代还是非常有创意、有想法、有远见的思想。把这个思路搬到3D领域，就是我能想象，比如说你2D，你刚刚提到，我们要在一个图片里面去识别这个杯子，它就是一个杯子，我只需要一个标签。3D的话，就比如说我们今天在录音的这个办公室，杯子放在一个桌子上，然后桌子上还有手机、录音笔，首先是它的标注维度会大很多，但是你的文字标注它怎么去解决这种空间的物理关系，甚至是力的反馈，我觉得这个事情听起来要难很多。

对，这里边的工作其实要复杂很多。所以愿意去做3D大数据集的人，相比于2D以及语言的大数据集的话，要少很多很多。3D其实在大数据集里边的话，我们有一系列的工作。第一个核心工作其实是苏昊在斯坦福第二个PhD期间的核心工作之一，就是ShapeNet。ShapeNet的话，应该是有几十万个3D模型，但实际上还远远没有达到像ImageNet能够覆盖世界上所有物体所有的模型。

ImageNet当时做到那么大规模，他们收集了多少数据？

最后应该是有1400万张图片和文字的映射。

ShapeNet几个人的规模，现在做到了几十万的3D数据？

对，但是当时的一个约束，就是你要找到开源的可以用的3D模型，但这些3D模型的话，理论上它应该跟ImageNet类似，它还是需要一个上千万级的物体集合，能够把它整个3D的几何，包括刚才您提到还有很多比如像材质、摩擦、弹性形变的参数，包括我们现在做的椅子，它轮子和椅子本身其实还是有很多动力学的约束。所以这个3D数据集ShapeNet，它只有基础的几何和基础的表面贴图。我们大概能够预估到它的这些物体的材质，因为比如说杯子大概的话就是玻璃、塑料、金属，它是会有一个范围。

但再往下一步的话，同样一个物体的话，它可能会分不一样的部件和组件。比如说我们拿到一个饮料瓶子，会分成瓶身、瓶盖，围绕着这个标记和标签，有的时候你甚至需要标注瓶身上面哪个是它的瓶底。这些其实是对于部件的标注，但标到PartNet的时候，就只有几万的物体了。我们从之前的ShapeNet再去做一定的筛选，去做标注，因为这里边要涉及到大量的人工，这时候就会对数据的标注成本有非常高的一些要求。

但再进一步，比如说对于这个瓶子，它的瓶盖究竟是往左拧还是往右拧，它拧动之后能不能够把它给拧下来，这个就叫动力学约束的一些标注，这个数据集叫PartNet-Mobility。现在为止，如果我没有记错的话，还是开源里边最大的带部件、带动力学约束的开源数据集。但这里边只有不到3000个物体带有标注的，这其实对于几个方面，包括像机器人合成数据的训练生成，像现在我们讲的视频生成里边，带有连续的空间和物理一致性的话，其实都有很大的约束。

ShapeNet是从什么时候开始做的？

应该是在2013年、2014年的时候。

### 视频训练数据与3D建模的精度区别

对，我们说之前让机器去做3D数据的收集，可能标注是一个很费时间成本的事情。现在因为我们在考虑大模型跟机器人的训练方法，比如说我让它现在用ShapeNet的这一套开源数据集去训练，跟直接对着视频网站成千上万的开放世界的视频去训练，因为它能拿到的数据是更多的，那个视频里面也是有一致性的这些动作的，它的核心区别点是什么呢？

我觉得这个核心区别在我们看来就是，2D的图片和视频里边三维的信息有，但是不太全，也不太准。这其实也是在Sora当时在训练的时候，管线里边其中之一，就是用Unreal引擎和Unity引擎从3D的模型里边渲染大量2D的视频和图片，然后再反向来去做训练数据集。但由于互联网上的数据当中太杂，它3D的信息其实并不是特别地精准。如果你拿它用来做比如说像自动驾驶导航，它可能对精度的要求没有太高，比如说你只要求有一个大概10公分左右的精度是够用的。但是对机器人的操作，10厘米的误差是绝对不能忍受的。像我们面前的这个录音机，我们要把线缆插到对应的孔位里边去，它的要求必须是在亚毫米级以内。所以这个只有3D建模的、3D的数据集可以做到，尤其是在机器人的操控方向。

对，机器人不管是用哪一种方法，但是对于我们做仿真、Sim2Real的这条路，我们是要求机器人对于物理环境里边的物体和环境，对于几何有比较精准的理解。那么它对于几何精度的理解，就得到毫米级，甚至亚毫米级才可以。

所以现在ShapeNet，它是一个开源的数据集，还是说它有分层，有一些开源，有一些闭源？

ShapeNet、PartNet、Mobility都是开源的数据集。但我们自己内部用的，肯定不是这些开源的数据集。

### Sim2Real仿真到现实的复杂系统工程

您觉得苏昊在做整个ShapeNet以后，现在开始跟你们一起做苏度机器人，在这个中间沉淀下来的最核心的资产是什么？

我觉得是一个特别好的问题。走Sim2Real这条路，它有点像波音造飞机，很难讲其中是发动机更重要，还是说航电系统更重要，还是说材料更重要，它是一个比较复杂的系统工程。所以怎么能够把搭这个复杂系统工程的团队给建起来，我觉得这是我们团队最核心的积累。我们团队里边的小伙伴们，在苏昊的实验室以及我们成立公司之后，核心的这几个大组的负责人，其实都在一起工作过七八年的时间。

了解，人，还有过去做这些事情的经验跟方法论，这个是无可比拟的优势。

对，我觉得是的。包括数据，比如说我们在做仿真器，其实大家能够想象到的市面上核心机器人的仿真器，不管是像Isaac、MuJoCo，甚至说新创的一些公司，都跟我们有千丝万缕的联系。

对，我先跟听众解释一下Sim2Real，这会是我们后面会反复提到的一个名词。它的意思直译就是说从仿真到现实，它是让机器人先在电脑模拟的虚拟世界中训练，练成之后，把学到的这件事情搬到真机上，让它在物理世界里面也能用。大家注意，重点其实不是说仿真这两个字，而是搬的这个动作能不能直接把它搬到现实世界还灵不灵，它是这条技术路径上最大的一个难题。英伟达的Isaac仿真平台，就是这个路径最大的推手之一。与它相对的另一条路径，就是跳过仿真，直接用真实世界采集的数据来训练，比如说让人去手把手地教，然后机器照着学。所以我听下来，你们算是这个领域开山之派的这种感觉。

我觉得一定程度上讲肯定是这样的。比如说像具身智能、Embodied AI英文的提法，应该是2019年苏昊跟很多北美的教授联合提出的一个有测评标准的新的研究领域。像具身智能的这个翻译，也是他当时一起合作过的某一位教授回到国内去之后，找他一起讨论和商量定的这样一个描述。但用机器学习的方法去做机器人控制的，我觉得他是跟Sergey他们应该是同一拨在那个时候做探索的，非常早。

所以你们公司成立是在什么时间？

苏度公司正式成立其实是在去年上半年。但我们以一个商业化和半商业化开始组织，是在2022年下半年开始的。

我记得苏昊其实是非常早就出来拿他ShapeNet整个的一套思想，他有在做跟机器人、跟3D数据集一系列的探索，那个是在什么时间？

应该是2012年、2013年。他做这个决定，是因为在ImageNet出来之后，他自己有一个想法是要做一个类似于神经网络的架构，但当时跟他配合的人没有那么多。在ImageNet的挑战赛AlexNet横空出世之后，对他的冲击我觉得是非常大的。他觉得自己可能是错过了非常重要的一个机会，所以他自己就在思考下一站大的领域是什么。所以他想把大数据集加神经网络的方法带到物理世界里边来。所以在他拿到第一个PhD之后，在Leo Guibas教授组，开始搭建新的3D学习的团队。

对，好早。

### 生成式AI爆发带来的底层机会

这个中间我觉得不管是机器人还是我们说现在的AI，它的技术已经经过了特别多轮的迭代了。比如说生成式AI就是一家，刚刚在录音前，我们还有一段时间讨论过机器人界的历史。为什么在前几年，包括在2012年、2013年那段时间，甚至更早的一段时间，大家投资机器人都是不赚钱，甚至是一个失败的投资项目。而且那个时候其实硅谷有非常多好的机器人项目，像什么Covariant。

我觉得这是非常好的一个问题。我们其实也在创业初期受到了上一波大家对于这个问题的影响。从2012年、2013年开始，到2015年、2016年，当时应该是我们叫安卓之父Andy Rubin加入谷歌之后，他负责了谷歌的X这个项目。当时应该收购了非常多家的机器人公司。最知名的可能就是波士顿动力，后来又转手过很多次，包括给Softbank、软银，现在主要的控股股东可能是现代。但也有像您刚才提到的，像Vicarious、Intrinsic现在还在谷歌里边，Everyday Robots它的硬件部门已经被关闭掉了。但当时那波，可能大家还是想用机器学习的方法往前去推进，但当时的要素我觉得可能还不是特别全。

在2022年，我和苏昊开始讨论他有这个想法去做机器人的底层操作模型公司的时候，我们当时讨论最多的一点，是什么原因能够促使大家觉得现在的机遇跟大概七八年以前明显的不同。当时我们决策的核心原因之一，就是DALL・E的出现，文生图。

对，文生图，OpenAI早期的模型。

它的核心就在于，它让我们意识到，3D的ShapeNet、PartNet它只有几十万的模型，但是图片实际上是有比如像ImageNet、COCO这些，它实际上是有上千万的，它可以描述整个世界上的几乎所有的物体。那么有没有一种方法能够把2D升维到3D来，实际上是有机会的。从一个朴素的想法来讲，就是在仿真器里边如果是要做一个仿真器模型，要重建整个世界的物体和环境的话，理论上是开始可行了。

### 机器人仿真器的底层物理法则

我们刚一直在提，你们在走Sim2Real的路线，你的Sim2Real的底层应该是一个，我理解现在可以说是世界模型，或者是3D的大模型。

我觉得一定程度上是对的。其实仿真在我们推动Sapien和ManiSkill开始，应该是在2018年、2019年开始的时候，相比于之前的可微的有限元仿真，比如说像飞行器和汽车制造里边，我们要做流体力学仿真，以前机器人的时候你要做机械包括力学的仿真。但当时的环境是，我们只需要在一个大型的机器上面，能够开一个环境，让它跟真实的机器或者是飞行器也好、车也好、机器人也好的话，尽可能地接近。但新的机器人仿真器的它的设计思路就不太一样。它并不需要我们在一个大型的机器或者是一个大型集群里边无限去逼近一个真实的环境，反而是用不一样的思路。我们需要在比如说一张GPU上面，怎么能够开出成百上千甚至上万、上百万个并行的环境。但我们的要求是，不需要让它看起来非常地真实，比如说它的分辨率，真的你要去看这个仿真器里边在做训练的时候，它的分辨率其实非常非常低。但是它要求物理的一致性当中，尽可能接近，但并不需要无限地接近。它一定是要在真实和效率之间做大量的取舍设计。

所以你们选择了在这个仿真器里面，更多地遵循整个世界底层的物理法则，牺牲观赏性跟分辨率？

对，我们把经典牛顿力学包括这个物理仿真里边的很多，人类总结这么多的公式，都代入到仿真器里边来。但同时我们又给它大量的开放世界3D的物体环境任务的数据，让机器人在里边做强化学习。

对，所以你们现在Sim2Real的这条路线，包括仿真器的设计，我理解它所有的环境搭建都是为机器人服务的。机器人对一件事情的理解，你们可能是不局限于我要去拧一个矿泉水的瓶盖，而是说我想让机器人做所有的它能看见的，现实世界中的环境它都能操作，我的理解是对的吗？

对，简单来讲，就是说我们想把人类和整个生物对于环境的理解、交互、物体的操作，几百万年进化的过程，放在仿真器里边来，让机器人再经历完整进化的过程。

### 结构化与非结构化数据集的区别

数据从哪里来？有几个方面。第一就是我们刚才提到的物体，比如说我们怎么能够建一个跟ImageNet一样的ShapeNet，怎么能够把世界上典型的物体都能够用3D的表征在仿真器里边去做呈现。

我理解之前ShapeNet的那一部分已经开源了，你们现在在做一个自己的ShapeNet。

对，或者讲就是给机器人用的一个更加完整的、高效的3D物体的数据集。

对，然后你们这一部分是现采的，现在大概有多少数据可以公开？

这个我们暂时没有办法正式对外透露。但相比于ShapeNet以及开源的我们叫结构化数据集和非结构化数据集，比如像ImageNet、ShapeNet都是结构化数据集，我们指的是说它是分类别，每个类别里边的子类都有对应的标签。还有一些是非结构化数据集，比如3D里边其实也有非常大的数据集。有一个叫Paul Allen做的Allen Institute他自己在主推的ObjectVerse，实际上是有上千万的数据集。他其中之一的方法，就是把GitHub上面所有带有3D文件的项目里边所有的文件都挖出来。但那是一个非结构化的数据集，里边可能大量的都是比如像游戏里边出现的人物盔甲、武器。但您可以认为这些3D文件大量重复的，对于机器人做物体操作的话其实用处不一定很大。所以我们自己要建物体的带结构化的数据集是非常关键的。但它的挑战就在于说，有很多物体是没有3D文件的。当然2D到3D的生成实际是非常有效的一个手段，但现在迭代这么多年在过去取得突飞猛进的进展，但现在还有一些是需要人工做建模、标注和参与的。

你怎么评价你们公司这一部分数据的质量，就比如说普通、好、非常好，这可能是几个不同的等级。你觉得现在在机器人的训练中，是用极高质量的数据更关键，还是说我需要用更大规模的数据，但是这个数据的质量可能没有那么高。就是你怎么看这两者之间的权衡？

我觉得这是一个特别好的问题。我们也没有标准答案。永远是在质量和规模之间要取得平衡，但规模是要达到一定程度的。我就有一个朴素的判断，就是你要把世界上典型的物体，它们之间组合的环境和要去做的操作任务，都有一个结构化的描述。你不能只去列举其中的一种形态说我在找类似的100个和1000个、10000个，就能够累计到一个结构化的程度。这几乎在机器学习的历史上，不管是说2D的视觉还是像自然语言，还是说自动驾驶里边，其实都没有出现过。所以3D里其实也是类似的。在仿真器里边，我们要搭建的结构化数据集是非常关键的。但我们也清晰地知道，不太需要无限制地准，比如说单个饮料瓶子它材质的具体描述，包括它的表面标签上面文字的信息，它的图片，需不需要100%地还原，其实是不需要的。但究竟怎么取得这样的一个平衡，实际上每家可能都有不一样的理解。

好，所以你们的数据集算是一个什么样的质量？

我们对于结构化理解的话，应该是在所有的团队里面可能做得最好的。但另外一点，我们也知道结构化的下面我们还应该去补哪些数据。所以它有没有搭完呢，肯定还没有。比如说我们瓶子要怎么去拧，这些对于动力学约束，其实还是整个行业里边最欠缺的数据。

### Sim2Real泛化能力的真正优势

然后我们刚刚讲了Sim2Real，你们的这个仿真器跟大脑的这一部分。我们说Sim2Real后面的2Real，就是怎么把电脑模拟的世界放到现实的世界中。因为传统大家来说机器人界有几派争议，一个就是Sim2Real的这一派，还有一个就是用Real World Data的这一派。质疑Sim2Real的这一派就会认为，我把仿真里面的东西放到现实世界中，它的效果可能没有那么好。你们其实也有机器人的本体，然后也已经开始操作了，可不可以讲一下你们的执行效果以及你看到的gap？

我觉得Sim2Real，相比于主要以真机数据或者是真实世界数据采集，包括像teleops、遥操作机器人，包括UMI以动作捕捉设备，人去做物体的采集，不管是比如像UMI的这种夹爪还是说我穿全身动捕服，第三种比如说现在大家经常在讲的所谓的第一人称的数据，我以第一人称视角去拍摄一些视频。但这些方法相比于Sim2Real而言，操作起来都会简单一些，但它很难保证某一类操作任务开放世界的泛化性。这个指的是什么呢，就是基础模型一般的描述是，你给它一个任意物体，不管是说在预训练还是后训练都没有出现过的，它能够以一个非常高的成功率就能够去完成这个任务。假如说是以这个维度而言的话，我们觉得Sim2Real是跳不过去的。因为真机操作、动捕的方法、Ego的方法。

Ego是什么意思？

就是以第一人称视角去拍摄，人用我们自己的手比如说去拿水杯，包括去拧瓶盖。但我们其实之前也稍微地提到一点，就是这类的视频和图片，它的几何理解和精度当中可能是不太够的。所以我们在仿真里边，核心就是要重建这些物体和环境的3D Ground Truth的信息。但是如果规模不够，这个其实是很难体现出Sim2Real的优势和能力的。

### 苏度R1的零样本抓取Demo验证

多大算一个规模？

这是一个很好的问题。我们4月份其实放过一个结果，就是我们叫苏度R1。苏度R1实际上是我们去年11月份和12月份内部的一个结果。在我们看来，这可能是整个的机器人里边，尝试用Sim2Real路线里边，能够做到Zero-Shot，开放世界某一类任务能够把Sim2Real差距当中给填平的第一次。

好，我们接下来一起来看一下4月份的demo。

这个视频就是我们展示了连续一个小时，我们可能试了100多个物体，操作了200多次，但这些物体其实都是在我们的训练数据里没有出现过的。比如说物体失败之后，我们也没有补后训练的数据。所以它是一个对于物体通用的抓取，第一次可以做到零样本高成功率的结果。我们会变换很多的光照、环境和物体。到一个小时结束的时候，我们一共做了200多次物体抓放的操作。

240次抓放操作。

对，单次对于这个物体做抓放的成功率是将近98%。但是如果它第一次失败之后，这个机器人还会用一个闭环控制的方法迅速地再去调整它的策略，就可以做到100%。在这个结果发布之后，整个的研究社区里边，有一派的声音就说，我们肯定也是精心控制变量，包括这些物体和环境，是不是我们在训练里边没有见过。大家对这个事情是有质疑的。

所以你们有控制变量跟在训练集里见过吗？

没有，其实完全没有，完全没有。

对，我跟大家先简单解释一下，因为大家可能看不到这个视频。你们第一次demo的画面是一个机器人站在一个操作台前，在去抓不同的物体。这个物体包括像饮料的瓶子，还有小零食，每一种的物体，在我看来它的形态，包括这个瓶子，它可能是一个椭圆形的，也有可能是一个锥形的。

<!-- chunk 2/3 -->

### 机器人基础短操作与长程任务拆解

这可能对机器人的手，就要求它去抓不同的部位，它才能把它抓成。对，还是很不一样的。这个视频的时长是60分钟，你们是连续拍摄，对吗？对，是连续拍摄。连续拍摄，没有间断，上面显示一共是240次抓取。所以大家有质疑是说，你们可能是看过这些数据，但其实是没有。是的，对。所以我们当时就决定说，要在公众的面前给大家做一次展示。所以在6月初的时候，我们首先在维也纳举行的ICRA的大会上，我们就首先把这台机器人第一次带到了研究者的面前。大概我们统计了一下，在几天的会议里边，可能有将近1000人左右，来到我们的展台前面，用他们自己各种各样随机的物体去做测试。比如说参会的证件，比如像手机、耳机、小玩偶来做测试。昨天我们其实也刚刚从CVPR的会场回来，我们也是搭建了一个展台，让整个学术界和工业界，当时以为我们这个视频可能是处理过的，大家还是在一个非常随机的环境之下去做测试。这在以前类似于这种的学术会议上，是从来没有人能够做到这样的展示。

原因之一就在于，它几乎没有给你时间去做准备。比如说之前像某某，它会在学术会议开始之前，在旁边租一个Airbnb，把自己的机器人放在那边，去收集大量的数据。可能要提前一个月进场，做好处理之后重复去展示。比如说做咖啡的任务，已经是非常有针对单个场景去做适配跟练习的。它是肯定要的，对。你们没有？我们是不需要的。只不过这两者的区别之一就在于，我们实际上更关注对于物体的基础操作。比如说这种短的基础操作的高频动作，是Zero-Shot，就是一次性抓取成功的单个动作。我理解它做的是连续动作，因为做咖啡是一个连续动作。对，它就相当于说，要把这个连续动作，让人去遥控这个机器人，至少要出现过很多次。如果是它换一个咖啡机，或者是同样的咖啡机换一个环境的话，它的成功率肯定会要往下掉不少。这时候怎么做呢？包括绝大多数的机器人模型公司，都还要去再补充一定的数据去做拟合。

对，做单个一次性抓取的任务，跟做一个像某某，甚至我们说很多灵巧手公司，它要做一个长达21步的这种长程任务，就是复杂动作的拆解，每一步都需要连续。你觉得这两者之间哪个更难？我觉得如果是真正做机器人的、做操作的社区的话，肯定认为Zero-Shot稳定的、对于开放世界的基础物体的操作，短操作的成功率其实更加核心和关键。长程任务的复现，也是非常核心和关键的部分。但其实如果是你的短技能当中足够的稳定可靠，它的泛化性足够高，你其实是可以把短技能拼成各种各样的长程操作的。这其实也就是ManiSkill整个核心框架大的思想。所以我理解，其实最难的部分是开放世界，而不在于它是短还是长。你只要在开放世界中短的能成功，那么连续成长的，它是一个迟早的问题。

对，简单讲是这样，但里边其实还有很多的核心工作。比如说你要做短技能串联成长技能，其实也是一个类似于像思维链的方法。其实在思维链提出来，大概在2023年的时候，我们其实也有同期的一个工作，叫Chain of Thought Predictive Control，就是CoTPC。它其实就是专门处理短任务如何串联成长程任务的，类似于思维链的一个框架。

### 灵巧手的选择与垂直商业化应用

我看见你视频里面的展示，这个机器人它是一个两个指头的抓夹。因为我们知道在灵巧手里面，大家也分得很细，就是你是两个指头的抓夹，还是说你的手部有几十个关节。你可以做一些复杂的动作，比如说在手内转小球或者是穿针引线，这种需要你非常精巧的操作。这两个在训练方式上会有不一样吗？还是说这个是你们下一步的目标？其实灵巧手的话，我们在2022年、2023年，甚至在之前，我们都有很多研究的一些成果。但一般在做机器人操作模型的时候，大家一般会把这个问题稍微解耦一下。绝大多数的任务，其实并不需要灵巧手的操作。但灵巧手直到现在，行业已经取得了非常多进步的前提之下，它的稳定性和可靠性其实还不是特别好，包括它的成本其实都没法控制得特别优秀。当然相比于早期像Shadow Hand可能几十万美金一只，已经好了非常多。但到现在为止，因为我们自己用仿真可以知道，对于物体的操作，比如说像手内转魔方，比如说盘核桃，这些的确是需要多只手指，甚至有的时候它不一定是五只手指。穿针引线有的时候也不一定需要灵巧手，它主要还是看成本。穿针引线可以直接用机器工艺是不是？对。所以我觉得，您这个提得特别的关键一点就是，肯定灵巧手是最为通用的。但是对于稳定性、可靠性，以及一开始大家在做探索的时候降低变量的话，灵巧手是一个选项，但不是一个性价比最高的方法。

对，因为今天我们录播客的时候，其实我是第一次看你这个demo。我知道你有更远大的梦想，就是你想实现更加开放世界的通用机器人的操作。但是我直接看到这个demo的感受是，这跟几年前像Vicarious，包括像Covariant想做的东西非常地相似。但是其实我也跟它们内部的人聊过，它们当时没有办法做到这么稳定。我看它们当时的那个demo场景是什么？就是说我把一堆丝芙兰买到的女生化妆品的小样，什么唇膏，就是各种小东西放在一个筐里，我就让这个机器人去抓取，看它抓取的成功率。其实当时它的那个成功率不是很高。对，我们也知道亚马逊它其实是收购了Covariant的核心创始团队。我能想象这个场景，基于仓库物流的分拣，它已经是有超级多的工业应用场景了。所以在商业化上，虽然我知道你可能还会有一个更远的梦想，你会考虑在一些垂直的应用场景开始去做一些商业化的部署吗？

对，我觉得这是一个特别核心的商业化的思考。我们的策略实际上是认为，机器人的各种各样行业的应用有非常多。作为我们自己一家公司，第一是做不完，大概有成千上万、甚至上十万、上百万不一样的机器人的应用。应该是由每个垂类的应用最理解的这样的一个团队，去做推动和参与。我们自己在里边的定位是，比如说我们刚才看到的抓物体，包括之后我们再推出的一些基础操作技能，应该把它排列组合的能力，给到每一个想要拿它去亚马逊里边做各种各样化妆品的分拣，也可以做玩具分拣，也可以做零食分拣。同时它也可以拿到工厂里边去做零件的上下料组装，也可以进到家里边，比如说把我们吃完饭的桌子收拾干净。我们希望，我们能够做到的是一个底层基础短技能的稳定可靠的基础模型，提供好API，并且能够把这些基础技能拼成各种各样不一样的长程任务。但它的要求就在于，大家有这样的想法搭成类似于像大语言模型里边的Agent，我们有一个新的描述叫Adapt。它其实是可以把我们对于，比如说今天我要在这个会议室里边给我们再拿一杯咖啡，我可能是要从旁边的屋子找到咖啡机，摁好那个按钮，端杯子来，中间还要经过两道门。这个任务，我们希望在任何的办公室里边都能够完成，但它只需要用同样的一套逻辑就可以。这一类我们管它都叫机器人的上层应用。这一类的上层应用，我们就希望大家用我们机器人的完整系统，包括本体和底层模型搭出来这类应用的时候。

假如说我是上层的开发者，我做的往会议室里面去送饮料的这样一个应用，在任何一个办公室都可以起作用。对。大家跟你买的是什么呢？买的是一个机器人的本体，加上模型，加上API的调用次数吗？简单来讲，是本体加我们的软件支持。上层的应用实际上是开发者去做开发。我们也可以帮大家去做二次的分发。这个模式其实就回到我们怎么认为机器人的商业模式。假如说是从硬件的形态而言，它更接近于汽车，里边有大量的像电池、电机、它的计算单元。相比于汽车而言，它的体积会更小一些，但是从结构上会比较接近。但是从商业模式上而言，我们一直内部认为它更像是智能手机，会有公司去提供一个像iPhone或者是像Android，它有一个硬件加一个操作系统，它有完整的SDK，开发者就在上面去搭各种不一样的应用。可以贴牌，但更重要的是有人去做Uber，有人去做DoorDash，比如说像国内就有人做美团，有人做滴滴。同时还有人会去做Instagram、小红书，各种各样的应用。

### 机器人软硬一体与Sim2Real解决方案

我开始听到你这个商业模式的时候，我本来想把它比喻成一个安卓手机。但是我后来想了一下，如果说你们是一个安卓操作系统的话还说小了，因为它的手机是可以自己制作的，操作系统它只是买软件。但是我理解，其实你们现在卖机器人整套的话，你其实是需要硬软件一起卖的。因为机器人的硬件跟软件它是一个操作的整体。很难说它买一个软件，放在一个新的机器人上它能适配。对，这其实还是可以回应一下您提的前面的一个问题，就是说Sim2Real的差距怎么搞。核心的原因，怎么能够去解得比较好，就是你的硬件和软件要一起设计。包括我们仿真器里边去仿的这台机器人有两个要求。第一个是仿真器里边也不是万能的，我们可能有一些构型，或者是某些组件和元件，现在还没有办法仿得特别特别好，或者是还没有来得及去做处理。这时候我们就需要让这个机器人在做硬件选型和构型的时候，用仿真器支持比较好的方法去做设计和搭建。第二个就是硬件本身它也有各种各样差异和噪音。即便是我们自己，在设计同一款机器人的时候，每台个体都有差异，这是不可能100%填平的。包括单独每一台机器，在每一次上电的时候，它的表现其实也都不太一样。这时候在仿真器里面，要对于这些噪音和差异做一定的仿真。但这个前提都是你不能差别太大。了解。所以我理解，Sim2Real的这条路径，就是它一定要跟机器人的本体是绑定在一起的。

对，我们觉得是强绑定。虽然在我们成立公司之前，我们做开源的Sapien和ManiSkill，包括像Isaac，大家都在强调说我可以支持各种不一样的构型。但我们想讲，开源的这些方法都是研究的方法，它其实是极度地简化了。比如说像机器人里边导入到仿真器里边，它用的像有一个叫URDF的格式，对于它的几何动力学约束都是做了一定的简化。它其实不太会考虑到像电机的控制里边它的噪声、它响应曲线的迟滞，包括每次上电时候的差别。这些其实在研究界，大家可能还没有办法去考虑到这么多的细节。但是你要做一个稳定可靠、可以解决Sim2Real差距，并且可以在开放世界里边有足够可靠稳定能力的这样的一个机器人的时候，你就要把它当成一个综合系统来考虑。对，所以靠跟硬件的整合它是一条解决差距的路径。还有其他的方式，比如说在软件层面调控的解决路径吗？对，我觉得就是所有方法都要有机地结合在一起。比如说像数据的规模和它结构化的规模，包括如何能够把它的仿真效率拉得更高。

比如说我们用不用真实世界的数据去做训练？的确也有。比如说在仿真里边，我们也会让机器人去看人去做操作的时候，哪一种方法更加的高效。我还是拿这个瓶盖举例子。机器人的强化学习，假如说是你要让它把瓶盖拧开，你会发现机器人一开始它可能碰的都不是瓶盖，它可能会碰饮料瓶的标签，或者是饮料瓶的底部，甚至往上稍微地推它一下。但这些在早期强化学习探索的话，其实都是一些相对来说比较随机的探索。但是你如果让它看一段人的操作的话，比如说人在做瓶盖操作的时候，是接近于这个瓶盖，然后在附近去做了一些动作的时候，它强化学习的效率也会变高一些。这些其实都是在强化学习框架的设计，特别是Model-Based RL，最难的其实就是在于这部分你怎么能够给反馈，反馈设计得好，甚至是说怎么能够把它批量自动化。

而且我觉得，机器人手去拧瓶盖的难度跟你在仿真器里面让机器人自己运动的这个难度还是完全不一样的。因为你那个手拧的不管是角度，还是你控制的变量，它差一厘米它的区别就非常大。不用一厘米了，几毫米。对，您刚才提到的这点其实是非常核心的一点。仿真里边的强化学习和Sim2Real，其实已经在类似于像波士顿动力和宇树这样的人形机器人，和四足狗的locomotion（运动）控制已经得到了充分的验证。而且比如说使用英伟达的Isaac，其实里边有一部分的强化学习引擎也是我们团队成员在早期贡献的，大家都有些参与。但机器人如果是要对于物体去做操作，它这个难度要高两到三个数量级。你说操作层面上？对，操作层面。就是拧瓶盖的这种。对。包括跟桌子上很多东西的一些交互。对，是的。

### 操作难度差异与世界模型认知

这个很有意思。因为我们上个月有一个线下的英文论坛，当时正好是英伟达它有一个证明，就是Sim2Real Scaling Law起效的这样的一个方式。就是说我用Sim2Real可以在现实中真的去控制机器人的运动。他们那个研究成果刚刚出来，我印象还很深。我当时还在我们线下的活动上还问了这个英伟达的科学家，我说你这个控制大运动听起来是已经可行了，但是控制灵巧手这个是不是还是一个很关键的没有被解决的问题？我觉得我今天跟你的这个聊天，好像正在找到这个问题的答案。对，我觉得我们之所以提这个难度要高两到三个数量级，就是因为如果你只是需要关注自身动作的话，你其实不需要对世界有理解。你不需要知道这个物体的形状，不需要知道它的材质，你也不需要知道我怎么能够移动到这个物体附近，并且在接触到这个物体之后怎么去做适度的调整。对于这个物体的操作而言，它的难度就在于它首先要构建一个结构化的数据。这个在locomotion（运动）比如说做姿态控制，实际上是并没有这个问题。它只需要关注机器本身。是的。第二，它其实对于环境的理解和所谓大家现在讲World Model，其中有非常重要的一支，就指的是机器人对于物理世界的理解和推理、预测。这些其实它们也不太需要。

所以你们的机器人是真的理解物理世界吗？还是它只是说数据训练得多，它不用管为什么，它就直接输出就好了？我们的这个模型相比于另外一派，比如Physical Intelligence主要在推的狭义的VLA，就是以模仿人类动作这样一个端到端End-to-end模型而言的话，我们是要对于物理世界物体和环境，以及它未来的变化，要有强理解和强预测的。它并不是一个黑盒的模型。对于我们底层，我们一定要知道，我们的机器人在移动过程中，包括开始跟物体接触前、接触过程中，它的每一个推理和判断，包括它对未来的预测，都是要有认知的才可以。你刚刚提到，你们的模型不是一个黑盒模型。我们其实并不是，它是可解释的。我们为什么要对物体去接触和操作，为什么要去做调整，其实都是可解释的。比如说我们对这个杯子去抓，一开始可能没有抓起来，或者是拧这个瓶盖没有拧动，我们会大概知道它在下一个预测状态当中是什么样子。但核心就是闭环控制。当手接触到这个瓶盖的时候，用两个手指用一个小的力量去拧的时候，它没有拧动，可能会出现两种情况：一个是我需要继续去加大力，还有一种方法可能某一个国家，它这个瓶盖左旋和右旋的设计可能就不太一样。了解。

然后我看你们那个demo是抓取物体。抓取物体跟拧瓶盖，我理解它对机器人的操作上要求还是不一样的。对，还是不太一样。我们其实是这样来定义的。ManiSkill在2020年左右开始推出的时候，就是把机器人底层的基础操作分成了一些类型，包括它在过去的这五六年的时间到目前为止，应该还是机器人做物体操作里边最大的一个挑战赛和基准测试。里边的任务会分成比如说物体的抓放，包括一些带有触觉的插线接插、组装等等当中很多的任务。常见的比赛里边，我们一般会设置十几种。

### 白盒模型与人类进化的仿真复现

你刚刚提到了，你们不是一个黑盒模型。但是我理解，现在硅谷最火的这些公司，像Physical Intelligence、Skild，它们做大脑，就是纯做软件层模型层的这些公司。我理解它们还是在尽可能地去搭一个黑盒的模型，因为它还是在遵循现在这一轮的生成式AI崛起的一个范式。就是说我堆的数据量越大，我的机器越智能，我未来赌的是一个通用跟开放场景智能的程度。我之前也有跟一些做机器人的人聊，就是为什么白盒模型这么多年没有起来。就是因为人可以预测跟想到的情况是有穷尽的，同时你很难去解决很多场景的边缘案例的问题。所以到底搭白盒还是搭黑盒，你们是怎么想的，以及未来的评估是怎么样的？

我们模型在预训练的过程中是有分层结构的。就是说我们需要在预训练的时候，让机器人知道它对于物体未来所在的环境里面，要对几何材质和它的运动学，包括我做操作的时候，预测是要有一定的推理和认知的。但是最终在端侧部署的时候，我们也是一个端到端的模型。分层。对，其实在预训练的时候。预训练是大脑跟软件的那一层。比如我们让机器人在我们的仿真器里边，要对这个物体知道它所在的几何位置，包括对于它周边的物体之间的一些材质的预估、重量的预估。它有没有知道它实际上是分瓶盖和瓶身的，大概去操作的时候应该像比如说逆时针旋转。这些其实都是它有理解和推断的。这一段是黑盒，我理解的这一部分。这段相对来讲是以一个隐式表达可以去描述的。它大概在什么样的位置，有些是显式表述，有些是隐式表述。但比如说像硅谷和国内绝大多数的机器人公司，在以模仿学习为主的这样的一套思路，它其实是不太需要知道物体究竟在环境里边它准确的位置，它也不太需要知道它的几何信息。比如说我们刚才讲的拧瓶盖，它其实并没有一个推理是说我需要向逆时针的方向去做旋转。它之所以这么做，包括去接近，都是因为在那个环境之下，曾经有人是遥控这个机器人，或者是用自己的动捕服做了那样的动作。它只是在纯粹机械地去模仿，它其实并没有特别强的理解。

所以你们在搭建理解的这一部分？对，我们是需要在预训练的过程中是有理解的。但人类其实在对瓶子操作的时候，我们其实并不会在脑子里边有一个推理过程说我这次拧这个瓶子的话，我要用逆时针的策略去转。顺时针转不动就逆时针，人类是很可变的。对，他是可变的。但是他也有一些常识。比如说我们每次去拧瓶子的时候，我们一般都是逆时针去转，因为这是一个常识，已经是刻在了我们自己以前的肌肉操作里边去。但假如说是小朋友第一次看自己去拧一个饮料瓶子的时候，他会经历两个阶段。第一是他假如说从来没有看过父母去做这个操作的时候，他会先往左拧一下试一下，再往右拧一下试一下，他是随机的一个尝试。但同时，他又会去观测父母是怎么去做操作的，他可能会有一些理论依据。人在出生之后，他带有一定的对于物体操作的能力。比如小朋友出生之后长大的过程中，他对于所有的物体都会去抓抓、咬咬、拧一拧、掰一掰去试一下的时候，有些运动的能力其实也是刻在了人遗传的基因里边。机器人，我们实际上是要把整个进化的过程在仿真器里边再去复现一次。你们会把人类的进化过程在仿真器里面复现？其实是这样的。这个太有意思了。

### 机器人数据的独特性与分层模型的未来回归

对，这个仿真器之所以当时苏昊起名字叫Sapien，其实就是尤瓦尔·赫拉利写的那本书《人类简史》的映射。它其实就是指的怎么让智人从猿到人一个进化的过程。但为什么我们选择这个模型的进化策略，跟另外一派说把数据堆构的策略最大一点的不同，核心原因就在于，机器人数据堆构的方法，跟自动驾驶包括2D图片、视频，包括自然语言一个最大的不同，就是它没有足够多的数据。自动驾驶可能是最接近的，参与到这里边的自动驾驶的人非常非常多。但是它的一个核心在于，自动驾驶比如说特斯拉，在可能十几年以前就开始卖它的车，当时绝对没有现在的FSD。虽然它当时给大家画饼说未来可能会有FSD，但实际上是有几百万的司机买了他的车在101的公路上面天天开。所以它是会变的，它不一定要只遵循一个范式。我可以在数据不够的情况下，用白盒加黑盒的模式搭，等数据量够了，我可以去改变我的技术。

对，但是机器人你是很难同一款机器，在没有任何功能之前，我卖500万台机器人到各个办公室、家庭或者是工厂里边去，并且旁边还有一个工人在遥控它去做各种各样的操作。在我们的家里边，我们很难想象，我买了一台机器人，我需要穿着一个动捕服才能够去做西红柿炒鸡蛋。对，这个我觉得基本上是很难。这在说1X吗？没有特指，对。但这个模式实际上就在于说，我们人类以公司方法去做组织的话，我觉得像国内的公司已经做得是非常非常超前的，可能已经能到百台甚至千台以上的规模。但它离500万台和1000万台，并且能够进到每一个家庭、每一个办公室，就像特斯拉的车实际上是开到了世界上几乎所有的角落，收集到了各种各样的数据，并且后面还有个司机天天帮他去标数据，这些要素在机器人里边可能都不成立。所以它冷启动的方法，就是像您刚才提到的英伟达提到的Sim2Real为什么一定是要推的一个方法，是躲不过去的。就是因为它冷启动的数据实际上是需要一个百万甚至是千万级别，在所有的开放环境里边都要把这个数据给收集全才可以的。所以我理解这是你们用分层模型，而不是硅谷主流的端到端的一个核心原因。在现有整个业界机器人数据都远远达不到的情况下，我们可以通过分层让机器人先跑起来，先提高它在开放场景Zero-Shot的操作能力。然后你们的商业模式，比如说你现在是卖给很多开发者，当大家都开始用这些机器人，其实后面你还要不要用一个新的方法去搭你的训练范式，是可以变的。

对，稍微分享一些我们自己认为的一些小八卦。Physical Intelligence在成立之前，它们其实是在Google包括Generalist，这个其实是在Google Robotics里边工作的非常多的核心人员参与的。那个时候大家可能都是做端到端的模型。但再往前，当时大家有一个默契，有可能是底层的模型有一个稳定可靠的底层操作能力，再向上实际上是有大家去做环境理解，包括拆分成不一样的任务：我怎么能够去那个咖啡机拿到两个杯子倒两杯咖啡，中间还得过两道门。但在大家2023年、2024年先后开始搞公司的时候，大家就选择了自己擅长和熟悉的套路。所以他们可能就不再提分层。但我们有一个暴论，可能从今年的下半年开始，上下分层的这种结构会重新再回到主流里边来。而且可能在之后大家选择的方案推到商业化里边去，可能是最终的一个方法。

你可不可以简单一句话总结一下，上下分层指的是哪个上下分层？对，比如说从冰箱里边拿一个瓶子，把瓶盖拧开，把我们俩面前的这两杯水倒满。上层实际上是说，我们现在杯子里边没有水了，我要去重新倒水。机器人实际上是要对于我们现在所在这个环境要有理解，哪边是冰箱，里边有没有水。我第一步应该去走到这个冰箱面前，打开冰箱门拿到这个瓶子，移动到这边，把瓶盖拧开，并且朝两个杯子里边分别去注入一定的水，再把瓶盖给拧上。这些是属于我们叫拆分步骤，做推理的过程。但是底层在我们的划分里边，就是我如何去走到冰箱的面前，把门给打开。打开操作的这一层。对，抓住这个瓶子，移动到这边，把瓶盖拧开，并且往杯子里边去倒水。这些底层的每一步具体对于物体的操作，我们叫底层操作。上层的这个high level的reasoning和planning当中，我觉得是可以分开的。

### 硅谷与中国机器人公司的核心竞争力对比

所以你觉得今年所有的硅谷公司，都开始会做这种分层操作？我觉得很难讲今年，对。但是这个会回到大家的视野里边来。我觉得在最近几周的时间里，我们在跟学术界、工业界大家做现场展示和交流之后，有些人已经意识到这可能是一个新的方向。所以我理解，现在硅谷的很多像我们说的PI、Generalist这些公司，它还是在把操作的层面也是直接用大模型控制的。对。但是现在能做出这个判断，证明现在的控制并没有大家想象中那么好跟成功率那么高？我觉得是的。仅代表我自己个人，不一定是公司统一的想法。我觉得Physical Intelligence和JARVIS、Google等等这些机器人公司，其实更擅长做上层的推理。但是对于物体操作的话，靠少量的比如说几十万小时，我觉得可能已经是现在操作的极限，人类真实操作物体的数据远远没有办法达到对于物体的开放环境、开放物体稳定可靠的操作能力。

我可不可以理解成上层是硅谷公司的优势，下层涉及到操作层面，因为你就一定要跟硬件相结合，这就是中国公司的优势？或者讲硅谷的机器人公司也好，大厂也好，中国的模型大厂也好，大量的具身公司也好，我觉得可能都是向上层做推理的机会会更大一些。当然还有很多具身和机器人的公司，它们挑某一到两个垂直的应用场景，可能就类似于像大模型，它就做一种或两种的agent。但是对于底层如何在随机的环境里边对于一个任意物体做某一类的操作，我们认为必须是一个软硬件强结合的公司才能够达到。但这这家公司是不是只有中国公司能做到？我觉得未必。

你们跟像宇树这样的公司，核心区别是什么？我觉得宇树是在机器人硬件的量产能力就率先给市场交出了最好答卷的一家公司。对，2025年的出货量有5000多台。对。然后我们对比一下特斯拉、Figure这些美国的明星公司，它可能只有150台左右。对，而且宇树是把这些5000多台的设备当中真实地发到了用户的手里边。在操作上跟大家关注方向的不同点上呢？宇树对于物体操作可能才刚刚开始，它主要是在大运动跟运动控制上。对，而且对于物体操作，这个人形机器人是不是一个最稳定可靠的方法？短期之内不一定，未来可能是。

### 机器人领域的初创公司与估值动态

今年我看见最近有一个大热点是Skild AI，它的估值是冲到了140亿美元，它最新的一轮融资是14亿美元，投后估值是140亿到150亿美元，7个月前它的估值才是45亿美元。它其实就是做全身体的通用机器人的基础模型，Skild Brain。对比我们刚刚一直在讲的Physical Intelligence，它也算是硅谷做软件大脑的一个非常有代表性的公司，它的估值也是56亿美元。你对这家公司熟悉吗？为什么它一下能拿到这么大的一笔融资？估值的规模在大范围地提升。我觉得首先，Physical Intelligence如果我没有记错的话，它最新的估值也是在120亿到140亿美金之间。不一定完全对外公开，但他们也在做新的募资。我觉得这几家公司，包括Skild、Physical Intelligence，包括Generalist都比较接近。就都做大脑。对，Skild的话比较特殊一点。两位创始人Deepak和Abhinav其实跟苏昊也做过很多的讨论。他们以前是坚决不信仿真的，但是在一开始募资的时候，他们是拿机器人仿真作为他们主要募资的方向。但实际上据我们了解，做的业务可能偏敏感一些。我觉得在做具身基础模型，美国这边第一梯队的话，我觉得还是像Physical Intelligence这样的团队，包括Generalist，以及还有一些创业的团队，像华人的Sunday、像Diana，其实都在做一些探索。

然后我们来看一下最近，我看Figure AI好像又被看好了。因为之前它其实也是融资估值都很高，我觉得有一段时间整个硅谷的投资人，我听起来大家对Figure是有所质疑的，甚至也会质疑它放出来的demo，你是不是后期剪辑过。为什么最近大家又重新看好Figure了？是因为它跟宝马的一个合作，还是因为它的技术能力跟放出来的demo有一个全新的提高？

<!-- chunk 3/3 -->

### 对Figure Demo及泛化能力的评价

我觉得这轮跟宝马的demo可能关系不大，因为最近大家对它关注，是在大概几周以前它开始做一个产线里边物体的分拣。但在我们看，的确是比以前有一些进步，但在物体的操作泛化性和环境的泛化性上，其实差别还比较远。第一，它里边出现了两类物体，一个是在做实验的一个包裹，但那个包裹其实形状几乎是一样的，都是正方形的。对，你是说它一天的直播，后来持续了几天。但如果是按照我们要求的标准，第一它的物体泛化性其实不高，因为一共只有两类物体，一个是盒子，一个是软性的包装，而且颜色和重量几乎是一样的。第二它的机器人所在的工作环境，一直是在它们自己公司里边搭建的那一条测试线里边，并没有走出去，很难。所以如果是拿遥操作做VLA这条方法的话，最大的约束和挑战就在于它对于光照和环境的变化都极其的敏感，一旦变化了之后，它的成功率会直线地下降。所以大家对Figure还是有质疑的，就觉得它的demo放出来还是简单。对，但我觉得比以前已经好很多了。洗碗机的那个是它的demo对吧，洗碗机是它的demo，对。但我们听说是花了很长时间拍一条，对，我听到的也是这样子的。

### 特斯拉Optimus的部署策略

另外就是我看见今年还是有很多的机器人公司它在进入部署阶段的，比如说马斯克就把Optimus要放到Fremont的工厂，让它在工厂里面去做一些工作。当然他自己也说了，开始大家还是希望它能进家庭能真正干活的，但是他说他现在放Optimus他其实主要也是为了训练数据，而不是真正地让它干活。我觉得特斯拉的人形机器人现在也是大家蛮关注的一个点的，就是从一个专业的同行业创业者的角度，你会怎么去看他的部署。在我们2025年主力团队搬回到国内之前，其实我们跟特斯拉的自动化团队有一些合作。但是当时他们在自动化产线里边使用的自动化能够让机器人在里边去做任务的时候，Optimus肯定是还没有能够满足那个条件。当时应该只是在Optimus团队里边去做一些比如说像一个固定的位置当中去拿电池这样的一个动作。

但Optimus我觉得是未来美国的机器人行业里边肯定是最大的推手，因为它硬件的核心和制造能力实际上是非常强。模型的话我觉得按照Tesla和Elon Musk的风格，可以等到这个行业有较为好的方案出现之后再去补可能也来得及。但同时我们当时也听到Tesla里边可能有一派的声音是说，Elon他自己当时也提过，先造一系列的机器人让外界的人去做研发开发，跟你们的思路有点像。我觉得有点像，但他的思路我觉得是跟现在很多做机器人硬件的团队更像，我不给你模型，我给你很好用的硬件，你自己去开发模型。但我们实际上是想要给大家一个硬件，同时有底层大家不太好操控的软硬件一体的这部分。

### DeepMind与波士顿动力的强强联合

然后我看今年波士顿动力电动版的Atlas也在开始出货了，这个是一个值得关注的点吗？对，我觉得这是一个特别关键一点。我们自己内部定义的最大、最有潜力跟我们一起去推这个方向的，可能就是波士顿动力的电动版Atlas加上Google的DeepMind。如果大家去年看Demis Hassabis的一些采访，包括他的纪录片以及一系列动作的话，我觉得他们对于物理世界AI的下注，可能是在所有的大厂里边最坚决的一家。只不过现在他可能还要分时间去兼顾Gemini跟Anthropic和OpenAI去做竞争的这样一波。但我觉得去年有一个非常重要的信号，第一他们已经把硬件的平台从原来的Apptronik和另外的一台机器换成了电动版的Atlas，同时他从波士顿动力的硬件部门把核心的几个人都挖到了DeepMind的团队里边来。

所以未来机器人行业里边，假如说我们走的是硬件也是我们自己造，软件底层模型也是我们自己搞，那么Google会不会重复Android的方法再做一次，用波士顿动力的硬件包括现代集团在后面量产能力的支持。同时，他们自己在仿真器在几年以前就收购了MuJoCo团队，自己在做不断地改进。他自己还有他自己的世界模型Genie 3这些。对，他有几乎无限的卡，世界上最好的人才聚集在一起，并且他是下了决心，就是从公司相比于Anthropic、OpenAI、Meta、国内的这些大厂，可能是唯一一个带团队的负责人在机器人上面如此用心的。他可能是未来最……因为他硬件也有、软件也有，我觉得这个跟其他公司完全不是在一个量级上的。我们感觉他是坚定地相信Sim2Real这条路的。

我知道苏昊的团队跟DeepMind可能也会有很多的交流，应该你们也是有合作。对，我们跟Google Robotics以前的交流合作非常非常多，甚至说那个团队里边有很多都是他的师弟师妹，有一些核心人员是他曾经PhD的学生，包括PI创始团队里边的也有。但我觉得DeepMind的这波，它会把核心的人才聚集在伦敦、在英国，模型团队和硬件团队聚集在一起，这个事情我们觉得非常重要。就跟当年Steve Jobs说做Apple开发的时候，有人问能不能去另外一个办公室、能不能远程，他坚决不同意，我觉得是一样的。

所以在所有的机器人公司中，你们最看好的是DeepMind加波士顿动力，这个还是挺有意思的。对，我觉得这可能跟大家想的都不太一样。我觉得可能在接下来的两到三年里边，从机器人的操作能力和综合能力上而言，我们认为的最大竞争对手可能是DeepMind加波士顿动力。对，因为波士顿动力大家知道最开始是谷歌收购了他们，后来他们又全部卖给现代集团了。所以它现在跟DeepMind之间关系是怎么样的，它还有股权关系吗？现在股权关系应该没有。我如果没记错的话，现代集团应该是主要的控股股东，然后剩下的软银应该还是保留了10%到20%。但DeepMind这次不一定会把波士顿动力再纳入到体系里边来，但波士顿动力会把DeepMind作为它大脑模型的可能最重要的一个合作伙伴。

### 亚马逊在机器人领域的布局

对，我们再说一下亚马逊，因为亚马逊其实去年年底我听All-In的播客，他们说其实有一家公司非常值得关注，就是亚马逊，理由就是说亚马逊马上今年它的机器人的部署可能已经比它的员工还要多了。因为它们其实是有仓库分拣的这些场景，它天然是一个场景的应用方，而且它也收购了Covariant。你会怎么看亚马逊在机器人上的布局。我觉得亚马逊一直是在机器人里边投入最多的一家大公司。但它的数量可能还是以比如说像第一，像仓储物流里边像做AGV、像Kiva很早就收购，包括像各种各样机械臂的应用；各种各样的人形机器人公司，比如像Agility、Covariant，之前可能还有一些其他的公司都在里面去做尝试。我觉得它会提供一定的场景，但亚马逊最终要不然就是要把这些公司收购，要不然就要自己去做，我觉得Covariant也是当时把亚马逊作为核心的客户之一。

### 机器人通用性与商业化的平衡

刚刚在聊硅谷跟中国的这些机器人公司，它的发展过程中，我基本上还可以总结就是整个硅谷它还是在更加看重机器人它的通用性、泛化性，包括它大脑层面上的这些进展。因为我们看到市场上最高估值的公司全都是集中在这一块。中国它有非常好的硬件的底子，但是同时我也看到很多的公司开始可能也抱着说我们要去做机器人的通用性的这些想法，但是最后它可能因为有商业化的压力，它可能最后都退回到了单一场景。你怎么去看这种理想很丰满，最后大家回去做垂直赛道的现象。我的核心推断还是跟前几轮，比如说像做视觉大模型比如像当时的AI四小龙，包括后来做语言模型的科大讯飞等等类似，如果是对于基础模型如何去构建没有一个特别清晰的想法，只是想边做边试的话，我觉得其实很难，大家都会因为商业上的一些压力去做妥协。但是对于我们团队而言，我觉得也是分成两侧。假如说我们对于基础模型如何去推进也是在摸索，没有较为清晰的一个方向，能够在未来的（比如说当时启动的时候）能够在12到24个月里边应该能够看到什么结果，有判断的话，我觉得我们也未必能够一直坚持这样的一个方式和方法。

所以你是看到了技术上通用的可能性。我觉得是这个团队可能在过去七八年的合作里边其实已经有了一些感觉和认知，再把哪些要素补充在一起，大家合作是比如说12到24个月的话就能够看到第一阶段的效果，我觉得这个比较关键。而并不是说我们把数据先做一些小模型先试一下，是不是把数据堆到一定程度之后，什么程度现在也不知道，有可能是1000万小时，有可能是1亿小时，有可能是10亿小时，说不定就做出来了。我觉得“说不定”这三个字在我们团队里边几乎不太会出现。但是对于其他的团队而言，大家都是在探索，会受到自己团队内部包括投资人和商业化的一些压力，就会选择一个垂类的场景。这时候客户给大家要求的时候，就会导致跟你训基模的这个思路肯定会有背离。所以你们是怎么看到它能做成通用的可能性的，是结果吗？我觉得实际上是通过以前一系列的研究工作，能够感知到这个系统应该可以工作，就是说在小规模上应用的话已经起作用了，只要再给整个搭建完整系统里边大家再齐心协力去试一下的话，有可能能够得到初步的结论。

### 通用机器人路线与生态愿景

要做通用人工智能，它是一条更远更长的路，在这个中间怎么让自己的公司活下来，你作为公司的CEO你会有这个压力存在吗？我觉得我们肯定会有压力，但相对而言还好一些。我觉得机器人在这一波趋势里边，由于大模型的出现包括infra的出现，我们感觉会把它推到下一个阶段。我们实际上是不会赌某一个垂类场景哪个能够跑出来，而是希望我们通过提供一个硬件加底层的模型让大家去试。我们希望我们服务的1000个开发者里边，有100个能够找到能够小批量去做部署的这样的一个应用场景；但另外900个人可能会有比较好的demo或者是研究的成果。这100个人里边可能会有5个、10个会做一个超级应用，他可能会需要部署1万台甚至更多的机器人到不一样的场景里边去。但究竟是从冰箱里边去给我们取饮料瓶倒水，还是说在工厂里边去完成汽车的组装，还是说比如像亚马逊这样的一个仓库和分拣环境里边去抓丝芙兰的唇膏，我们不会去赌某一个场景。因为这个团队我觉得它的特质也并不是说到工厂里边去部署和集成测试。整个的开发者社区里边包括集成商、自动化团队，各自都会有各自不一样的擅长，我们希望就是做底层的新的工具链给大家。

现在把更多的钱投入到你们更有长远场景的研发上，还是说把一部分的精力也投入到比如说针对开发者的软硬件一体的平台分发上，你觉得哪一个是你现在在负责的重心或者说你会怎么去做你的资源分配？我们的核心是在提供一个可靠稳定的硬件加底层模型，从一个抓的技能到三到五个比较常见的技能，并且把它组合开发的工具做好，让100个开发者能够在上面去做不一样的应用尝试。这是我们在现在和接下来几年的时间最核心的一个目标。我们希望100个、1000个开发者在上手的时候，能够出现我刚才描述的情况，有些人可以找到一些有意思的应用场景可以做批量的使用和部署，也会支持你们技术团队去做大规模研发上的投入。对，我们肯定会在这方面是我们最核心的持续性投入。但是为了验证大家可以拿它去做行业里面的垂类应用，我们肯定也会挑一到两个场景跟一到两个开发者紧密地配合，把我们的开发工具一定要做好。

如果10年后回头来看，你是希望苏度科技被人记住的是说我们做出了一个通用机器人的产品，还是说我们证明了Sim2Real这条路是对的？我觉得Sim2Real这条路是对的，是副产物。我们希望10年以后当大家回看今天这个时间节点的时候，会认为这可能是一个类似于像iPhone加iOS操作系统，那个时候会有新的Uber、有滴滴、有美团、会有新的DoorDash长出来。我们希望大家用的硬件加底层的系统和软件，至少有一部分是我们提供的。

一个非常有野心的梦想。对，的确这样。现在做通用应该要牺牲很多垂直的商业化机会。我觉得是的，但我跟苏昊在一开始商量的时候我们也觉得，现在如果是做垂类的商业应用有的时候账是算不过来的，但大家也在抢地盘，就是有一些产品一个机器人部署了，它很难再换一个。对，一个机器人部署替代一定的人工，实际上你也可能要花三到五个PhD的成本去维护。对，还是挺好的一条路径的，很坚持。对，我觉得就是难，但是可能最终是最有效的方法。

好，今天非常精彩，谢谢。好，谢谢。谢谢。好了，这就是我们今天的节目，大家会怎么看机器人的这场竞赛呢？欢迎给我们写评论、写留言。播客的听众可以通过小宇宙、苹果播客还有Spotify来收听订阅我们，大家也可以在B站和YouTube上搜索“硅谷101播客”来看到我们的视频版本。我们部分的文字稿也会收录在“硅谷101”的微信公众号上。我是泓君，感谢大家的收听。