空间智能与物理瓶颈

大飞: 大家好，这里是最佳拍档，我是大飞。最近 AI 圈有个新闻可能很多人没太注意，但我觉得它指向的方向，比大多数融资发布都要重要。李飞飞创办的空间智能公司 World Labs，悄悄收购了一家叫 SceniX 的机器人仿真公司。消息出来的时候我第一反应是，李飞飞也要下场做机器人了吗？但是仔细看完她最新的访谈才发现，她根本不是要造机器人，她要做的事情，可能是决定未来十年机器人产业到底能不能真正落地的关键一步。

大飞: 说出来你可能不信，现在机器人行业最大的瓶颈，根本不是你能看到的那些，既不是电机够不够强，也不是电池够不够用，甚至也不是大模型够不够聪明。真正卡住所有人的，是机器人根本没有足够的上学的机会。我们今天看到的所有厉害的大语言模型，本质上都是把互联网上几十年来积累的所有文字、图片、代码吃了个遍，才练出来的能力。但是机器人面对的是三维的物理世界，互联网上没有现成的、足够多的物理交互数据给它学。你总不能让一个机器人在真实世界里摔一百万次来学走路吧，且不说成本有多高，时间耗不起，还非常危险。

大飞: 这就是李飞飞这次下注的核心逻辑。在她看来，语言模型只是 AI 的一部分，未来的 AI 不只会处理文字和图像，它得能生成、理解、推理，并且真正和三维空间互动。这就是她一直在提的空间智能。下一阶段 AI 竞争的重要方向，不只是让模型在对话框里更聪明，而是让机器真正进入物理世界。而要做到这一点，你得先给机器人造一所学校，一个可以让它反复练习、不怕犯错、还能大规模加速训练的数字道场。

大飞: 这次访谈的主持人是 a16z 的合伙人马丁·卡萨多。对话的另一方除了李飞飞，还有 SceniX 的联合创始人李昀烛。说起来两人的渊源也挺有意思。李昀烛是麻省理工的博士，后来还在斯坦福跟着李飞飞做过博士后，算是正经的师生关系。但是这次合作，最开始根本不是师生叙旧聊出来的。SceniX 最早是 World Labs 的客户。去年底 World Labs 发布了他们第一版生成模型，内部代号叫 Marble。SceniX 自己注册了账号试用，李飞飞一开始都不知道这是自己学生开的公司，后来发现了才打了个电话过去，一聊才发现两边做的事情，居然能严丝合缝拼到一起。

强强联手的技术版图

大飞: 我们先来说说 World Labs 到底在做什么吧。这家公司成立两年，定位是前沿模型实验室，核心方向就是空间智能。简单说，他们想创造的 AI，不只是能看懂二维的图片，而是能真正理解三维世界，能生成三维环境，能在里面推理，能跟空间互动。这个空间可以是物理的，也可以是虚拟的。像视觉特效、游戏设计这些领域，其实早就有类似需求了。实现这个目标的关键路径，就是构建大型世界模型，这也是他们一直在主攻的方向。Marble 就是他们现在对外公开的基础模型。你给它一张图、几张图，甚至只是一段文字描述，它就能生成一个几何结构一致的三维世界，可以用高斯泼溅或者网格的形式呈现出来。

大飞: 那 SceniX 又是做什么的？李昀烛说他自己是个特别务实的人，目标从读博开始就没变过，就是帮助机器人更好地感知物理世界，真正在真实环境里干活。他们创立 SceniX，就是看准了通用机器人开发里一个所有人都头疼的巨大瓶颈，就是训练和评估。他们搞了一套流水线，叫真实到仿真再到真实（Real-to-Sim-to-Real）。简单说，就是把真实环境高保真地映射到数字世界里，让数字世界里发生的物理规则、物体变化，能和真实世界尽可能一致。这样一来，就可以用数字世界里可以无限生成、成本极低的数据，替代那些必须在真实环境里才能拿到的训练和评估数据。

大飞: 为什么说这两家公司互补性特别强呢？李飞飞自己总结得很清楚。SceniX 有从硬件到算法的全栈机器人思想领导力和技术实力，这是 World Labs 之前没有的；而 SceniX 缺的生成模型和 3D 重建能力，又恰恰是 World Labs 的强项。两边一结合，整个技术版图一下就完整了。

李昀烛: 我们最开始也考虑过继续独立发展。但是跟李飞飞聊完，看到那些协同效应，觉得合力是更合理的选择。我们原来做环境建模，要捕捉外观、几何、还有动力学特性，这个过程其实挺重的。而 World Labs 在稀疏重建和生成方面积累很深，用 Marble 这些能力可以非常高效地做环境建模，这是个巨大的解锁。

机器人基础模型的本质

马丁·卡萨多: 那 World Labs 是不是也要推出一个机器人领域的基础模型呢？

李飞飞: 答案是肯定的，我们确实在构建基础模型。未来最激动人心的会是那些全能模型，接受多模态输入，也产出多模态输出。机器人基础模型跟现在的语言模型最大的不同是，它必须包含动作，它不能只是描述世界是什么状态，还得输出接下来该怎么行动。

李昀烛: 这种模型本质上就是多模态的，要考虑图像帧、文本、深度信息各种输入，而动作是其中非常关键的一部分。如果模型输入是图像和动作，输出是对环境变化的预测，这就是个前向模拟器；如果输入是目标，输出是动作，这就是个策略模型。这种全能模型对整个机器人社区价值巨大，既能帮大家理解怎么建模环境，也能指导怎么在环境里行动，还可以作为一个骨干网络，让大家针对特定应用去做微调。

3D仿真与视频生成路线

马丁·卡萨多: 现在很多机器人公司不都在用视频生成模型吗？那看起来是现在的主流路线啊，SceniX 为什么非要走 3D 和仿真这条路，这不是绕远路吗？

李昀烛: 为了创造机器人可以真正在里面学习的世界，你必须抓住问题的本质结构，其中一个必要条件就是一致性。你构建的这个世界，在空间上要一致，时间上要一致，不同视角看过去要一致，各种物理交互下也要保持一致。这恰恰是现在很多视频预测模型的问题。

李昀烛: 你想象一下，如果一个机器人在数字世界里往前推一个物体，结果那个物体直接在画面里消失了，或者穿模了，或者物理反应完全不对，那机器人从这里面根本得不到正确的信号去判断对错。这样训练出来的模型，到了真实世界肯定要出问题。

李昀烛: 当然，我们不是完全否定视频模型的路线。现在也有很多研究，在努力让视频模型变得更好。只是我们看到的路径是，这种偏仿真的基础设施，可以作为启动数据飞轮的初始动力。从仿真驱动的模型开始，训练出策略模型，然后让策略模型在真实环境里执行任务，收集新的数据，数据再回来优化模型。这个模型最终不一定是纯靠物理规则的，也不一定是纯靠数据学习的，而是在中间某个位置，既能抓住问题的本质结构，又能随着数据增加不断扩展和变强。

务实态度与保真度边界

大飞: 聊到这里你会发现，李昀烛确实是个非常务实的人。他说自己的北极星目标一点都不玄乎，就是让机器人在真实环境里真正工作。他们之前做研究的时候给公众发过问卷，问大家最希望机器人做什么，收集上来的上千个任务里，三分之一都是关于清洁的。说白了，人们就是不想干那些脏活累活，这些场景才是真的需要机器人方案去解决的。

李飞飞: 我特别喜欢李昀烛团队的一点，就是这种务实。很多机器人公司都在做模型，但这个团队虽然是学术界出来的，第一直觉不是发论文，而是直接去找行业里的设计伙伴和真实客户。不管是行业实验室、仓库，还是电子组装厂，先到真实场景里去看问题。这种做机器人的方式跟很多公司都不一样，也是我特别兴奋的原因。

马丁·卡萨多: 做机器人需要相当精确，虽然不用完美，但总得八九不离十吧。可 World Labs 做的很多创意领域的用例，比如视觉特效、游戏设计，其实不必那么精确，有时候模型犯点错反而还是一种风格。从技术角度看，这两件事要怎么统一呢？还是说它们本来就统一不了，会一直是两条线呢？

李飞飞: 长远看肯定能统一。不管是环境建模还是模型本身，在机器人里其实都不必追求完美。

李昀烛: 回头看机器人应用的历史，模型一直是重要的基石。最早的飞机，后来的无人机、扫地机器人，再到现在的四足和双足机器人，全都是靠模型才能工作，才能从仿真迁移到现实。我们看那些运动机器人，它们能在雪地、灌木丛里走得很好，但是根本不需要精确模拟每一片灌木、每一片雪花具体长什么样。真正需要的，是一个能抓住问题本质结构的模拟，然后在数字环境里做各种随机化就够了。我们现在和 World Labs 一起研究的核心问题就是，到底需要什么级别的保真度来大规模建模，才能让训练好的机器人系统成功从仿真迁移回真实场景，找到那个够用的边界就好。

数据飞轮与反事实推理

马丁·卡萨多: 那是不是说，仿真就可以完全替代真实世界数据了呢？

李昀烛: 两者根本不矛盾。仿真本质上是在预测动作带来的环境变化，是对世界的一种模型。它不必是纯物理的，可以是物理规则和数据学习的结合。我们当然也在收集真实数据，也会用这些数据，只是在数据飞轮的早期，可能更强调物理规则，确保有正确的一致性和结构；但随着跟客户合作，积累越来越多的真实数据，就会朝更基于学习的方向去建模环境。这个转变过程和数据流，能让我们同时获得物理、几何一致性的好处，也能得到数据和规模计算的力量。

李飞飞: 这根本不是在仿真和没有仿真之间二选一的问题，它们本来就是共同起作用的。想想人类自己的智能，我们的大脑每天都在做大量模拟。为什么？因为模拟有一个真实数据永远无法替代的作用，就是反事实推理。你可以在脑子里推演那些还没发生、没法发生、或者真实数据根本不够的场景，在推演里学会怎么行动。人类从小到大一直都在这么干，这是我们学习的重要方式。自动驾驶就是个特别现实的例子，Waymo 公开说过，他们用了几十亿小时的仿真数据，实际上比真实路测数据更倚重仿真。

大飞: 吴恩达也说过一句话，汽车其实就是最简单的机器人。具体拆解下来，仿真能提供两个层面实实在在的好处：一个是可靠性，一个是效率。

大飞: 先说可靠性。机器人要在真实环境里可靠地工作，你需要数据系统性地覆盖所有可能遇到的状态和变化。在仿真里，你能系统性地随机化光照、摩擦、几何形状、物体类型这些参数，保证足够的状态空间覆盖，这才能带来真正的健壮性。

大飞: 再说效率。现在很多人做机器人训练还在用遥操作，就是人远程操控机器人来做示范。这个数据收集速度比人自己完成任务还慢。但客户要的是什么？是机器人比人更快。想让机器人更快，在真实世界里你总不能简单开个二倍速四倍速吧，物理定律不允许。可是在仿真里，你就能系统性地加速机器人的行为进行训练。这两点，都是仿真能提供的独特价值。

评估与训练的商业价值

李昀烛: 具体的商业应用主要就是两个用例：一个是训练，另一个是评估。说到评估，这其实是机器人领域大家经常忽视的一件事，但它真的太重要了。你在调整机器人模型的时候，必须知道它表现到底怎么样，这是你迭代的唯一依据。

马丁·卡萨多: 每个搞 AI 的人都懂评估是什么，但对非从业者来说可能概念不太一样，需要具体解释一下。

李昀烛: 我说的评估，就是你能不能准确知道在某个时间点，这个模型是 95% 的时间能工作，还是 99.9% 的时间能工作。行业里有个很关键的指标，就是你得跑多久的测试，才能分清楚一个 90% 准确率的模型和一个 92% 准确率的模型。如果你只在真实环境里做这件事，区分它们需要的时间太长了。现在人们在真实环境里做机器人评估，迭代速度比语言模型慢好几个数量级。

马丁·卡萨多: 确实是这样。机器人任务种类繁多，而且物体真的得在空间里移动，物理定律是绕不过去的。你看网上那些机器人演示视频，基本都是八倍速、十倍速在放，因为实际动作太慢了。

李昀烛: 它不光是慢，还危险，而且昂贵。所以我们的一些客户，现在特别需要数字环境来评估机器人系统。我们的数字环境已经实际验证过跟真实世界有一致性，在仿真里发生的事情，有很高概率在真实环境里也会发生。一个模型在仿真里表现更好，它在真实环境里也很可能更好。这就给了客户很强的信心，让他们可以用数字环境的数据和信号来做可扩展、安全、更快的评估。

李昀烛: 再说说训练，核心其实就是可控性。你要控制所有可能的状态、参数、光照、摩擦、物理属性，甚至物体的几何形状和类型。你得保证对不同场景有足够覆盖，才能给机器人生成有信息量的数据，让它变得足够健壮。这些事情在真实环境里做起来太难了。比如遥操作的数据收集速度比人干活还慢，还受限于你有多少台机器人和遥操作设备。但在仿真里，一切都是可控的、系统性的，你确切地知道自己覆盖了什么分布，能有信心地说机器人在这个分布内会正常工作。这种确定性、效率和可扩展性，也是客户真正看重的。

李飞飞: 其实在 SceniX 跟我们开始聊收购之前，Marble 就已经有客户找上门来提这种需求了。我们当时还服务不了，但一直能接到早期机器人公司的电话，从做基础模型的到非常务实的下游应用都有，这个需求一直就在那里。

构建不绑定形态的软件基础设施

马丁·卡萨多: 一般人听说你们进入机器人领域，第一反应肯定是想象你们拿出 3D 打印机，开始造硬件，给机器人写大脑程序，塞进去，就得到一个机器人了。但我觉得你们根本不是这个意思。你们在整个机器人生命周期里到底处于什么位置？边界在哪里？

李昀烛: 我们一直在构建的是一个基础设施，以及围绕它的软件，让人们能构建世界，让机器人可以在里面学习和评估。这个基础设施天然就是与模型无关的，也不绑定任何一种机器人形态。

马丁·卡萨多: 你的意思是，你们不是在造机器人，而是在构建一个环境，另一家公司可以把他们机器人的大脑放进去导航和学习，是这样吗？

李昀烛: 没错。我们现在的客户就有各种不同的机器人，像单臂的、双臂的、固定底座的、移动底盘的、用普通夹爪的、用更复杂末端执行器的，什么样的都有。我们的平台天然跟具体的身体形态无关，可以很轻松地集成不同种类的机器人，把它们放进生成的大规模数字世界里，让它们学会在真实环境里以合适的可靠性和效率去执行任务。而且我们跟模型也无关，世界生成的数据可以用来从头训练一个新模型，也可以对现有基础模型做后训练。对我们来说，具体是什么模型不重要，要保证的就是有这个基础设施和所有的数字世界，让机器人最终能在真实环境里可靠工作。

落地节奏与人形机器人的迷思

大飞: 那具体的落地节奏呢？很多人现在一说起机器人就是人形机器人，好像未来一两年家家户户都能有一个人形机器人管家似的。李昀烛之前就表达过，他觉得很多人形机器人的预期太激进了，我们更可能先看到仓库这类受限环境的大规模部署。

李昀烛: 机器人应用的进展，其实一直遵循一个很清晰的规律，就是从全结构化环境，到半结构化环境，再到非结构化环境，一步一步来。全结构化的像工厂流水线，其实已经自动化几十年了，大家早就见怪不怪了。接下来是半结构化的，比如亚马逊的仓库、餐厅、酒店，你能对环境做一些控制让任务变简单，但还有很多不可控的东西。再往后才是非结构化的，就是你我的家，那是终极挑战。

李飞飞: 尤其是我家，三条狗，一个五岁的孩子，那环境复杂度你想想就知道了。

李昀烛: 为什么要这么一步步来？因为健壮性本质上来源于对机器人可能遇到的各种场景的充分覆盖。所以现阶段，专注于半结构化环境更可行，也更现实。我们当然会朝着非结构化环境前进，但是想用一种更可持续的方式。

李飞飞: 人形机器人模仿的是人体，而进化把人体优化成了应对非结构化环境的通用体态。我们的手指、腿，不是为了做某件特定的事而生的最优解。如果人类的唯一目标是爬树，我们肯定会长出完全不同的手。这种通用性本来就是为了在非结构化环境里生存才演化出来的。但是从商业和技术务实的角度看，非结构化环境和通用身体恰恰是最难解决的问题，甚至不一定是正确的解法。更好的方式其实是专业化，用更专业的身体去解决更窄的问题。SceniX 要解决的挑战之一，就是让他们的基础设施不绑定任何一种机器人形态，这样才能服务于不同类型的机器人和不同的半结构化环境。

能效比与漫长的进化之路

马丁·卡萨多: 大家常常从经济学角度看这个事。生成式大语言模型能比人类快一万倍、还便宜地生成文本，因为我们的大脑本来就不擅长那些机械的文字工作。但我们的大脑和身体在 3D 导航、移动物体这些事情上其实是非常高效的，经过了几百万年的进化。你相信我们在可预见的未来，能造出在做简单任务时能效跟人类相当的机器人吗？比如基本接近最低工资的人力成本水平，是 5 年还是永远不可能？

李昀烛: 我觉得还需要很长时间。真实环境中工作的机器人，最终是一个系统工程，硬件、软件、大脑，甚至手指的摩擦系数，每个细节都得考虑周到。这需要大量的迭代。但我也觉得兴奋的是，我一直处在机器人学习的前沿，这个领域进步的速度总是超出我的预期，我现在研究和关心的东西跟我博士刚开始时已经完全不一样了，这说明整个生态进化得有多快。但是预测也得保持校准，要看到大量进步，但要达到人类水平的效率和能力，路还很长。

李飞飞: 现在 AI 最难的事，就是保持一种适度的乐观。就算是现在的大语言模型，也远没有人类大脑高效，人脑才 30 瓦功耗。在图像生成或编程这类窄任务上，性能功耗比或许还行，但在机器人方面，我们离得还很远。

马丁·卡萨多: 那这个现实会不会改变你们的战略思考呢？

李昀烛: 这确实深刻改变了我们的发展轨迹，这也是为什么我们看到跟 World Labs 合作的价值，能以更高效、可扩展的方式去做环境建模，这本身就是个巨大的解锁。还有一点很重要，现在的语言模型能力确实很强，但你仍然不会完全信任它去订机票或订酒店，总希望有人在最后把关；但人们对机器人的使用方式会很不同，机器人开箱就必须在真实环境里可靠工作，出问题就是物理世界的事故。可我们甚至还没有必要的数据和基础设施去实现这点。所以，创建这些可扩展的数字世界，让机器人在里面学习和评估，能用生成的数据替代真实环境里昂贵、不安全的物理数据，这真的会释放巨大的潜力。

未来整合与两年愿景

马丁·卡萨多: 收购后的整合一直是个难题，你们是现在就深度整合，还是保持相对独立？

李飞飞: 我们会慢慢来，不急着一上来就把代码库和团队全混在一起。SceniX 有一个相当自洽的技术栈，有他们自己的客户和产品形态，我们会花时间自然融合。当然，在仿真和基础模型的动作条件化上，我们已经开始对话了，SceniX 也作为内部客户在使用 Marble。整合肯定会做，但不是那种一锅烩式的生硬整合。

李飞飞: 地理上的安排是李昀烛会搬来旧金山。World Labs 也算正式成为一家双海岸公司了，会在纽约设立一个办公室，帮助我们吸引东海岸的人才。我们也在讨论，要确保两个办公室都有机器人，这样能远程测试和迭代工程栈，这也是将来为客户提供服务所必须的能力。

马丁·卡萨多: 那两年之后，成功的图景应该是什么样呢？

李飞飞: 我非常高兴的是 SceniX 和 World Labs 的团队能在少数几个重要的垂直领域里拥有经过验证的客户，我们的系统和基础设施被证明对客户的自动化需求有实实在在的帮助，这些客户会成为我们拓展业务的灯塔案例。

李昀烛: 目前我们的真实到仿真再到真实的流水线设计得很灵活，有的客户只需要真实到仿真的部分，把他们的任务数字化去做评估就够了；有的则需要整个闭环，让策略直接在硬件上跑。我们现在正合作的客户，其实已经很接近部署阶段了，手头有几十上百个具体任务场景，一旦用机器人方案替代，能立刻创造价值。

李飞飞: 我们欢迎所有人来联系，不管是早还是晚，我们想了解大家的用例。如果你在做任何跟机器人相关的事，都可以联系 World Labs，我们开放业务合作。

大飞: 听完整个访谈我最大的感受是，这一波 AI 浪潮走到今天，很多人都在盯着大语言模型，盯着聊天机器人，盯着谁又发布了多少参数的新模型。但李飞飞这次的选择其实提醒了我们，AI 的终极目标之一，是要走到物理世界里去的。而要让 AI 真正从数字世界走到物理世界，中间还差着一整个基础设施的距离。这个基础设施不是更聪明的大脑，而是能让大脑安全、高效、低成本地反复练习的数字道场。这条路可能不会像聊天机器人那样几个月就有一次炸裂的更新，不会有那么多炫目的演示，但它可能才是机器人真正走进我们生活之前，必须先铺好的路。

大飞: 那大家觉得，机器人真正大规模走进普通人的生活，还需要多少年呢？你最希望第一个家用机器人帮你干什么活呢？欢迎在评论区留言。感谢收看，我们下期再见。