加入 World Labs 与走出象牙塔
主持人: 欢迎学长！恭喜最近加入李飞飞的 World Labs 啦。我们现在正在这一代 AI 发展的高峰，然后李飞飞又非常专注于去做下一代的 AI，做具身智能、世界模型。在这个时候加入这样一家公司，又是我们最耳熟能详的华人 AI 大佬，就非常激动人心。
郑昌熙: 谢谢谢谢，我们也挺 excited（兴奋），从一个小船换到一个大船了。
主持人: 但其实你上过大船的对吧？咱们第一次认识或者接触的时候，当时你在哥大 take a sabbatical（休学术假），然后在腾讯做杰出科学家。所以你其实是学术界，然后去大厂，然后又去创业，现在又加入了一个知名度更高的创业公司，经验非常丰富。
郑昌熙: 腾讯算是更大的一个船，腾讯算是航空母舰，World Labs 还只能说是一个大船。
主持人: 我先想听听你的故事。我比较了解你加入腾讯最后离开腾讯的这些事情，后面的事情就不太了解了。可不可以跟大家讲一下，你是教授加入腾讯，在腾讯做的是什么，之后为什么离开，又去做了什么，为什么要去做你的 startup（创业公司）？
郑昌熙: 加入腾讯其实我觉得也是一个巧合。我那个时候刚好 sabbatical（学术休假），其实我那个学术休假已经拖了很久了，一直没有休，因为那段时间正好是疫情。学校有一天突然跟我说，你这个学术休假也不能再拖了，要么休要么不休。正好也有些 industry（产业界）跟我联系，那个时候腾讯高层跟我联系，说正好他们有兴趣在纽约开一个实验室。我想这个挺好的，因为这样我也不用搬家，契机就是这样。
当时我去腾讯的时候，我想如果我去腾讯再建一个这种 research（研究）实验室，跟我留在哥大做研究有啥区别呢？我当时的想法是想去体验或者尝试一下在大厂里面的 incubation（孵化）。当时我建的那个实验室 not really a research lab（并不真是一个研究实验室），可能更偏向是 incubation lab（孵化实验室）。所以我们会做一些研究，但也会做很多希望探索 potential（有潜力）产品方向的东西。
那个时候 GenAI（生成式人工智能）还才刚刚开始，Midjourney 这些才刚刚兴起，没有现在这一波浪潮已经到面前这么大的情况。所以当时公司里面也会有一些讨论和 debate（争论）。你想一个新的技术浪潮刚刚开始的时候，senior management（公司高层）也不是很确定，这里面也牵扯到能不能拿到足够的资源、愿不愿意 all in 这些事情，各种各样的 chemistry 和 dynamics 在里面。我当时觉得在大公司里面做这种很新的 AI 相关的东西，不一定是一个特别适合的契机。再加上当时我们多多少少已经有一些想自己尝试做一些自己想做的事情的想法。那个时候刚好也在腾讯待了两年了，确实也需要做一个选择，要不要回学校，所以我当时就选择回了学校。
大厂创新困境与技术的商业边界
主持人: 这儿可不可以多问一些？在腾讯发生的一些事情可以聊吗？
郑昌熙: 我觉得可以。其实我觉得这个也不算腾讯独有的问题，in general（总的来说）所有的大厂多多少少都面临这样的一个问题：在已经有很好的商业模式和盈利模式的情况下，当有一个很新的东西出现的时候，to what extent you want to jump in（你到底想投入到什么程度）。这是所有大厂都面临的问题。简单直接来说，就是腾讯愿意投入多少资源给到我们当时还在纽约、相对来讲比较 remote（偏远）的一个 group（小组），有多大的 trust（信任）来做这件事情。
主持人: 我之所以觉得值得聊一下，是因为和我们此时此刻的竞争格局都非常相关。大家看到 Google 好像在跟 OpenAI 和 Anthropic 直接在大模型上去进行竞争，大家会有一个想法：大厂既有人才，又有数据、算力、钱和用户，什么都有，那肯定有很大的竞争优势。但是其实未必是这样。哪怕是你已经是腾讯非常高调请回来的科学家，职级很高，而且还在一个比较远的地方，在纽约和国内，其实自由度和能拿到的资源都是非常有限的。
郑昌熙: 首先我其实挺感激的，在腾讯我老板给到了我们足够多的自由，直到现在我都挺感恩的。只是说资源会有多大，尤其是 GenAI 相关的事情确实挺消耗人力和计算资源。在当时那个情况来看，确实挺考验公司 senior management（高层）的战略判断和决心的。
主持人: 那你后来做 startup，觉得从那段经历有没有学到什么 lessons（教训）？
郑昌熙: 我觉得在腾讯我还是学到了挺多东西的。因为当时我建的那个实验室 first priority（第一优先级）不是 produce paper（产出论文），可能第一优先级是怎么能够 create（创造出）新的产品方向。我觉得最大的体会就是：in terms of business（就商业而言），technology（技术）真的不是最关键或者最有用的东西，甚至都不是第二有用的东西。 以前待在学校里面大家都是 technology driven（技术驱动）、technology centric（以技术为中心）的 mindset（心智模型），我觉得这是挺大的一个转变。
主持人: 这件事我现在觉得 so true（太对了），以至于我都忘了为什么我当时会觉得 technology 那么重要了。你还记得吗，为什么在学校的时候觉得技术是最重要的东西？
郑昌熙: 我觉得这件事情本质上来讲是工业革命之后，整个社会建立起来的一个 value system（价值体系）。工业革命之后体力劳动变得不重要了，knowledge（知识）和 creativity（创造力）变得更重要了。而这种创造力在学术界一个直接量化的东西就是你的新技术，最现实地反映在你的 paper 和 publication（论文发表）上面。本质上就是这套 system 奖励那些技术特别强或者特别能发 paper 的人。长期身在这个系统里面，value system 就被同化了。
那些发 paper、citation（引用）很高、有很大 impact（影响力）的确实很厉害。但是在一个地方待久了，很多时候就忘了这个世界还挺大的，从别的维度、更大的 picture（格局）来看，技术这件事情就不一定是最重要的了。
论文游戏的规则与技术品味
主持人: 我之前听你在你学生的访谈里面讲过，你已经搞懂了发论文这个游戏，所以你想怎么发就怎么发，top journal（顶级期刊）随便发那种感觉。是这样吗？
郑昌熙: To be clear（先澄清一下），也不能说我想怎么发就怎么发。我觉得 peer review（同行评审）整个过程还是有它科学的严肃性的。只是说在知道 game rule（游戏规则）的时候，很多时候你到底是做了一个很牛的新技术，还是做了一个便于 publish（发表）的东西？这两件事情的界限变得很模糊。很多时候问题是你到底是为了发表论文，还是希望做一个很有用很厉害的技术出来？这两件事真是不一样。
主持人: 在你看来什么东西是技术？论文是它的一个什么样的 proxy（代理指标）？
郑昌熙: 从学术圈或者技术发展角度，所谓有价值的东西在我看来其实就两个：
一个是你能 inspire（启发）别人，启发很多 follow-up（后续）的工作。你的工作可能不一定直接有 practical value（实际价值），但是你启发了别人在你这个基础上开创一个方向，这是有用的工作。
另外一种是你做的东西真的能够解决 practical（实用）的问题，能够在现实当中 create value（创造价值）。当然有没有商业模式能够 capture（捕获）这个价值是另外一回事。
但是很多时候学术圈里的 paper 是这两头都没占到。包括我自己的一些工作，我不得不承认，因为评价体系多多少少跟发表数量有关，最后很多时候就变成了两边都不沾，去走中间那条路线，因为通常来讲走中间路线是比较容易的。
主持人: 所谓的 spin paper（包装论文）。你觉得有多少人具备 spin paper 的能力？我自己读博士的时候就觉得有人有这样的能力，但是我就做不到，很明显是没有抓到其中的规律。
郑昌熙: 用国内话说叫卷嘛，卷得太多了多多少少也都会知道 game rule 到底是什么样子的。比如我比较熟悉的图形学、场景图、计算机视觉（Graphics, Scene Graph, Vision）领域，很多时候就是你有一个看起来非常不一样的问题，用某一种方法把它解决了，到最后看起来效果还不错。至于这个效果是不是 cherry-pick（挑最好的展示），who knows（谁知道呢）。
这样的情况下很多时候确实能吸引到 reviewer（审稿人）的眼球，paper 可能也就中了。甚至有些时候第一次投不中，接下来换一批审稿人再投，说白了重新买个 lottery ticket（彩票），第二次可能就被收了。最后这个东西就变成了一个 game。
主持人: 在玩通这个 game 以后，你觉得你有没有分辨什么是 true innovation（真正创新）和 spin paper 的能力？
郑昌熙: 我觉得这个就是 technology taste（技术品味）。 对于那些有 practical value 的工作，相对来讲比较容易看到或者判断；但是那些前瞻性的工作，很多时候确实很难预测。比如说 Google 最开始 Transformer 刚出来的时候，大家也不会想到会有这么大的影响力。很多技术的突破确实有一定的滞后性。
因为技术的实际作用很难当成一个独立事件来评估，你需要看到它的 context（语境）。就算是 Transformer 很牛，也是因为周边相关的技术、数据采集能力、训练模型的基础设施（Infra）这一系列东西成熟之后，才把它的价值体现出来。科学发展史上有太多这样的例子，这也是为什么很多大的突破需要在特定的历史时刻出现，才会把价值体现出来。
主持人: 发论文是一件非常 prestigious（有声望）的事情，尤其作为东亚华人，会觉得当了教授、天天发论文成为领域权威，已经是人生巅峰了。但是你会不满足于这个，去寻找一些不一样的东西。
郑昌熙: 插一句，我觉得期刊发表本身是智力能力的一种体现，曾经确实是很 prestigious 的事情。但在我的观察中，至少在计算机科学领域，这件事情越来越大众化或者平民化了。对于一个做学术的人来说，发好的 paper 是非常 prestigious 的事情，这跟发普通的 paper 是两回事。刚开始做 faculty（教职）我都不理解，后来才明白：真正定义你职业生涯的 prestigious paper，一篇就够了，真的不需要那么多。
主持人: 我的社区叫 Superlinear Academy，我想起 MIT 一个教授说，论文质量对你的影响超过一个门槛后会陡增，一下子定义你的 career，剩下的其他工作全都不重要了。问题是，为什么你会选择做一个完全不一样的事情，包括去腾讯？在学校里已经很好了。
郑昌熙: 其实过去这些年我一直在时不时做一些不一样的事情。比如最开始我都不是做图形学的，我在康奈尔读研究生第一学期发的第一篇论文是关于网络劫持（Internet hijack）和网络安全的，跟我现在做的完全不一样。
为什么换过很多东西？我觉得说到底变成了你人生到底在追求什么。这是一个非常深的话题。一方面，随着人生经历变多，你看到越来越多的可能性。举个例子，很多学生找我说要跟我做研究、读博士，我问他们兴趣是什么，学生会说对这个感兴趣。但你再深问一下就会发现，一个学生对一个东西感兴趣，并不一定出于真正意义上的热爱，而是因为之前的经历机缘巧合做了这个事情，比较熟悉，所以认为自己感兴趣。人生经历和真正的兴趣其实是掺杂在一起的。年轻的时候没有那么清晰地去区分，随着人生经历变多或者变老，这些兴趣变得更清晰了，在某一个特定事件下就触发了一个比较大的改变。
比如我最开始在微软做计算机网络，后来转到图形学，就是因为在那个时刻我突然意识到自己内心还是很喜欢数学和物理的，觉得特别酷，而图形学正好能让我用到微分方程等数学工具。正好碰到了我博士导师，就做了这个转变。在触发巨大改变之前，确实有一个自我觉醒的过程。另外一方面，人生真的是一条河，它本身在不断变化，你的思维和价值体系也在变化。最开始对发 paper 上心，再后来对发好的 paper 上心，再后来想做 scope（范围）更大一点的事情。
指标系统、自我觉醒与中年危机
主持人: 很多观众开始自我觉醒，第一个反应就是迷茫。因为小时候外界的评价体系非常标准：论文是明确的计分牌，在学校里一步步拿到 tenure（终身教职）、当系主任、带更多学生，都是清晰的计分牌。我读博时觉得只要知道怎么发好论文就行了，剩下所有都会有，这是很大的安慰。但后来发现需要搞清楚自己想要什么，很多人特别怕。想请你多讲讲你自我觉醒的过程。
郑昌熙: 首先，我觉得人生有计分牌或者 metric（指标）本身是件好事。从伽利略的科学主义角度来说，你需要有一个 metric 来衡量进展，否则你说这样好他说那样好，反而更迷茫。但重点在于 metric 不是一个单一的东西，人生有很多支点和维度。第二个在于 metric 是一个动态的东西，在适当的时候改变你的指标不是坏事。
主持人: 为什么有的人自我觉醒能找到自己的兴趣，有的人找了也找不到，非常迷茫和痛苦？你有这种经历吗，怎么度过的？
郑昌熙: 我也有，就是所谓中年危机。尤其是刚拿 tenure 之后那几年，突然之间觉得人生是不是就这样了？继续在学校这个非常舒适的地方待着，年复一年地写 proposal（项目申请书）、搞经费、发论文。
我可能是想得比较多的人，喜欢瞎想，甚至会看一些很虚的书，比如哲学类的。比如杜兰特夫妇写的《历史的教训》（The Lessons of History），还有《人类简史》。这些年也一直在做 meditation（冥想），看了不少佛教哲学的书，比如《金刚经》、《法华经》。我自己没有宗教信仰，但从那些书里确实触发了我对自己很多事情的思考。
创立 SceniX：工业自动化的仿真缺口
主持人: 我们把话题拉回来，讲讲从腾讯回到哥大后，是怎么创立 SceniX 的？
郑昌熙: 当时我在腾讯的一个小伙伴跟我一起离开了，也是我们 SceniX 的另一个联合创始人。我们当时想尝试自己能有主动权，去做一些我们觉得有用的事情。加上我们这些年在图形学甚至在腾讯的背景，接触最多的就是游戏引擎（game engine），尤其是基于云端的游戏引擎。我们开始就想做个引擎，加上我之前做过流体、纳米光学集成电路等工业模拟计算，正好学校在面试教职，昀烛也是我们的联合创始人，他是做机器人（robotics）的。
跟他聊的时候我意识到，虽然我自己以前也做一些机器人，但最前沿的仿真加渲染（Simulation plus rendering）技术在机器人圈子里并没有被充分看重（fully appreciate）。任何有信息差的地方就有商业机会。 仿真加渲染这一系列前沿技术在机器人领域并没有被很好地用起来。我们意识到工业自动化（industrial automation）是一个 scope 足够大的事情，哪怕当时没有想清楚具体要做什么，但在这大范围和信息差之下总能做成一些事情。
主持人: SceniX 主要是做什么的？
郑昌熙: 长话短说，我们希望用以仿真为中心的工作流（simulation-centric workflow）来开发稳健、高性能的机器人控制策略（develop robust, performant robotic policies）。
具体来说，我们聚焦的是工业场景的机器人策略（robotic policy）。在工业场景里，策略必须足够稳健（robust），跑十次坏三四次是无法接受的；其次需要足够快（performant），如果机器人完成任务太慢或者跟人的速度一样，ROI（投入产出比）是算不过来的，不如雇人去做。
主持人: 针对机器人策略，马斯克说希望自动驾驶是端到端神经网络（end-to-end neural network），不希望有专家策略，要用 AI 的方式 scale 并追求通用。而过去很多系统雇了很多人写策略最后被生成式 AI 干掉。你怎么看这两者的区别？
郑昌熙: Clarify（澄清）一下，现代意义上的机器人策略很多本身就是一个神经网络模型，也是端到端的东西：输入是机器人摄像头或传感器拍到的数据，输出是给电机的动作（action）。
我们跟他们是同一件事情，区别在于侧重点：到底是要一个可以完成各种任务的大型通用基础策略（large general foundation policy），还是要一个专门针对某一类任务的策略？也就是你在泛化（Generalization）这个尺度上走多远。
在我们看来，具身智能（Embodied AI）有三个维度：
- 泛化能力（Generalization）：能完成多少种任务；
- 稳健性（Robustness）：在不同环境和 setup 下能成功多少次；
- 速度与性能（Performance）：完成任务有多快，吞吐量有多高。
不同的公司侧重点不一样。我们更侧重在稳健性和性能上。我个人的判断是：具身智能领域很难突然蹦出一个像 ChatGPT 那样的通用基础模型，一下把工业场景里 80% 到 90% 的任务都能做完。 我说的“能做”是指像人一样在工业生产环境中稳定运行，而不是 10 次成功五六次的 demo。基于这个判断，我们才更侧重在稳健性和性能上。
具身智能难现 ChatGPT 时刻：分工、物理与算力瓶颈
主持人: 你做出这个判断的依据是什么？现在很多投资人和公司在押注具身智能的 ChatGPT 时刻，觉得数据从 100 万小时增加到 1000 万小时就能训出来。
郑昌熙: 大家都说数据问题，机器人要达到通用泛化能力所需的数据量肯定比视频、图片或文字大很多数量级，因为这里面有物理（Physics），而且数据采集极其困难。
但我讲一点不太一样、偏哲学层面的东西：亚当·斯密在《国富论》第一章就讲到，工业化的一个直接后果是专门化（specialization），产生流水线和专业工种。 站在工业生产具身智能的角度看，社会化生产的必然结果是只有足够专门化才能降低成本，并在任务上不断优化。具身智能在泛化与专门化之间这根线到底画在哪？我认为具身智能的 ChatGPT 时刻短期内不太可能出现，在相当长一段时间内，必须通过专门化来保证稳健性与性能，才能产生足够的 ROI 落地。
当然很多做家庭环境（home environment）的公司更需要泛化能力，因为家里只买一个机器人做各种家务，泛化优先级更高，但家庭场景有其他社会经济层面的问题。
主持人: 故意唱反调一下：白领工作中原本也有很多专业分工，但随着通用模型越来越聪明，很多专业化工作直接被淹没了。工业上难道会有根本不同吗？
郑昌熙: 如果有办法拿到无限多的数据，也许行。但这里有技术细节： 第一，海量数据进来必然需要比现在语言模型更大的模型。 第二，在底层控制（low-level control）层面上存在响应时间（response time）和计算预算（computational budget）问题。 你不是跟人交互，而是跟机器交互、控制电机，交互频率远高于游戏引擎的 60Hz。虽然有人反驳说计算能力会越来越快，但看看整个虚幻引擎（Unreal）花了数十年时间解决降低模型计算延迟的问题，硬件和物理世界的演进尺度远比纯软件复杂。
主持人: 我想起 MIT 做昆虫机器人的学者说，电池技术卡了很久，百年前劳斯莱斯工程师就知道电机最适合汽车，但电池问题解决花了上百年。大家习惯了比特世界的速度，高估了原子世界的演化。
郑昌熙: Hardware is always hard（硬件永远很难）。 过去这些年 VR/AR 的教训也是如此，很大问题卡在硬件、供电、电池与计算能力的平衡上。
主持人: 清华刘嘉教授提到，人类大脑 6/7 的神经元在小脑负责控制物理运动，只有 1/7 负责逻辑推理。AI 能解决很多白领的脑力活动，但在蓝领物理动作上，除了数据采集难之外，还有什么根本限制？
郑昌熙: 人类社会的构造过程建立在抽象层级（Hierarchy of abstraction）之上，语言和数学是最高层的抽象符号系统。目前的语言模型在能够进行形式化抽象描述的地方表现极好，写代码、做数学都很厉害。但越往下层直接跟体力劳动挂钩的东西，越难以被形式化抽象。 比如日本传统木匠的手艺，全在手艺人的身体和感觉里，根本无法用语言描述。
AI 的核心问题之一是表征（representation）：语言用 token，图像用 pixel，而 3D 世界和物理世界除了几何还有质量分布、材料内部结构、表面粗糙度与摩擦力等，至今没有统一有效的形式化表征。
主持人: 如果给你一万倍最强算力，物理世界什么样的表达方式最合理？
郑昌熙: 最核心的还是正则化。在无限算力下，类似有限元的体素（voxel）表达是合理的，把三维空间分成极其微小的网格，定义每个网格的密度、颜色和材料。但目前这种方式极耗内存，且需要“上帝视角”，跟人类仅凭局部观察预测物理规律的直觉经验并不相符。
世界模型的定义与现实落地
主持人: 怎么定义世界模型（World Model）？
郑昌熙: 对我来说比较主流传统的定义是：给定当前时刻物理世界的状态，以及你要施加的动作或干预，模型能够预测下一个时刻世界的状态。这就是世界模型。
主持人: 在哪个尺度上进行抽象是关键。在 SceniX 用仿真优先的流程去生成机器人策略，如何做抽象选择？
郑昌熙: 这就是行业的 know-how（诀窍）和特定领域知识（domain knowledge）。针对不同的机器人任务，仿真产生数据时必须做取舍。比如折纸箱的任务，纸板折多了折痕会有疲劳（fatigue），硬度会改变，为了让机器人足够稳健，仿真就必须捕捉到这一层物理特性的变化。
主持人: 仿真能产生新的信息吗？
郑昌熙: 如果规则已经包含在物理方程里，从纯规则角度没有新信息；但从生产角度，能在不同设计下无需做真实实验就预测未来结果，确实获得了新的决策信息。
把物理世界的经验植入模型，可以通过真实世界采集，也可以从具备一定“上帝视角”的仿真世界模型中提取经验来训练神经网络。但这里存在鸡生蛋的问题：你怎样获得足够的数据和经验去训练那个完美的物理世界模型？目前行业其实在回避这个问题。
主持人: 在这个过程中，人类研究员的作用会被 AI 取代吗？之前有朋友用廉价单片机做车库门检测，跟 GPT 聊了 10 分钟，GPT 花了 5 小时端到端训练出模型，执行门槛大幅降低。
郑昌熙: 研究员的价值恰恰在前面：想到用这个单片机训练模型解决车库门问题，这是最有价值的创见；后面的训练和代码生成只是执行。 当执行的成本变得极低时，如何探索 idea、如何做科学发现的范式才是更重要的问题。
学术自由、个人英雄主义与 World Labs 的空间智能
主持人: 为什么你作为大学教授可以出来做这么多事情？
郑昌熙: 我现在是在休哥大的学术假（sabbatical），全职在 World Labs。美国大学机制下每教书 12 个学期（6年）可以申请休假一段时间。
美国的大学本质上是一个 marketplace（市场），像一个菜市场。大学提供平台和摊位，教授在里面租摊位，每年通过科研经费交管理费（overhead）。但大学里的学术研究本质上是一种“个人英雄主义”行为，教授和优秀的学生积累个人声望，这在技术突破上能走得很远，但在需要大规模工程协同的维度上会受到限制。这也是为什么我想去产业界，因为产业界更讲求团队协作（teamwork）。
我在 World Labs 做的事情，跟在 SceniX 其实是一脉相承的，是在更大的平台上推行以仿真为中心的工作流，即 Real-to-Sim-to-Real（真实到仿真再回真实）：从真实世界获取任务，低成本转化为虚拟场景做实验与数据生成，训练出稳健高效的策略模型，再迁移回真实世界。
主持人: World Labs 的定位在具身智能版图里处于什么位置？
郑昌熙: 现在的具身智能领域，有专门做数据的，有做通用策略模型的（如 Physical Intelligence），也有软硬件全栈自研的（如 Figure AI）。
李飞飞和 World Labs 主张的核心概念是空间智能（Spatial Intelligence）。它是讲一个关于三维空间认知的更宏大故事，从图像重建三维世界并进行交互理解，机器人只是空间智能的一个非常自然的应用场景。但坦率地说，整个具身智能行业目前还处于类似 GPT-2 的非常早期阶段，尚未在真实工业生产环境中大规模普及。
主持人: 中国很多观点认为，美国缺乏制造业且人力成本高，而中国制造业完备、场景卷且愿意尝试新技术，做机器人一定要在中国做。你怎么看？
郑昌熙: 我不认为西方没有制造业。把美欧加整体来看，制造业体量非常庞大。而且正因为西方存在人力成本高和工会等问题，对自动化的需求反而更加迫切（desperate）。人类社会的规模化工业生产将长期存在，对自动化的追求也是永恒的，这为在美国做机器人提供了足够大的市场空间。
国内的具身智能创业公司（如星海图、宇树、云深处等）往往倾向于讲“大开大合”的全栈宏大故事，涵盖硬件本体、大脑算法和仿真平台。而我们更倾向于**硬件无关（hardware-agnostic）**的工作流，不绑定特定本体，通过一套通用的技术流程适配多种硬件。现阶段仍是八仙过海、各显神通，不同路线都还在验证之中。