清华叉院徐梦迪深度剖析:具身智能的Scaling Law信号与上下文自适应突围 Best Partners TV 2026-10-02

清华叉院徐梦迪深度剖析:具身智能的Scaling Law信号与上下文自适应突围

关键字 embodied-ai in-context-learning robotics-learning scaling-law generalization
7 节

破局前夜:具身智能的物理提示与泛化命题

在当下具身智能的前沿探索中,一个极具突破性的产业信号正在引发学术界与工业界的广泛关注。前不久,一家名为 Generalist 的初创公司对外发布了其研发的 GEN-1.5 模型。在该模型的技术框架下,操作人员只需为机器人提供一段长约3到12秒的人类动作示范作为物理提示(Physical Prompting: 将物理示范转化为模型可直接理解的情境线索),在完全不做下游任务微调、不更新底层网络任何参数的前提下,机器人即可在全新陌生的物理环境中当场尝试并执行全新任务。测试数据显示,在涵盖10项不同特性的操作任务中,系统的平均任务成功率达到了约59%。

这一成果迅速在具身智能领域掀起波澜,其核心原因在于它直击了机器人学长久以来的终极命题:机器人究竟能否像人类一样,步入一个完全陌生的非结构化新环境后,仅仅“看一遍”就能理解并学会操作?长期以来,机器人的动作策略高度依赖于在限定场景下的海量特定任务微调,一旦物理环境的光照、物体摆放位姿或几何外形发生轻微扰动,策略网络往往就会遭遇性能断崖式下跌。GEN-1.5 的突破向业界展示了一种全新可能性,即跳脱出传统的“采集—训练—微调”笨重范式,迈向基于上下文即时自适应的新阶段。

今天探讨的主角,正是长期在该方向深度深耕、持续押注的青年学者——徐梦迪。现年30岁半的她,已全职回国担任清华大学交叉信息研究院(Institute for Interdisciplinary Information Sciences: 简称叉院)的助理教授。回顾她的学术履历,是一条兼具扎实机械物理功底与前沿算法直觉的跨学科轨迹:本科毕业于清华大学汽车工程系(现车辆与运载学院),随后赴约翰斯·霍普金斯大学(JHU)与卡内基梅隆大学(CMU)深造,在 CMU 摘得最佳博士论文奖;之后前往斯坦福大学开展博士后研究,师从计算机视觉与具身智能领域顶尖学者李飞飞教授和吴佳俊教授;2024年初,她选择回国加入清华叉院组建独立实验室。

徐梦迪学术生涯的核心主线,始终聚焦于“如何让机器人在开放现实场景中持续学习、动态进化并实现通用泛化”。为了系统理解这一技术愿景的形成逻辑,必须从她早期的学术转折与底层工程素养切入。从宏观造车到底层灵巧机器人的探索,不仅奠定了她对复杂机械物理系统的敏锐嗅觉,更深刻塑造了她对机器人适应性本质的独到洞见。

机械基因与竞赛熔炉:从仿生结构到算法控制的转向

徐梦迪本科就读于清华大学车辆工程系。在外界看来,从庞大厚重的现代汽车工程跨界到微观灵巧的智能机器人,两者之间的跨度堪比“隔着一个变形金刚”。然而徐梦迪在复盘自己的学术起点时,却始终认为选择汽车系是一次极其关键且正确的决定。现代车辆工程本身就是一门典型的复杂机电一体化系统工程,其培养方案兼具极高的广度与工程深度:从经典的机构运动学、材料力学、机械设计,到汽车电子控制系统,与电子工程系有着大体量的交叉重叠,同时涵盖了大量的控制理论与现代算法课程。这种贯穿“硬件机械—嵌入式电气—上层控制算法”的全局训练,为她日后理解具身智能的物理交互规律埋下了坚实的认知底座。

她真正将学术重心转向机器人学的催化契机发生在大二学年。当时,她跟随清华机械工程系的阎绍泽教授参与科研训练,接触的课题是生物力学领域极具挑战的“蜜蜂翅膀的超弹性恢复机制”。在自然界中,蜜蜂在花丛间高速穿梭采蜜时,其纤薄的翅膀会极其频繁地碰撞周围的花枝与障碍物,但翅膀却几乎不会发生疲劳撕裂或永久性结构破损。研究发现,蜜蜂翅膀精巧的微纳结构和材料特性赋予了其极高的超弹性恢复能力。这一将生物力学机理与物理环境自适应相结合的研究课题,彻底为徐梦迪打开了一扇探索仿生与物理交互的大门。

顺着生物仿生机构的研究脉络,大三暑假期间,徐梦迪前往卡内基梅隆大学机器人研究所(CMU The Robotics Institute),加入了在仿生机器人领域享誉全球的豪伊·乔塞特(Howie Choset)教授课题组。Choset 实验室以研发能够在废墟、管道等极端复杂狭窄地形中穿梭的蛇形机器人闻名。在访学期间,徐梦迪亲自动手设计并加工了一台用于攀爬工业管道的蛇形机器人机构。然而,在亲手完成机械装配与测试的过程中,她愈发深刻地意识到:单凭硬件机构层面的精巧被动顺应,根本无法穷尽真实世界无限复杂的物理接触;要让多自由度的仿生机械在多变环境中稳定自如地行动,核心瓶颈在于上层的运动规划与自适应控制。正是从这个节点开始,徐梦迪的研究重心全面从底层的纯机械结构设计,转向了机器人决策与自适应算法。

追溯这种对复杂机械结构的狂热迷恋与强大自驱力的源头,徐梦迪提及了童年时期的几个生动切片。小学时代恰逢经典日本动漫《四驱兄弟》风靡全国,她对拼装四驱车产生了极其浓厚的兴趣。为了追求极致的速度与过弯稳定性,需要不断购买昂贵的高性能零件进行改装。面对有限的零花钱,几个志同道合的小朋友开始琢磨“自主创收”:放学路上在路边和工地上四处搜寻被丢弃的废弃金属零件和钢铁边角料,收集起来卖给废品回收站,用换来的资金继续购置四驱车零配件。这段经历不仅展示了她极强的执行力,更让她深深被机械之美所震撼——无数细小、冰冷的精密零件,凝结着人类几代机械工匠的知识沉淀与物理智慧,经过精确咬合组装,便能化作高速运转的精密仪器。

而步入中学阶段,徐梦迪在以军事化高压管理闻名的衡水中学度过了三年高中生活。谈及这段常被外界赋予刻板印象的经历,徐梦迪给出的评价却出人意料地高度积极。当时她是全校选拔出的物理竞赛生,而竞赛班的日常管理机制与普通高考班存在本质区别。虽然作息表依然严苛到极致——清晨早操、上午课间操、高一至高三错峰分秒必争地进出食堂——但竞赛教练的核心教学策略是深度激发学生的内在自驱力。在这个微型社群中,所有同学面对的是极其深奥枯燥的高阶物理理论和繁复难题,大家的目标高度同频共振:从合力攻克一道前沿竞赛题,到并肩冲刺省级一等奖乃至全国金牌。在全员内驱力拉满的氛围下,高强度的钻研完全不再被视为折磨与苦差,同学们之间建立起了一种在极端逆境中“从零并肩作战、抱团攻关”的纯粹战友战友情谊。这种历经淬炼而形成的坚韧心理韧性与深度合作直觉,成为了她日后独面高难度博士科研挑战的强大精神护城河。

打破静态模仿:元学习启蒙与测试时自适应演进

进入 CMU 攻读博士学位后,徐梦迪凭借出色的科研成果,最终摘得了全系仅有两名获奖者的最佳博士论文奖。这篇奠定她学术基调的论文题为《构建可适应的通用型机器人》(Building Adaptable Generalist Robots)。在具身智能概念尚未如今日这般大火、业内大多仍聚焦于特定任务轨迹学习的阶段,徐梦迪便在论文中开宗明义地提出了自己的底层哲学:在大模型时代,海量数据的预训练(Pre-training)固然是不可或缺的基石,她自己也坚定相信缩放定律(Scaling Law: 模型能力随参数规模与数据计算量增加而呈幂律提升的经验法则)在表征提取层面的强大威力,但必须清醒地认识到——预训练绝非机器人泛化的全部答案。

徐梦迪踏入机器人泛化研究的思维转折点,源于博士初期在 CMU 实验室内部的一次深度文献研讨。当时机器人学习领域的论文繁杂零散,但一篇来自斯坦福大学助理教授、现 Physical Intelligence 联合创始人切尔西·芬恩(Chelsea Finn)的代表作——MAML(Model-Agnostic Meta-Learning: 模型无关元学习算法),彻底击中了徐梦迪的科研直觉。MAML 算法的核心思想在于“学会如何学习”(Learning to Learn),其优化目标不是直接拟合某一个任务,而是寻找一组高度敏感且具备泛化潜力的元初始化参数,使得模型仅需通过极少量的样本梯度更新,就能瞬间泛化并胜任从未见过的全新任务分布。徐梦迪敏锐地断定:摆脱死板的规则与过拟合动作,让智能体在分布外(OOD)场景中实时获取新技能,才是通用机器人的唯一终极出路。

人类之所以在浩瀚纷繁的物理世界中展现出无可比拟的超强泛化性,本质上依赖于两个互为表里的认知维度:其一是人类在漫长进化与成长中沉淀的极其庞大深厚的物理常识先验;其二则是人类面对完全未知情境时,所展现出的近乎本能的极速学习与在线修正能力。现实物理世界是一个无穷无尽的开放动态系统,环境中的物体、任务定义、物理接触阻抗乃至人类用户的个性化操作偏好均在瞬息万变。今天一个家庭中可能仅有20个常规物品,一周后新购入的包裹可能带来30个形态、材质、摩擦系数完全迥异的全新物品。在这样的数学本质下,任何人都不可能幻想仅凭在实验室环境下的离线预训练,就能打造出一个在所有未见场景中达到100%成功率的“静态全能机器人”。真正的智能底座必须允许机器人步入真实物理交互后,能够动态捕捉环境反馈并完成自适应闭环迭代。

为了在数学和架构层面解开机器人实时适应的难题,徐梦迪在博士期间沿着两条截然不同但互相补充的技术路径展开了深度推演:

  • 上下文学习(In-Context Learning: 简称 ICL,冻结底层骨干网络参数,仅依赖当前交互历史与提示动态调整输出行为);
  • 测试时训练(Test-Time Training: 简称 TTT,在现场部署与推理交互阶段,仅对模型极小比例的模块化参数执行在线微调更新)。

在上下文学习这条探索路径上,徐梦迪于2021年主导提出了开创性的 Prompt Decision Transformer。该工作的构思灵感直接汲取自自然语言大模型 GPT-3 的涌现特性。在传统机器学习管线中,处理新任务的标配流程往往是耗费算力收集下游数据并微调模型权重;然而 GPT-3 却以颠覆性的姿态向世界展示:只需在输入端拼接一段引导性的 Prompt 文本,模型无需更新任何神经元权重,即可直接输出高水准的翻译、推理或代码。徐梦迪随即产生了一个极为前沿的大胆推想:既然文本模型可以通过语义 Prompt 调整输出策略,机器人的控制策略是否也能通过“物理提示”直接适应未见过的移动和灵巧操作任务?在 Prompt Decision Transformer 中,团队为决策 Transformer 模型注入一段短促的机器人交互轨迹或示范作为视觉与状态提示,成功驱动多自由度机器人在无需额外训练的前提下,即时泛化至全新的行进目标与物体抓取任务。

紧接着,为了探索显式参数调整对高难度任务自适应的边界,徐梦迪又推出了其进阶续作 Hyper-Decision Transformer,全面践行测试时训练(TTT)的思路。针对机器人在线调整参数极易导致“灾难性遗忘”(Catastrophic Forgetting: 神经网络在新任务微调时迅速破坏预训练习得的历史通用知识)的顽疾,徐梦迪构建了一套精妙的超网络(Hypernetwork: 一种通过元知识专门学习如何动态生成其他神经网络权重的元控制器)架构。该超网络负责将跨任务沉淀的元知识浓缩吸收,在机器人面临新环境挑战的瞬间,动态合成一个仅仅占据主干 Transformer 参数量 0.5% 的超轻量级适配器(Adapter)。在现场部署阶段,系统完全锁定99.5%的主干核心骨干,仅仅对这0.5%的微型适配器进行快速微调。这一设计在极速适应特定接触动力学与死守预训练通用底座之间,取得了近乎完美的工程平衡。

通过这组实证研究,徐梦迪对比提炼出了深刻的学术洞见:在小样本预训练与数据量相对匮乏的初期阶段,基于超网络的 TTT 机制往往能够更加稳定、低方差地立竿见影;然而从长远范式演进的尺度来看,徐梦迪坚决判断:随着未来物理具身数据的指数级积累与预训练模型规模的极速攀升,基于上下文学习(ICL)的无梯度物理提示机制,终将成为解决泛化性的绝对主航道。因为频繁在边端在线回传梯度、修改参数不仅消耗宝贵的实时推理算力,更容易在开放环境中引入不可控的动力学震荡;最优雅的自适应形态,应当是通过丰富的上下文时序窗口,让大模型自发学会根据交互线索调整动作,而模型权重的更新则交由云端在收集到海量跨域多任务数据后执行定期的离线批量迭代。

算法蒸馏与跨越仿真鸿沟:从斯坦福基准到物理工具解构

在深入推进自适应架构的过程中,徐梦迪敏锐关注到了 DeepMind 提出的一项具有深刻范式颠覆意味的研究——算法蒸馏(Algorithm Distillation)。这项工作直接叩问了深度学习深水区最本源的哲学问题:模型中的数亿甚至数百亿参数,究竟应当被等价定义为什么?

在当下全球大行其道的视觉-语言-动作模型(Vision-Language-Action Model: 简称 VLA,将多模态视觉图像与自然语言统一映射到底层连续电机动作空间的端到端具身基座)的架构认知中,绝大多数团队在潜意识里均将模型参数视作“任务静态知识的物理容器”。工程师们通过模仿学习(Imitation Learning),不惜一切代价将人类专家采集的操作轨迹蒸馏并硬编码进模型的权重矩阵中。然而算法蒸馏提出了截然不同的视角:神经网络的参数应当被等价为一个自进化的强化学习算法本体。具体而言,算法蒸馏将包含探索性失败、次优试错以及逐步摸索的完整交互轨迹输入上下文窗口(Context Window),迫使 Transformer 架构基于过往历史中的失误反馈实时反思并修正后续的动作决策。在此模式下,Transformer 自身就演变成为了一个纯粹通过自回归运行的高阶强化学习策略,模型参数展现出了令人惊叹的在线自我纠偏能力。

尽管这一思路在仿真环境中的长程导航、迷宫探索等宏观离散任务上取得了卓越成效,但徐梦迪冷静地指出其当下在物理世界落地的核心卡点:对于依赖极高接触精度、微米级力控反馈的真实灵巧操作(Manipulation),简单的序列建模往往极难抵抗现实物理世界中的高频噪声与接触不连续性。与此同时,学术界与产业界涌现出的其他代表性探索——例如 Skild 团队利用 Transformer 上下文自适应控制复杂四足机器人越野步态的 LocoFormer,以及英伟达(NVIDIA)通过测试时微调层让机器人观察长程人类视频后即刻复现精细抓取轨迹的 RoboTTT——都在不同维度展示了泛化自适应的曙光。在徐梦迪看来,业界对于“自适应能力”的极速升温,标志着一个历史性的转折点:人们终于从“单纯堆叠专家模仿数据与扩大参数规模即可包打天下”的盲目狂热中清醒过来,深刻认识到没有自适应机制的具身模型绝不可能走向通用商业落地。

然而,她同样指出了这项认知演进背后的历史必然性与严密阶段性:自适应机制此前之所以没有全面爆发,并非学者们缺乏远见,而是面临着极其现实的“生存先后次序”。在开放未知的物理家庭或工厂环境中,倘若一台机器人仅具备强烈的自适应试错机制,却缺乏一个极度稳固、拥有常识级物理先验的基模底座,其在现实世界中进行随机自适应试错的破坏代价将极其恐怖——例如它会在尝试摸索拿水杯的自适应过程中将整个厨房的玻璃器皿砸碎殆尽。因此,业界遵循“先基于超大规模数据锻造高阶强物理先验的基座模型,再在坚实底座之上叠加敏锐的局部自适应机制”的技术演进路线,展现了极其严密的科学工程逻辑。

博士毕业后,徐梦迪加入斯坦福大学开展博士后研究。在这个全球人工智能的学术策源地,她与李飞飞教授和吴佳俊教授紧密协作,完成了三项极具系统性深度与行业影响力的代表性工作:

                              斯坦福博士后核心学术拼图
                                         │
        ┌────────────────────────────────┼────────────────────────────────┐
        ▼                                ▼                                ▼
【BEHAVIOR 物理仿真挑战】         【机器人偏好可控性研究】          【创造性工具使用评估基准】
  - 逼真家庭/学校宏观资产             - 突破生硬标准化指令              - 解构功能可供性 (Affordance)
  - 提出 MoMaGen 双臂移动生成         - 适配多用户离散动态偏好          - 3D/4D 柔性重建与动作跨域迁移
  • 构建宏观物理仿真基准 BEHAVIOR 挑战赛:这是李飞飞实验室耗费数年心血铸就的宏大具身基准测试,其核心命题是严肃拷问“智能机器人究竟应当在物理世界解决何种真实的家庭与日常社会事务”。面对包含极端复杂的家具摆设、水流流体与细碎物品的家庭、学校场景资产,徐梦迪主导提出了 MoMaGen(Mobile Manipulation Generation: 双臂移动操作策略生成框架)方法,成功在复杂的连续动作空间中批量合成了逼真的双臂移动协同作业数据,极大拉近了学术仿真与物理落地的鸿沟。
  • 机器人偏好可控性(Steerability)深度推演:传统的控制策略往往预设机器人执行单一绝对标准的人类命令。徐梦迪在此项工作中致力于让具身智能体能够深度理解并适配不同人类个体之间千差万别的个性化操作习惯与隐式偏好,实现动作策略对人类自然语言引导的敏锐顺从。
  • 创造性工具使用(Creative Tool Use)综合评估基准:这是一项极富人类认知特色的探索性工作,旨在测试智能体是否能够像人类一样,打破工具字面定义的牢笼,展现出基于环境物理特性的创造性操作能力。

在解析“创造性工具使用”时,徐梦迪给出了一个直击具身本质的认知视角:人类在使用工具时,其大脑认知从未受限于工具的既定专有名字,而是完全聚焦于物体的“功能可供性”(Affordance: 认知心理学与机器人学术语,指环境或物体向智能体提供的潜在物理行为可能性)。例如,在极度饥渴或生日聚会切蛋糕时,手边若恰巧缺少一把专用水果刀,任何人都会自然而然地抓起身旁的塑料叉子或筷子将其剖开;在清理杂乱的办公桌面时,缺少吸尘器或抹布,顺手抓起一本硬壳书籍甚至直接用小臂轻轻一划即可将杂物归拢。人类天生懂得在缺失标准工具的环境中就地取材,凭借对刚度、边缘几何构型与摩擦特性的本能认知创造性地解决问题。

为了将这种高级认知能力量化迁移至机械本体,徐梦迪团队构建了三维度的严密评测范式:

  1. 多模态大模型的常识推理:考察大模型能否根据当前物理操作需求,从周围复杂的非结构化杂物堆中精准辨识并挑选出具有等效替代功能的非标物体,并规划出合理的运动学轨迹;
  2. 非刚体与柔性物体的空间重建:在非刚性物体与复杂动态交互下,构建高保真的 3D 与 4D 动态时空场景几何表征能力;
  3. 人类灵巧技能的几何形态迁移:攻坚如何将人类在抓握各种形态工具时展现出的高维指尖力学与柔顺控制技能,稳定平滑地投影映射到结构异构的机械臂与灵巧手之上。

在斯坦福的科研岁月里,两位导师迥异的学术气质与思考维度,对徐梦迪的研究格局产生了深远的塑造。李飞飞教授展现出极度敏锐的“视觉驱动与顶层格局观”,她总是习惯用高屋建瓴的宏大问题打破学者陷入具体细节的工程思维局限——“未来10年这个领域最本质的科学问题究竟是什么?”以及“在这一历史洪流中你将扮演不可替代的何种角色?”徐梦迪回忆了一个极具冲击力的细节:在最初设计 BEHAVIOR 评测指标体系时,团队一度沉迷于设定大量极其冗长繁琐的阶段性过程指标,诸如动作进度的百分比曲线、各个子阶段的耗时分布等。李飞飞在审视方案时直接一针见血地指出:在这些眼花缭乱的数据中,真正具有世界级定义权的指标只有一个,那就是最终的任务成功率。所有的过程指标只是工程师开发调试的辅助拐杖,绝非领域追求的终极物理愿景。李飞飞当时引用了爱因斯坦的名言告诫团队:“凡事应力求简单,但不能过于简单。”

而另一位导师吴佳俊教授,则在具体的研究推进中展现出极度扎实的工程推演与实操韧性。他不仅在技术架构选型与数学建模细节上与学生深度并肩作战,更在徐梦迪面对纷繁课题产生困惑迷茫时,不断促使她深思并打磨属于自己的“独立研究品牌”(Research Brand)。徐梦迪对“研究品牌”的理解深刻而纯粹:所谓的学术品牌绝非外部标签或学术包装,它必须深深植根于你内心深处最真实、最原始的纯粹好奇心;唯有当一个基础科学问题能够让你甘愿在未来5到10年的漫长岁月里不计得失、甘坐冷板凳去持续深挖,它才真正沉淀为你生命的一部分,形成无可替代的学术旗帜。这与高风险的硬科技创业本质高度趋同——唯有从灵魂深处坚信的愿景出发,才能抵御周期性寒冬与路线波动的长期考验。

价值锚定与治学之道:清华叉院的选择与认知筛选

2024年初,徐梦迪做出了学术生涯中最具战略性的一次回移:正式全职回国,受聘担任清华大学交叉信息研究院助理教授并组建独立课题组。

面对工业界与学术界的岔路口,这一抉择背后经历了极其审慎的价值衡量。此前,徐梦迪在 Google 顶级研究院开展了相当长时间的高强度访问研究,跨国科技巨头磅礴的计算集群与工程资源给她留下了深刻印象。在资本雄厚的大厂,研究者可以依托近乎无限的算力将一个微小的工程想法迅速规模化推高。然而,徐梦迪内心最为珍视的价值维度始终是纯粹的研究自由度。在工业界的组织架构下,研究管线往往不可避免地受到公司季度战略调整、短期商业变现与业务指标排期的掣肘;而在学术界,她能够拥有完全的自主权,将宝贵的时间百分之百定向投入到她认为对通用机器人而言最为关键、长远且本质的科学瓶颈上。

徐梦迪用机器学习中经典的“没有免费的午餐定理”(No Free Lunch Theorem: 任何一种优化算法都不可能在所有问题上均表现最优,获得某种性能必然伴随着其他维度的妥协)来解构自己的心路历程:世上从来不存在毫无代价的最优解,任何重大的学术决断都意味着必须清醒承担其相对薄弱的一面——选择学术界,意味着需要自己从零搭建硬件、协调算力并承担建队风险,但为了将机器人视为一个涵盖算法、软硬件协同的完整系统去追求终极落地,这种学术自由度是无价的。

在清华叉院面试期间,徐梦迪与多位顶尖学者进行了深度思想交锋,其中图灵奖得主姚期智院士的一席话让她在后续的科研规划中获益无穷。姚期智先生对青年学者的核心忠告是:务必极度收敛你的学术注意力。在浩瀚的科学星空下,真正称得上颠覆性、决定历史走向的底层关键命题屈指可数;而一个青年学者的黄金研究精力与生命时间是极度有限的。如果将自身的时间浅浅地摊铺在形形色色看似时髦的热门边缘课题上,最终大概率将一事无成。

面试过程中,叉院另一位资深教授向她抛出了一个极具穿透力且充满压迫感的问题:“你凭什么确信,在5年之后你一定能成为自身垂直领域的全球顶尖研究者?”徐梦迪坦诚回忆道,当时由于缺乏思想准备,自己的作答显得仓促而流于表面,仅仅是出于本能展现出了年轻人的自信与坚定。然而在步入清华展开独立科研的漫长复盘中,她彻底想通了这道题的深层答案:这种底气绝非来自盲目的自负,而是取决于你是否在茫茫迷雾中锚定了一个具有十年生命周期的本质命题——如果你的核心课题是真正致力于攻克“如何让智能机器人安全进入千家万户、在复杂开放环境中通过自主学习持续进化”,那么只要你在一条底层逻辑完全正确的轨道上心无旁骛地深耕五年,积累的势能便必然将你推向该领域的最前列。

在外人看来,徐梦迪自清华、CMU 到斯坦福一路走来,履历辉煌得近乎一帆风顺;但她自己却坚决打破这种外界的光环滤镜。她直言自己一路走来踩坑无数,经历了数次极其痛苦的学术转向:从大二机械结构受挫,到自学控制算法的碰壁,再到博士初期在复杂决策模型收敛失败中的苦苦挣扎。然而在总结这一切时,她最常提及的词汇却是“极其幸运”。她所定义的“幸运”,展现出了一套高度成熟的系统论哲学:一个人的终极成长,一半取决于内在的自驱基因,另一半则取决于你所主动挑选并沉浸其中的微环境;环境不仅会提供资源,更会在潜移默化中深度重塑你的认知神经。在挑选学术与科研环境时,徐梦迪从不迷信外界普遍定义的绝对光环指标,而是坚决选择那个最能激发自身研究兴趣、最大化发挥自身独特能力的土壤。

颇有意思的是,徐梦迪自评为一个典型的内向型性格者(Introvert)。在需要高频表达与多方协同的科研领导力场景中,她建立了一套基于理性逻辑的交互方法论。例如,在撰写对外学术联络邮件时,她会利用 AI 作为辅助润色工具:自己首先提炼出最核心真实的诉求框架,然后交由大模型修正润色出更加妥帖得体的语调。她强调,学术圈绝大多数优秀科学家骨子里都极为热心,只要你能够真诚、清晰、精准地表达你的研究需求,往往能获得意想不到的慷慨援助。

如今角色转换为博士生导师后,徐梦迪每天也会收到全球海量学生发来的申请与交流邮件。针对这些邮件,她制定了一条冷酷但极具洞察力的筛选红线:凡是那些通篇由 AI 生成、堆砌空洞套话而看不到一丝个人真实思考与诚意的模板式邮件,她会直接一律拒绝回复。徐梦迪指出,真正的诚意从来不需要华丽的辞藻,它清晰地映射在细节中——你是否真的认真研读过实验室发表的工作、你是否能够将自身对机器人泛化的直觉与实验室正面临的具体工程挑战紧密链接起来。只要学生展现出独立钻研的真实想法与技术诚意,哪怕背景稚嫩,她都极其渴望与之展开长谈。

路线之争与范式突破:世界模型、Scaling Law 与终端闭环

随着回国后与国内具身智能学术界与工业界领军人物的密集深度接触,徐梦迪对当下的行业生态形成了极其理性而辩证的全局判断:当前具身智能领域正经历着前所未有的实质性工程演进,但同时也伴随着显而易见的局部资产与舆论泡沫,二者在发展阵痛期高度共存。

从积极的一面审视,从上游的高性能伺服电机、新型高分子弹性本体材料、触觉与力觉传感器,到中游的整机工程集成,再到下游的多模态通用大模型与具身决策框架,国内的软硬件全产业链条均在经历高密度的资金灌注与技术攻关,这种全维度的工程穿透力赋予了她极强的长期乐观信心。而从泡沫的一面审视,当前具身智能的根本性技术路线远远没有达成最终收敛。资本与从业者的技术焦点在短短一两年内经历了剧烈的超调与频繁迁移:早期大家狂热押注于大规模机械臂遥操作(Teleoperation)数据采集;随后发现泛化瓶颈,转而全盘追捧世界模型(World Models: 预测物理环境未来状态演化与时空几何变化的生成式动态模型);近期在世界模型遭遇物理保真度瓶颈后,目光又再度掉头重回基础高质量数据工程。徐梦迪精妙地借用了经典控制论中的PID控制参数失调(PID Controller Oscillation)作比喻:在探索未知系统的过程中,如果反馈增益失衡,系统必然会不可避免地产生剧烈的“超调与动态震荡”,而这种震荡正是前沿科学从混乱走向收敛的必经阶段。

在这场关乎具身智能终极命运的“世界模型派”与“端到端 VLA 模型派”的百年大辩论中,徐梦迪给出了立场鲜明的战略研判:从长期主义视角出发,她更加坚定地相信世界模型的基础底座价值。

                        具身智能终极路线分歧与哲学博弈
                                         │
        ┌────────────────────────────────┴────────────────────────────────┐
        ▼                                                                 ▼
【端到端 VLA 路线 (Vision-Language-Action)】                   【世界模型路线 (World Models)】
  - 核心逻辑: 任务强相关,从图像指令直接映射到电机控制                - 核心逻辑: 任务无关,纯粹对物理规律与时空状态建模
  - 潜在瓶颈: 现实任务空间近乎无穷,穷举将遭遇不可扩展陷阱          - 核心优势: 先天捕捉动力学因果规律,成为跨形态通用底座

徐梦迪的核心论据在于:端到端 VLA 模型的本质是“任务强相关”(Task-Dependent)的动作直接投射,然而现实物理世界中的人类任务定义浩如烟海,穷举人类在数百万种场景下的操作指令是一条面临组合爆炸的不可扩展绝路;而世界模型的本质是“任务完全无关”(Task-Agnostic)的,其核心目标是理解物理规律、重力加速度、刚体碰撞、摩擦形变与环境流体变化。一旦智能体彻底掌握了物理环境随时空演进的普遍底层规律,操作任务便自然退化为在已知物理场中的轨迹优化,这才是支撑通用机器人真正站稳脚跟的基石。

对于大家极为瞩目的具身 Scaling Law 信号,徐梦迪证实确实在产业前沿捕捉到了一些早期端倪:例如已有先锋团队尝试将机器人预训练数据的体量从10万小时粗暴拉升至100万小时量级,在部分分布外的全新测试集上,模型确实展现出了显著的宏观泛化迹象。然而,徐梦迪紧接着泼下一盆极度清醒的冷水:在传统语言大模型中,交叉熵损失(Cross-Entropy Loss)的持续平滑下降与文本理解生成能力高度正相关;但在机器人物理控制领域,训练损失函数的下降与物理任务的实际成功率之间,往往存在着严重的脱钩甚至失真。

她通过一个极其具体的操作切片,生动地剖析了这种“时序非线性不平衡”机制:

  • 设想机械臂前往桌面抓取一个脆弱的水杯,这一过程在连续控制上往往需要分解为20个离散时间步;
  • 在前17个时间步内,机械手仅仅是在自由空间中向水杯靠近,此时机械臂与杯体没有任何实际物理接触,网络在计算损失时由于空间相对空旷,轨迹拟合往往呈现出极其完美的超低损失值;
  • 然而,决定这一抓取任务生死存亡的,恰恰是第18到第19步——机械指尖与杯壁发生物理接触与法向力建立的极其短暂的瞬态;
  • 倘若此时模型输出的力控或位姿出现极其微小的微米级偏差,水杯就会瞬间滑脱破碎,导致整个任务彻底崩溃。

换言之,即便前17步的超低损失将全局平均损失拉到了漂亮的极低水准,系统在物理世界中依然是一个彻头彻尾的失败者。徐梦迪强调:唯有当未来的 Scaling Law 能够不依赖平滑的统计损失、而是直接在完全未知的零样本(Zero-shot)物理任务中展现出真实任务成功率随算力与数据呈单调幂律上升时,具身智能才算真正迎来了无可争议的黄金时刻。

由此,徐梦迪对具身智能的发展阶段进行了极富洞见的降维对标:她认为当前全球最先进的主流具身模型,在本质上仅仅跨入了类似于语言模型的 GPT-1 时刻——智能体极度依赖针对具体下游任务所开展的大体量后训练(Post-training)与特定策略微调,方能维持可怜的可用成功率。而她真正追求的终极范式跃迁,是让机器人跨入其专属的 GPT-3 时代:彻底告别笨拙耗时的离线微调管线,智能体完全通过上下文学习与物理提示的方式,仅需在现场交互中通过几秒钟的人类演示或多模态线索感知,即刻理解当前用户的意图并重塑控制策略。

但徐梦迪同时极其深刻地指出,机器人领域绝不能天真地生搬硬套大语言模型的经验逻辑,具身智能具有自身极其残酷的领域特殊性:

  1. 物理安全性的极度前置:大语言模型输出一句错误的幻觉语句,最多引发信息检索的困扰;而重达数十公斤的工业或家用机器人一旦在家庭中输出离群的错误力矩指令,将直接导致物理伤害或财产毁灭。因此物理安全边界必须在自适应过程中得到严丝合缝的形式化验证与极端压力测试;
  2. 多模态上下文的超高维异构性:机器人拥有实体物理骨架与非对称的执行机构,其面对的不仅是离散文字,而是混杂着视觉点云、高频关节扭矩、六维力反馈与触觉阵列的超高维连续动态流;
  3. 毫秒级物理硬实时性:语言模型可以允许用户等待数秒甚至数十秒生成深度思考的长文本;但机器人面对动态倾倒的物体或人类行走避障,决策控制环路必须在10至50毫秒内锁定输出,这对端侧低延迟推理架构提出了近乎苛刻的要求。

谈及上下文学习在具身家庭场景中的具象化魅力,徐梦迪分享了一个源自个人生活的微观细节:当下科技公司展示的机器人叠衣服视频,无一例外是极其死板地将衣服折叠成整齐方正的豆腐块。这一算法逻辑暗含了一个荒谬的傲慢假设:即全世界所有家庭的主人,都默认喜欢将衣服折叠成一模一样的方块。然而徐梦迪在自己的日常生活中推崇胶囊衣橱,为了防皱与收纳空间,她的个人习惯是将所有衣物整齐地卷成圆柱体;而另一个家庭的主人可能希望衣物严格按照彩虹色系悬挂进衣柜;甚至有些年轻人完全拒绝折叠,只需机器人将其分门别类挂上衣架。

上下文学习的核心精髓,正是将机器人的动作定义权完全归还给终端用户。机器人进入真实家庭后,用户只需用手机展示几秒示范,或者口头伴随简单动作提示:“看,我的衣服是这样卷起来收纳的”,机器人就能基于先验自适应调整动作。设想一台刚刚入户的机器人面对一道完全不会炒的家常菜,在经历过类似千种烹饪任务的元学习训练后,最初也许需要用户指引甚至磕磕绊绊磨合半小时;但随着交互历史的积累与模型学习能力的内生强化,下一次面对新菜系时它可能只需3分钟便能举一反三。机器人训练的终极标的,根本不是某种特定技能的死记硬背,而是学习如何以指数级速度学习新技能的元能力。

然而,徐梦迪毫无保留地道出了该范式迈向商业化最致命的潜在断崖风险——真实物理世界数据闭环的构建死结。这一系统工程面临着近乎残酷的“先有鸡还是先有蛋”悖论:

  • 若想驱动自适应数据飞轮高速旋转,必须让成千上万的机器人先行进驻真实的终端家庭或商业服务场景,在真实人类长达半小时的耐心交互纠偏中沉淀出最鲜活长尾的自适应数据;
  • 但现实用户在商业消费中是极度缺乏耐心的——如果一台售价高昂的机器人在进驻家庭的第一天,表现得如同一堆废铁,即便主人费尽心机教导半小时,其操作成功率依旧没有显而易见的跨越式跃升,普通消费者将瞬间丧失信任并将其永久闲置封存。

一旦无法给终端用户带来即时正反馈,商业普及便无从谈起,进驻现场汲取高价值闭环数据的通道就会被彻底焊死。基础模型的先验能力必须跨过极高的可用性临界阈值,学习速率必须快到足以让非技术用户感到惊喜,这场具身飞轮方能真正开启良性循环。为了跨越这一死结,徐梦迪在清华叉院的实验室正全力从最具落地可行性的桌面级任务切入:在配备了高自由度灵巧手的双臂协作平台上,系统性研究机器人如何依据人类口头纠偏与微小的物理动作干预,实现毫米级策略修正,并最终稳步向全身移动灵巧作业(Whole-Body Manipulation)的高维腹地推进。

在支撑模型演进的底层数据源战略上,徐梦迪展现出包容而务实的“全流派融合主义”哲学。她认为具身数据不存在单一灵丹妙药,每一种数据模态都具有不可替代的生态位:

  • 遥操作数据(Teleoperation Data):与机械臂本体的运动学和动力学具有天然的强耦合对齐性,是模型走向现实终局不可或缺的后训练金矿;
  • 大规模物理仿真数据(Simulation Data):能够低成本生成近乎无穷维度的物体几何外形、空间拓扑位姿、光照贴图与多材质渲染,是激发多模态预训练大模型具备通用视觉表征与鲁棒泛化先验的最佳催化剂;
  • 通用操作接口数据(UMI Data: Universal Manipulation Interface,手持手爪式便携低成本数据采集设备):兼具了机械爪物理交互特性与极高的人工机动采集效率,是介于仿真与真机之间的绝佳折中过渡层;
  • 人类自主第一视角活动数据(Human Video Data):徐梦迪对其推崇备至。人类本身就是进化数百万年、最完美的物理交互本体。尽管有人质疑人手与机械爪之间存在巨大的运动学异构形态鸿沟,但徐梦迪指出:智能体在人类操作视频中应当吸收的,从来不是某根骨骼肌肉的具体运动轨迹,而是“物理环境在受力时发生的拓扑因果演进”以及“完成特定任务时物体与周围介质的形变规律”。只要攻克了跨形态的物理映射机制,低成本铺开的海量人类日常活动视频,将成为填补具身世界数据赤字的最大源头活水。

攀登马拉松:构建实验室生态与坚守理性乐观

谈及清华叉院内部的具身科研生态,徐梦迪展现出极具现代年轻学者特质的通透与开明。在外人眼中,叉院集聚了包括许华哲、高阳、陈建宇等多位活跃在产业前沿与创业浪潮中的青年领军学者,常被外界臆想为一个在同一狭窄赛道内高频同质化竞争的竞技场。然而徐梦迪澄清道,在日常学术科研中,大家由于科研与产业事务繁忙,虽鲜有长时间固定的全员研讨,但私下里的技术沟通极其频繁且纯粹。大家共享着同一个宏大愿景——打破具身智能仅仅停留在实验室展示玩具的尴尬现状,通过规模化模型穿透工业与生活场景,实现真正的物理实用价值。

但在实现这一愿景的底层技术下注上,叉院的学者们各自展现出了百家争鸣的多样性:有人全身心坚决押注世界模型的纯粹动态生成;有人则深耕于 VLA 动作模型与世界模型深度混合集成的实用架构。徐梦迪由衷地感叹:在技术路线尚在剧烈震荡演化、远未走向大一统的行业黎明期,这种不同技术信念的多点并进与平行探索,正是防范技术路线单点锁死的最大幸事。

针对当代极度渴望涌入具身智能与机器人领域的年轻学子与后辈研究者,徐梦迪结合自身跨学科破局的硬核经验,给出了两条发人深省的底层求索建议:

第一条建议:海量精读与泛读,亲手经历“把书读厚、再把书读薄”的认知重构。徐梦迪在指导选拔学生时,极其频繁地遭遇一种现象:许多年轻学生在面试中能够口若悬河地罗列诸如“扩散策略”、“世界模型”、“具身强化学习”等各种光鲜时髦的前沿词汇,声称自己对该方向怀有狂热兴趣;但当被进一步追问“你对这项技术的底层核心假设、失效边界以及你个人的真正独特兴趣点究竟何在”时,答案往往瞬间变得支离破碎而空洞不堪。这种认知脱节的本质原因在于学术输入量极其匮乏。一个学者唯有首先不设边界地疯狂精读海量文献,洞悉前人经历的所有死胡同,将学术视野筑建得无比厚实,方能在历经千帆后抽丝剥茧,将纷繁复杂的体系凝练为薄薄的底层公理,精准定位自己真正愿意为之献身的研究命题。

第二条建议:极早将兴趣转化为工程肌肉记忆,毫不犹豫地弄脏双手、实际上手干活。具身智能绝非可以仅仅在白板上推导数学公式的抽象学科,它是一门必须与充满摩擦力、非线性时延与硬件磨损的物理世界进行硬碰硬交互的“物理实操学科”。任何看似在仿真器中完美无瑕的算法,在部署到物理真机时,往往都会被诸如微小的线缆缠绕拉力、伺服电机温度漂移、光照在金属表面的局部镜面反射等无数难以建模的暗知识折磨至瘫痪。这种将兴趣落地为现场调试排障的能力越早建立越好,因为只有经历过物理真机的残酷毒打,研究者才能建立起对真实物理接触的本能敬畏与深刻洞察。

在选拔博士生的终面环节,徐梦迪设置了一道极具辨识度的必问核心问题:“请告诉我,迄今为止你最感兴趣的一篇学术论文是什么?或者在你心目中,哪一篇论文代表了该领域的最高水平?”这道看似平淡的开放问题,实则构筑了极其严苛的认知筛选门槛。它要求学生必须彻底脱离被动接受知识的维度,具备极强的全局审美与价值批判直觉。徐梦迪回忆起令她印象最深刻的一个卓越回答:那是一位立志于在机器人领域应用扩散模型(Diffusion Models)的候选学生,然而他在回答这道题目时,完全没有顺应潮流去罗列当前机器人学界大红大紫的 Diffusion Policy 等应用级爆款论文,而是极具穿透力地直接回溯追引到了物理统计学与扩散模型最初由 Sohl-Dickstein 等人在2015年发表的数学奠基原初论文。这位学生展现出的那种绝不满足于在应用层做缝合修补、誓要沿着知识藤蔓穷追到底层数学原生态起点的刨根问底风骨,让徐梦迪感受到了作为顶级学者的最稀缺潜质。

作为一名年轻的独立实验室掌舵人,徐梦迪将其课题组的从零组建形象地比喻为打造一家高科技初创企业。这绝非导师个人的独角戏,而是导师与创始博士生团队深度共建的生态系统。在面试潜在博士生时,她会直言不讳地告知对方:作为第一代开拓者,加入一个年轻实验室意味着面临着巨大的开创性挑战,前期需要投入大量心力在机械加工、网络布线、算力挂载等极其繁杂琐碎的基础基建工程中。而令她欣慰的是,她所选拔的学生不仅毫无怨言,反而展现出极其强大的攻坚韧性。

在培养机制上,她打破了传统的单向项目汇报模式,精心设计了一套体系化的**研讨式双周教程(Tutorial)**机制:

  • 每双周的组会由一位学生轮流担任核心主讲人;
  • 前30到45分钟,完全禁止汇报学生个人的零散进度,而是要求主讲人必须跳脱出具体代码,站在宏大科学史与流派演进的哲学高度,梳理出某一具身子领域在过去20年间的技术路线分歧与兴衰脉络;
  • 最后的15到30分钟,才让大家探讨个人项目的具体技术进展;
  • 在每一次教程汇报前,徐梦迪都会亲自与主讲学生进行一对一深度推演,帮助其打磨技术逻辑的组织架构,系统性锻炼青年学子构建全局认知图谱的宏观学术素养。

在人格心理学测试中,徐梦迪呈现出极其理性的典型 INTJ 建筑师人格。然而在真实科研生活的多维交往中,她却展现出了极高维度的“认知与情绪共情能力”。她不仅能够极其敏锐地捕捉到实验室团队成员细微的心态波动与情绪困境,更在非工作场景中展现出极其感性而温润的人格魅力。在徐梦迪的团队建设哲学中,一个高产出、抗高压的顶级实验室之所以具备钢铁般的凝聚力,绝非单纯依靠冰冷的考勤或层级权威,而是依赖于关键成员之间建立的深层情感纽带与不可动摇的底线信任。她由衷地感激那些在实验室创立初期甘愿承担巨大风险选择加盟自己的第一批学生们,在工作之余,他们会一起聚餐团建、去 KTV 放声歌唱。她始终致力于构建的实验室愿景,绝不仅仅是冷冰冰的学术利益共同体,而是能够在漫长科学攀登途中长久彼此托付、互为战友的终身知己。

在日常科研生产力工具的使用上,徐梦迪展现出了前沿学者对 AI 的深度共生探索。她将 ChatGPT 与 Gemini 轮番穿插使用,利用不同大模型之间截然不同的推理风格与隐式偏好展开观点交叉验证。过去,她使用 AI 工具往往停留在纯粹的工具知识检索与文献速读;而近来,她越来越多地开启了非工作场景下的形而上对话,探讨各种社会事件与技术哲学的深层视角。甚至在为自己的新实验室构思命名时,她也充分将底层愿景转化为语义提示词交由 AI 进行创造性发散与打磨,体验技术辅助人类灵感的奇妙互动。

而面对当前全球 AI 与机器人领域论文呈几何级数爆炸增长、充斥着大量借助生成式模型流水线批量生产平庸甚至带有隐蔽学术硬伤论文的浮躁现状,徐梦迪坚决坚守着严苛的学术品味防线。她的文献摄取遵循着一套由高信任度顶级学者组成的“名单筛选机制”:优先追踪全球少数卓越研究者主动公开宣传的学术代表作。对于那些初看结构光鲜、实则逻辑推演漏洞百出、缺乏真实物理思考的 AI 灌水论文,她会毫不留恋地迅速拉黑。

在访谈的尾声,面对主持人提出的那个无数科技从业者与公众梦寐以求的经典终极拷问:如果将具身智能走向终极通用的探索比作一场全长42公里的极限马拉松,人类当前的科技脚步究竟跑到了第几公里?

徐梦迪在深思后给出了一个既保持绝对敬畏、又蕴含无穷希望的笃定数字:大约10公里,即刚刚跑过最初的四分之一赛程。

在她的严格定义下,真正具有跨时代标志意义的、在开放现实场景中兼具极高鲁棒泛化能力与在线快速自学习能力的智能机器人,在现实世界中依然未曾真正大规模走出实验室围墙,前方依然橫亘着动力学建模、非结构化自适应、物理安全性验证以及数据飞轮闭环等一系列极具挑战的深水区硬骨头。

然而,在这场艰难的科学攀登中,徐梦迪始终秉持着极度坚定而理性的乐观主义。她坚定地预判:未来的3到5年,将是具身智能发展史上前所未有的决定性拐点窗口期,业界必将亲眼见证物理世界 Scaling Law 与自适应范式交融所带来的颠覆性技术质变。正如访谈落幕时主持人所总结的那句充满穿透力的人生态度:在波澜壮阔的硬核科技创新史中,悲观者往往容易因预言各种现实困难而展现出理性的正确,但最终改变人类历史轨迹并摘得胜利冠冕的,永远是那些怀揣纯粹信念、披荆斩棘前行的坚定乐观主义者。

文中提及的人物和组织

人物: 徐梦迪

公司/组织: 清华大学, 斯坦福大学, 卡内基梅隆大学

产品/模型: GEN-1.5