致敬行业同仁：自动驾驶的挑战与不易

非常感谢大家花时间来听我分享一些感悟。坦率地说，我本来是不想来的，因为不知道该说什么。上个月我们的HSD（Horizon Self-Driving: 地平线自动驾驶系统）才刚刚SOP（Start of Production: 量产开始），所以我整个人和团队都处于工程模式，还没有切换到思想模式。因此，今天分享的很多内容可能会比较零碎，但都是这几年过程中一些实实在在的感悟。

去年，如果大家看过我们的产品年会，我可能讲得还挺多的。但今年在做的过程中，你会发现整个路径是比较清晰的，但前面有更难的问题。你知道这些问题能解决，但今天应该怎么解决你还不知道，所以我有点无话可说。

首先，因为我刚刚从SOP的工程模式中“爬出来”，所以我想对行业内所有从事这项工作的同仁们致敬和感谢。从行业外来看，可能觉得自动驾驶是一个很简单的事情，因为任何一个人学一年开车就能开得很好。但对计算机来说，它不是这样的。计算机的能力与人有点正交或反过来：越是人觉得难的问题，计算机可能越是简单，比如高等数学、逻辑分析；但越是人与生俱来的基本技能，对计算机越难。开车已经比较接近一个基本技能了，如果再难，比如在家煎个荷包蛋，这比开车还要难。从某个角度讲，越是人的与生俱来的能力越难。

所以反过来说，绝大多数行业外的人可能并不理解自动驾驶团队所面临的困难和压力。我们自己干了这么多年，非常能体会。这是智力、体力和肉体的双重压榨，极度痛苦。因为有SOP的时间压力，有方法论变化的不确定性，而且车每天在路上开的时候会碰到各种hard case（疑难案例）和corner case（极端案例），你肯定需要去解决。你不能放着它不管，因为在物理世界中，你没有资格去选择所谓的ODD（Operational Design Domain: 运行设计域），即哪些东西我可以不处理。你不能这样做，因为车在物理世界的一个稠密连续世界里面运行的时候，你所有的案例都要能处理。这就是逼着你必须要解决所有的问题，也是这个行业非常痛苦的地方。

FSD V12：自动驾驶的“原子弹时刻”与范式变革

回顾过去几年发生的事情，是很有意思的。我刚开始准备加入地平线的时候，曾跟余凯博士坚决表示不想再做自动驾驶了，因为我觉得它太痛苦，也看不到太多希望。在那个时代，车开起来还不错，都能开，但你会发现它离一个真正的人类司机的标准衡量，差距非常大。很多案例处理不了，行为也不像人，完全是个应激反应的机器。在两到三年以前，你是看不到太多希望的。我猜2023年、2024年的时候，整个行业多多少少都会有这种认知：它是一个可用的东西，但要说它能不能变得跟人类一样智能、完全类人，就像一个人一样，大家其实是非常不确定的。那是我当时的状态。

2024年发生了一个很大的分水岭事件，我们必须提一下，就是FSD V12（Full Self-Driving Version 12: 特斯拉全自动驾驶系统V12版本）。FSD V12非常非常关键。我知道大家现在可能在舆论界吵得比较凶，说FSD到底是不是最强的，这个问题不重要，待会儿我会说它不重要。但FSD打开了一个内核的范式，这个意义非常非常重要。你知道这件事情不对，知道这件事情可能会怎么走，和这件事情真的有人做到它，这里面有巨大的鸿沟和不确定性。这是FSD V12在历史上留下的意义。

我们为什么说这是一个分水岭事件？回到过去，举一个例子就是原子时代。原子时代第一个发现核裂变是可能且能释放能量的是德国科学家。当时这个实验结果出来以后，全世界所有从事量子物理的科学家们都认为是不可能的，但迅速实验复现证明这是对的，有结果的。然后又花了N年的时间，造出了第一颗原子弹。什么意思呢？大家会发现，深度学习和神经网络就像当初的核裂变实验一样，它告诉你这个范式是可能的，它能干什么。但这个范式在什么时候以什么形式，能够在自动驾驶里面把自动驾驶做到多好，其实在第一个人做到之前，没有人知道是“是”还是“否”，也不知道这个百分比。而V12让大家看到了这个希望。大家并不需要去讨论奥本海默造的第一颗原子弹的威力是大还是小，这件事情不重要。重要的是他把原子弹造出来了，那说明这件事情是对的。

历史回顾：深度学习如何重塑自动驾驶

如果我们回到整个自动驾驶的发展历程来看，实际上大家会看到从Darpa（美国国防高级研究计划局）起源，到CMU（卡内基梅隆大学）的第一个车队，到斯坦福的车队，再到Google X（Alphabet旗下专注于登月计划的研发部门，孵化了Waymo）也就是今天Waymo（Alphabet旗下自动驾驶公司）的车队，你会发现这里面发生了几个变化。

CMU的车队最早是强依赖非视觉传感器的，像激光和其他很多传感器。背后是什么原因呢？就是那个时代还没有所谓的机器学习技术，那时候还不是深度学习。那么，大量的都是靠人工写代码写出来的，这是第一代。然后斯坦福的车队，在我记得是在第二次比赛里面，就很快超越了，就是因为斯坦福的车队引入了机器学习的技术。那么到Google的时候，是把这个东西进一步发扬光大。

其实背后你会看到，过去的自动驾驶在2023年、2024年之前，背后有两个本质问题。第一个问题是，深度学习技术只重构了感知部分，而在感知之后的部分，几乎还是规则时代的。那么它是一个革命革到一半的东西，这是第一点。第二点就是它遗留下的两个问题：大家如果做过这行的应该很清楚，第一个是“无图”大家说有图和无图，无图和有图背后是什么？背后是这个技术范式它只解决了动态的问题，而它没有解决静态认知的问题。所以它需要用地图或者某种形式的地图（不一定是HD map，高精地图）去弥补。这是它的第一个遗留问题。第二个问题就是我刚才已经说过的，它革命革了一半，整个系统里面只有前半截是数据驱动的，而后半截是规则的。

我们都知道，一个方法论的重构，你重构到一半的时候，它的效果可不是一半，它的效果可能是百分之二十三十。你需要把后面的那一半的革命完成，你才能迎来整个新的时代。那么这个就是整个端到端的意义所在。但这件事情非常难。为什么难呢？第一个，感知技术其实也是发生了非常多年，才被数据驱动完全搞定的。而规控这个东西说实话，整个理论是不成熟的。我觉得到今天其实都是不成熟的。我们自己开发下来，导致很多团队都尝试过，但尝试过以后很恐怖的是什么呢？尝试一轮，你需要花几个亿，10个亿、20个亿这么多钱，然后尝试完以后可能失败了。那这时候你要不要接着尝试呢？这个时候其实是个非常麻烦的事情。大多数团队，无论是精神还是钱的问题，他就没再尝试了。但你要是相信它的话，你会尝试下去，然后可能就会成功。但也有可能不成，因为这件事情确实太难了。我们会看到整个系统它是非常不收敛的，任何一个噪声都会导致整个系统废掉。所以这件事情非常非常困难，这就是我刚才说的，整个范式改变的一个巨大意义就在这里。

未来展望：行业发展红利与L2/L4的统一

这种变化往后意味着什么？这很关键。因为过去的历史已经是事实。第一个，大家最近都很兴奋，觉得一段时间搞定了，然后各种乱七八糟的概念也都跑出来了，说是不是以后会进入一个大发展时代。坦白说，我要浇一点冷水。人类是很奇怪的一种动物，在事件不发生的时候，是完全不相信这件事情会发生的；但在一个事情发生以后，人类会觉得这件事情会持续发生。其实这两个东西都不对。大多数时候，你看到第一次发生的时候它是一定会的，但发生完了以后，很可能就是整个这个时代或者这个周期的高点。你如果回顾历史上的所有大事件，都是这样的。你不要以为这个革命会是一波一波的，这第一波它很可能是最后一波。大家如果回去看一下原子时代，我记得当年这件事情搞定以后，大家很激动，全世界都很激动和恐慌，觉得这东西要改变一切。但其实说实话，也就那回事。

为什么我总是提原子时代这件事？我的个人感觉是，对整个物理世界或对人类来说，只有两件事情是重要的：一个是能源，一个是信息的变化或者直接叫计算。因为只有这两个东西是改变世界和制造世界的本质东西，其他的事情都是在这两个东西上面递增出来的一些附属产物。所以我们刚才说的原子时代就是能源，而人工智能或者AGI（Artificial General Intelligence: 通用人工智能）它是信息。只有这两个东西是fundamental（基础性）的东西。

刚才已经说了，这种重构会不会是一种常态？我们认为大概率不会。为什么呢？我们可以看到，2023年、2024年发生的这一次变革，它有两个前提条件。第一个是，人工智能这个东西大概每二三十年会有一个轮回，然后大家吭哧吭哧干二三十年，干出一个很新的成果、一个范式来，然后把它兑现掉。兑现完了以后发现，它还是有天花板的，咱们再来过20年以后再见。目前多多少少隐隐约约，我们能看到这一代的深度学习技术有一点碰到这个天花板的可能性，有一点，我不能说一定是，但有这种可能性。因为从大语言模型和其他方面的领域的进展来看，有这种可能性。第二个，我们刚刚说了，整个自动驾驶过去革命革了一半，但这次是真革完了，已经是一段式革完了。那么如果我们希望再有这种巨大的内核重构，那就不是把深度学习从系统的一半平推到100%，而是要改变内核的理论了。而我们都知道，整个物理世界的演进都是先有理论突破，然后到应用突破，就这么一个周期不断地循环。但我们现在其实很不幸的是，我们还没有看到下一个理论突破的前置信号的出现。这个东西出现以后，可能还需要5年、10年、20年，它才能变成应用的突破。所以我个人的判断，很大的概率是未来三年是在现有的系统上做极致的优化，而不是一种理论内核的重构。所以大家别太兴奋，又进入苦日子的阶段了。

第二个问题是，FSD、HSD这样的系统出现的时候，对整个自动驾驶产业的路线意味着什么？这是我个人的看法。我们认为是这样的。首先还是回到三年前我跟余凯博士的聊天过程，我终于又看到希望了。我觉得我们好不容易能用新技术把城市的L2（Level 2: 自动驾驶等级2）做到好用、类人了，我们终于可以做到这件事了。今天大家看到的HSD，其实还只是一个轻范式的第一个版本。我可以负责任地说，在未来的一年，会有巨大的提升。因为新范式打通以后，它会有一个红利期，它会有巨大的提升。那么大家会看到，这个系统会非常非常类人，会越来越类人。这样的话，我们终于有机会把吹了这么多年的牛——城区的L2，放到车上了。我觉得余凯博士昨天有一个比喻是非常好的，它是新时代的自动挡。我觉得这个特别对，它是一个车的一个基本的一个上车以后，它该有的一个基本的fundamental（基础性）功能。它不是什么情绪价值，它不应该大多数时候需要人去开它，它应该自己开，然后人去监管一下，人去帮它一下就可以了。这才是一个fundamental（基础性）功能。

那么首先我们认为，城市L2会迎来一个巨大的发展红利期。红利期的意思就是从几十万的车到20万的车到10万的车，就像自动挡一样，它都会被装上，而且它都会变得很好用。大家应该不会碰到10万的车的自动挡不如30万的好用，不如50万的好用对吧？应该没有这种事。这就是计算机工业的一个好处，计算机工业的突破成本极其高，但它的复制成本极其低。你今天看到的再复杂的计算机，只要给他几年的时间，它就会跟白菜一样。所以它会把10万个车，甚至于更低成本的车，都变得一样好用，这件事情是一定会到来的。

第二个我们看到的是，过去因为范式的问题，L2跟L4（Level 4: 自动驾驶等级4）是两个完全不一样的世界。虽然都是做自动驾驶的，其实是两拨人。L4为了，就像拿Waymo来举例也是很典型的，它为了在拿到一个很好的MPI（Miles Per Intervention: 每英里接管次数）能够挣到真无人，因为真无人不是开玩笑的，那会有事故的。那么，它需要做很多很多其他的额外工作，比如说上了超豪华的传感器，比如说它用非常非常好的HD map去解决刚才说的静态的缺陷问题，然后它需要把ODD画得比较小，让它整个的hard case（疑难案例）和corner case（极端案例）可控。它要做很多很多这些事情，然后才能把系统部署上去。那么这种方法大家都知道，你要是放到整个平坦的世界和卖给所有人的车来看的话，这件事情显然这么玩是不行的。但反过来说，这么玩在robotaxi（Robotic Taxi: 自动驾驶出租车）就可行吗？其实也不可行。所以我们大家都知道，这件事情是有问题的。

但是新的范式到来以后我们能看到，方法论终于统一了。我们能看到当前的方法论在做最多两到三年的工作，就有极大的机会把MPI干到5万、10万的水平，同时它还能保持类人，同时它还能保持在所有的城市、所有的区域里面，它是自动可以泛化的。这说个题外话，我们自己这次的开发过程还是挺快的。这里面有一个地方、一个环节省了很多时间，跟过去比就是各个城市的泛化。我们很高兴地发现，新的方法论上去以后，我们在绝大多数城市测试以后，它天然就是没有问题的。只有极少数的非常非常奇怪的这种，就是所谓的这种离散在整个系统分布之外的，这种很小很小的场景需要处理一下。所以这个就导致这个过程省了很多时间。

那么这个事情对L4是个极大的好消息，就是我再也不需要去在每一个ODD里面去搞来搞去了，我不需要了。那么我在搞定一个复杂城市的时候，我大概率就搞定了整个这个国家的复杂城市。那么这个效率就一下子上去了。因为robotaxi讲得再好，L4讲得再好，你的本质是要跟人类司机去比成本，这个是一切商业本质的源头。所以，你在上面做的所有这种高成本的、在复制的时候不能去数量级降低成本的，而是一种线性递推的方法，坦白地说在商业上都是不行的。那么我们看到新方法能够改变了这一点。所以它导致的结果就是，在未来的短短几年以内，用同样的开发方式，不但在L2上面能极大地带来新的体验，同时能以极低的部署成本和几乎无限制的部署区域扩张速度，去带来一个L4系统。而且它会以乘用车和robotaxi的双模式去部署。我一直不同意这个观点，就是为什么robotaxi只能是robotaxi呢？我也很想买一辆车能全自动L4地开啊，为什么不能？我想大家可能如果这个价钱是合理的，我想每个人都想买一辆对吧？因为车是一个大玩具也好，你的第二空间也好，还是说是你的一个个人能拥有的最贵的一个机器也好，它有它自己独特的价值在。其实我自己是比较社恐的，我是不愿意坐出租车的，还要跟司机讲两句话，感觉好烦对吧？Robotaxi最好了。

产品理念转变：从功能堆砌到能力自生长

另一个附带性的变化是什么呢？我们看到在2023年、2024年以前，因为坦白说业绩，大家多多少少都觉得天花板就在那了，上不去了。那么大家就开始干另外一件事情，因为饭还得吃，事情还得做，工资还得发嘛，就开始在整个这个空间里面去做各种碎片的功能，往上拼。其实这两张图很有意思，我们可以把这个你想象成一个二维空间，把这个空间填满，是以什么方式去把它填满。20年之前大家的想法是，这棵树已经种不下去了，就长这么高了，我再种一棵树，然后再种一棵树，再种一棵树，我把它拼起来，拼各种奇奇怪怪的功能，这是一种做法。

那么20年之后做法不是这样的，我们就种这一棵树，把这棵树种得越来越粗、越来越高，让它的整个网络的主干越来越大，数据量越来越大。然后你会很欣喜地发现，它长出了新的能力，在你不知道的时候它长出了新的能力。就是我们那时候我们记得自己，其实这个阶段还从来没有做过靠边停车的功能。但是我们的测试团队有一天很有意思，他跑到右车道以后，在右一的时候，他想试一下再拨右边道会怎么样，他发现那辆车跑到路边上自己靠边停车去了。从来没有人设计过这个功能，也没有人训练过这个东西，但是它自己就有了。这个其实说实话，就是新的方法论和数据驱动的魅力。因为它从人类的稠密数据里面，它会学到一切能力，无论是好的还是坏的。但是我们需要把坏的处理掉，这就是新的方法论和过去不一样的地方。过去的方法论你可以认为是加法，是人pick up（拾取）一个一个稀疏的能力点往上加。而新的方法论某个角度来讲是减法，你需要把人类全集的稠密数据里面，把你不想要的东西减掉，而剩下的就是全能力。这个就是两个方法论的本质不同。所以会导致，至少我认为会导致我们从现在开始，会有两种完全不同的产品思路。一种是过去那样继续拼各种新功能，一种是像我们和FSD这样，去把这棵树种得越来越大、越来越深。我们绝不去做一些零碎的功能，我要让这些功能慢慢慢慢给它时间，在这棵树上自己长出来。如果今天还没到那个时间，我就选择不做它。这是我们的态度。

下一步行动：算力、L4与工程组织能力

那么下一步我们应该做什么呢？这个其实就是我们自己未来一两年要做的事情。有一个还是回到刚才那个基本假设，就是我们认为AI和AGI的基础理论在未来3到5年可能不会有全新的突破，可能是进入一个演进和优化的阶段。这首先是一个大的前提。那么有几件事情是可以做的，仍然是可以做的。

第一个，我们今天可以看到，在大语言模型领域，可能大家有点隐隐约约地碰到scaling laws（规模法则: 指模型性能随计算资源、数据量等增加而提升的规律）的天花板。但我很高兴的是，这件事情在自动驾驶领域还完全没有发生。因为无论是成本问题、功耗问题，还是芯片工艺的进步问题，它还没有发生，应该说刚刚开始。那么我们可能后面会每一代芯片和每一代产品，会坚持10倍算力、提升10倍模型容量，会以这方向往上叠。大家一定要记得一点，计算机工业的本质就是玩命堆算力。我就记得这一点，千万不要问一个问题就是它有没有用、你需不需要。如果各位想问这问题的时候，你就回家把你的手机、计算机、你家的智能电视机拿出来看看，它需不需要那个处理器，你肯定认为是不需要的。为什么需要？但是因为芯片工业本质上是一个印刷工业，它是不要钱的，somehow（某种程度上）它是不要钱的，只要给他时间。那么，玩命堆算力就是计算机工业里面最fundamental（基础性）的基因和逻辑，任何时候不要违背这件事情做事情。任何违背这件事的人都被历史淘汰了，因为它不要钱，简单点说。所以我们会持续地10倍提升，持续地10倍提升。

第二个事情就是，我们刚才已经讲了，我们会开始重投入L4这个节点。但是不是以割裂的形式去做这件事，而是以统一的开发范式、统一的传感器配置、统一的ODD区域去打通L2到L4。我想大家可能有一天，可能已经不会在意这个概念了，就是你的车L2的车，和你的somehow（某种程度上）三年以后买到的车，它就已经是一个准L4系统了。这件事情是高概率会发生的，这也是我自己希望看到的在行业里面。

第三个我最想强调的一点就是，无论这个行业和技术千变万化，这种事情永远会发生的。其实你能应对这件事情的时候，第一不要应激，每几个月我们就突然说“哎呀，以前都不对，我们要改，全改”，这是不对的。你需要做的事情就是把你公司的工程能力和组织能力不断地去强化、强化再强化。只有一个稳定的、能承载这个工程的公司组织，才能应对一切的这些变化。有新技术的时候你能快速地去导入它，而新技术导入以后碰到一堆爆发的问题，你能有集团军的作战能力去把它消灭掉，而且持续地去打磨那些难问题。所以一个好的工程能力和一个好的组织能力，是一个公司至关重要、至关重要的能发展的基座，我称之为工业母机。在应对整个不确定的世界和技术的时候，这是唯一能确定的事情，也是我们应该重投入的事情。

Q&A：持续的挑战与未来的愿景

后面他们还给我准备了几个问题，就简单讲一讲吧。他们不知道谁问我的，说“现在还抑郁吗？”坦白说，还挺抑郁的。第一个，前段时间确实被量产压得不行，因为时间很紧，而且新范式不像大家看的这么美好，新范式会有新范式的问题。在这么短的时间内要解决掉，我们的工程团队，这不是我本人，是我们的工程团队确实非常辛苦也非常给力，在这么短的时间内把这么多问题都解决掉了。我觉得虽然我骂了他们很多，平时给他们很大压力，但是我觉得还是要很感谢他们，他们是业内很了不起的一帮人，很了不起的一帮人。

第二个我们能看到，应对这么多变化的时候，你会看到还有很多事情需要做。第一个，今天大家可能试过HSD了，觉得还不错对吧？但你说它是不是达到人类司机的水平了呢？我觉得显然显然没有。我最近能看到我们自己公司内部的论坛里面，大家已经不再讨论什么绕行、选路这些事情了，不讨论了。他们现在讨论的是“后面有个水坑你该咋办？”然后“前面有个卡车在跟你错车的时候，你是应该等他鸣笛等他，还是应该绕过去？”在讨论这种问题。其实我一开始看到问题的时候，我是有点恼火的，就是饭还没吃饱就开始想别的了。但是后来想想看，这个其实是个好事情，就说明大家已经认为系统的基本能力已经过了，大家在讨论以人类的标准再重新看待这个系统了。那么这个对我们来讲，是未来1到2年需要做的一个新的挑战。等你把这些问题搞定以后，这个系统就可能真的就比较像一个人了。但这些问题极其难，我们看到有希望知道它必须解决，但是怎么解决，我坦率地说，今天我还没有非常非常清晰的答案。但是这件事情是需要我去做。但为什么我还是比较焦虑呢？坦白地说，你做这种事情风险非常非常高，做一轮实验可能是10个亿，还不一定成功，这种事情是很恐怖的。但是必须要去做。

第二个问题是“对现状满意和接下来的计划是吧？”坦白说，我觉得很难说满意或者不满意。你要说SOP是不是达到我的基本预期，我觉得算是。但是我觉得我们刚才说了，我们自己做自动驾驶的这帮人，本质的目的是做一个能替代人类司机的这么一个机器，这才是我们所有工作的意义，否则的话它没有意义。从这个维度来讲的话，我觉得我们还有很多很多工作需要去做。那未来的计划，刚才也已经其实讲过这个问题了，就是研发的范式以L4为核心，然后用cherry-pick（精选）的方式去反哺L2。我们希望在未来的两到三年，第一个让当前手上大家看到的HSD这套乘用车的系统体验有一个巨大的进步，有一个质的飞跃。我觉得这件事情是一定会发生的。第二个就是我很希望在未来的几年，我们能把一个L4级别的车，以同样的价格，在用户无感的情况下送到你的手上。这个是我们希望对行业能做到的一个要求，虽然很难，但是我觉得这是我们所有人辛苦了这20年做这一行的意义所在。大概是这样，谢谢大家。