--- author: 硅谷101 date: '2026-09-28' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=2pZ9Gl7qVUo speaker: 硅谷101 tags: - full-stack-development - hardware-redundancy - perception-architecture - data-labeling-pipeline - autonomous-system title: 从早期探索到商业落地：完全自动驾驶技术演进的深度拆解 summary: 本文回顾了自动驾驶技术从早期探索到当前商业化落地的全过程，重点分析了技术路线的冲突、硬件架构的迭代（从黑盒到自研芯片）、关键技术瓶颈（如3D占用网络）的攻克，以及商业化运营中的安全监管博弈和未来技术挑战。 insight: '' draft: true series: '' category: architecture area: tech-engineering project: [] people: [] companies_orgs: [] products_models: [] media_books: [] status: evergreen --- ### 奥斯汀街头的Cybercab实测体验 正在平稳行驶的是一辆完全没有方向盘的汽车，我此刻正坐在它的驾驶座上，而脚下也没有任何油门或刹车踏板。这就是今年9月刚刚在德克萨斯州奥斯汀正式投入运营的特斯拉Cybercab。埃隆·马斯克曾公开表示，这就是未来交通出行应有的样子。 其实早在今年5月中旬我们前往奥斯汀的时候，就已经在城市的各个街头巷尾发现了Cybercab进行测试的身影。经过数个月密集且严谨的实际道路测试，Cybercab终于迎来了它的全新里程碑。 回溯特斯拉整个完全自动驾驶（FSD）的发展历程，可以说是伴随着无休止的丑闻、诉讼和外界的严厉质疑。多年以来，行业内外充斥着各种负面舆论：“自动驾驶技术距离真正落地还有极其漫长的路要走”、“FSD到目前为止依然是一个极其失败的产品”、“FSD简直是科技史上最糟糕的软件”。类似的批评声音，几乎伴随了特斯拉FSD发展的十几年光阴。 所幸的是，特斯拉FSD在质疑声中始终没有停止向前迭代的脚步。然而，这条技术进阶之路走得异乎寻常的艰难。在马斯克这位出了名“抠门”的老板带领下，特斯拉自动驾驶的硬件研发体系总是经历着反复拉扯，多次面临彻底推倒重来，甚至直到量产上线的前一刻硬件团队还在通宵达旦地加班修改。只要方案达不到马斯克的预期，他就会在会议室里愤怒地拍桌子，随即充斥着各种“F-word”的激烈训斥。 在硬件演进的背后，交织着与顶级供应商的彻底决裂，以及孤注一掷投入自研芯片的巨大豪赌；团队内部甚至一度出现过严重的瞒报与欺骗现象。当时马斯克在了解到真实情况后立刻察觉到：“你们这帮负责芯片研发的人明显就是在忽悠我”，随后便在团队内部雷厉风行地解雇了大量人员。 与此同时，软件算法团队也永远在面对算力不足与人员捉襟见肘的窘境。然而，正是在这种极致的成本控制与资源挤压之中，反而倒逼出了行业内最为极致的技术路线。正如工程师所言：“就算你现在给我10倍的算力，我也能在极短时间内全部把它榨干用掉”。 我们制作这期内容的写稿、深度采访和实地拍摄横跨了数个月的时间。我们不仅深入对谈了在特斯拉核心部门工作了十余年的一线资深工程师，还亲自前往奥斯汀现场体验了最新的特斯拉无人驾驶车辆。接下来，我们将从硬件底座和软件算法这两条主线展开，对特斯拉FSD长达十三年的进化史进行抽丝剥茧般的详细拆解。 今天是美国时间9月23日，我们专程从硅谷搭乘航班飞抵德克萨斯州的奥斯汀，带大家第一视角深度体验这辆备受瞩目的Cybercab。在打车软件上发出呼叫后，我们的Cybercab很快就开过来了，整个候车过程大概只等待了8分钟，实际等待时间比我们最初预期的还要短很多。 当车辆平稳停靠在路边后，我们点击屏幕上的“Start Ride”开始行程。这是我个人第一次真正坐进Cybercab的车内。作为一名特斯拉Model Y的长期车主，我之前也开过很长一段时间的Model 3，但一坐进Cybercab就能极其直观地感受到，整辆车的尺寸规格比Model Y明显缩水了一大圈，在视觉和空间感上甚至比Model 3还要显得更加紧凑小巧。 拉开蝴蝶门进入车厢内部后，整车仅提供了两个乘客专属座位。我坐进了传统车辆中原本应该是驾驶员位置的左侧座位，但放眼望去，眼前没有任何传统意义上的方向盘，脚底下既没有刹车踏板，也没有加速踏板，面对这样完全剥离物理操控界面的座舱，说实话刚坐上来时心里确实难免有些小忐忑。 不过我也十分清楚，在当前的商业化初期运营阶段，特斯拉设立了非常严密的主被动安全保障机制。由于Cybercab采用了彻底取消方向盘与刹车踏板的原生全无人驾驶设计方案，车内的乘客在遭遇任何突发或极端紧急状况时，在物理层面是完全无法进行手动接管的。为了从根本上确保行车安全，特斯拉在云端后台组建了全天候实时待命的远程安全员与专业工作人员团队，用于在复杂边缘场景下进行兜底保障；同时，车端配备了低延迟的星链（Starlink）卫星通信系统，以确保恶劣地面网络环境下的通信不中断；乘客座舱正前方的大屏上还专门设置了一键紧急避险（Emergency Stop）按键以及靠边停车（Pull-over）请求功能，点击后系统会迅速采取安全动作并自动秒级接通Robotaxi的专属人工客服，因此在目前的实际运营体系下，其整体安全指数是非常高的。 根据官方公开的登记数据，截止到2026年9月22日，特斯拉在美国德克萨斯州登记在册的自动驾驶运营车队（Robotaxi）总规模已经进一步增加到了476辆。在这批车队中，除了67辆全新落地的原生Cybercab之外，其余的409辆依旧是大家非常熟悉的、配备了实体方向盘的改款Model Y车型。 特斯拉的FSD究竟是如何一步一步演进到今天这种能够剥离方向盘上路运营的状态的？这一切的技术源头，还要从一个被牢牢锁死的“黑盒”开始讲起。 ### 早期探索与Mobileye的“黑盒”决裂 时间回到2013年，彼时刚刚成立满十周年的特斯拉，开始正式决定涉足并研发属于自己的汽车自动驾驶技术。在项目立项之初，马斯克最希望达成深度战略合作的公司其实是谷歌。然而在深入接触后发现，谷歌当时主推的是基于高精地图和高成本激光雷达的技术路径，其硬件造价极其高昂，这种昂贵的堆料逻辑严重违背了马斯克一直以来奉行的“第一性原理”。 更为关键的分歧在于战略推进路径的不同：谷歌坚决主张一步到位直接攻坚最高等级的L4级别全自动驾驶，而马斯克则根据商业量产的现实逻辑，坚定认为必须先量产推出低成本的L2级别辅助驾驶系统，再借助海量量产车的数据闭环逐步迭代演进到L4。由于在技术理念和商业演进路线上存在不可调和的矛盾，双方最终分道扬镳。这一分歧也在自动驾驶产业界正式催生出了截然对立的两大技术路线，并在此后十余年里引发了整个行业的持久争论。 但是在2013年的时间节点上，特斯拉自身的财务状况极其脆弱，不仅完全不具备全栈自研自动驾驶软硬件的资源和资金实力，甚至连如何在激烈的汽车工业竞争中活下去都异常费劲。对于当时的特斯拉而言，最现实、最可行的破局路径，就是尽快在市场上寻找一家技术成熟的现成Tier 1供应商，于是他们最终选定了在视觉辅助驾驶领域处于霸主地位的以色列芯片与算法公司Mobileye。 2014年10月，特斯拉正式对外发布了第一代辅助驾驶硬件系统Autopilot Hardware 1.0（简称HW 1.0）。从如今的技术标准来看，HW 1.0全车的硬件配置显得非常基础甚至简陋：整车仅搭载了1个前视单目摄像头、1个前置毫米波雷达，外加围绕车身的12个超声波传感器；系统核心计算芯片采用的是Mobileye提供的EyeQ3芯片，其运行主频仅为500MHz，配备的内存容量只有256MB。这套芯片性能放在今天显然是远远不够看的。但在早期受限于车规级严苛标准的历史背景下，整个行业的技术局限性非常大，这对于当时的特斯拉来说完全是一个在没有其他替代选择下的妥协方案。 针对这段早期的拓荒岁月，在特斯拉核心技术岗位工作了近12年的资深工程师Kerry Liu向我们分享了大量内幕。Kerry在特斯拉任职期间先后深度参与了能源系统、自动驾驶软硬件、机器人等多个跨时代核心项目的研发，主要统筹负责AI相关的核心硬件系统开发。他向《硅谷101》透露，FSD长达13年的研发征程中，深埋着太多外界难以想象的挫折与曲折内幕。 2015年，特斯拉第一代Autopilot软件系统正式向车主推送上线。虽然在当时该系统仅仅能够实现较为基础的车道居中保持、自适应巡航等辅助驾驶功能，但对于那个时代的普通汽车消费者来说，这种科技体验已经堪称不可思议的惊艳。必须知道，在2015年前后，市场上绝大多数传统燃油量产车甚至连最基础的定速巡航都尚未普及成为标配。面对能够自主修正转向和加减速的Autopilot，许多车主产生了严重的盲目信任，有人在行驶的车辆里大快朵颐吃汉堡，有人甚至直接躺在副驾驶位上呼呼大睡，在实际使用中完全把这套L2级别的辅助驾驶系统当成了无所不能的“真正无人驾驶”。 虚假的安全感很快引发了惨痛的悲剧。2016年5月7日，在美国佛罗里达州的一段公路上，一辆开启了Autopilot的Model S以极高的速度径直撞上了一辆正在横穿马路进行左转的大型白色拖挂货车，车顶被生生撕开，车主在此次恶性事故中当场不幸身亡。 后续的事故技术分析查明，碰撞发生的直接根源在于车载视觉系统在强光反差环境下，将拖挂货车高大的白色车厢侧面误判为了明亮的天空背景，导致辅助驾驶系统完全未能将货车识别为前方的障碍目标，车辆在未采取任何减速制动措施的情况下全速撞击。在此次事故发生之前，Mobileye方面曾多次向马斯克提出极其严厉的警告，要求特斯拉必须在软件层面强制禁止驾驶员双手脱离方向盘，然而马斯克并未对这一警告给予足够的重视。佛罗里达的这起致命车祸，最终成为了特斯拉与Mobileye彻底决裂并对簿公堂的直接催化剂。 为什么这起严重车祸在本质上仅仅是一场“催化剂”呢？这需要从特斯拉第一代Autopilot的底层系统架构说起。 在业界通用的技术框架中，一套完整的自动驾驶系统主要由三个核心环节紧密串联而成：感知（Perception）、规划（Planning）与执行（Control）。在特斯拉与Mobileye早期开展合作的过程中，前端视觉感知的核心算法和模型权重完全被Mobileye一家绝对垄断，而特斯拉的工程团队仅仅被允许主导后端的规划算法与执行控制逻辑。 Mobileye向主机厂交付的是一种极其典型的“黑盒（Black Box）”商业模式：安装在前挡风玻璃处的摄像头捕捉到道路光学图像后，原始像素数据会直接输入到Mobileye完全封装的EyeQ3芯片内部进行闭门运算，在芯片内部完成物体识别等所有感知计算之后，仅仅将计算好的目标类别、相对距离等抽象结果通过数据接口单向输出给特斯拉的车辆规划层。 Kerry Liu向我们解释道，这种强行切分的系统结构，从一开始就注定了两家公司未来必然分裂的结局。因为在这种架构下，特斯拉和Mobileye之间必须人为强行定义出一套非常死板的硬性数据接口。在接口之下，Mobileye的所有感知算法、特征提取逻辑以及核心代码全部处于黑盒状态，无论特斯拉怎么要求，对方都绝对不肯向特斯拉开放任何底层访问权限。 这种绝对封闭的黑盒模式，对当时急于高速迭代的特斯拉工程开发构成了巨大的阻碍。因为在实际的车辆测试与功能演进中，特斯拉的工程师经常希望能跨越这个既定接口获取底层更丰富的传感器原始数据，或者希望根据实际驾驶场景动态更改接口的数据结构与通信逻辑。然而，由于特斯拉根本不掌握底层芯片与核心感知算法的控制权，任何改动诉求都会遭遇对方的严词拒绝。因此，真正促使特斯拉下定决心与Mobileye彻底撕破脸分手的根本原因，在于黑盒模式带来的无休止合作掣肘与失控感。 在此次痛苦的分手之后，特斯拉痛定思痛，决定将自动驾驶的算法主导权彻底收归自研，同时迅速为硬件计算平台寻找新的合作伙伴。然而，仓促推出的新硬件系统在初期却遭遇了严峻的考验。 ### 英伟达过渡期与Hardware 2.5的冗余设计 2016年10月，距离佛罗里达致命车祸仅仅过去了5个月的时间，特斯拉便以极快的节奏对外正式发布了第二代辅助驾驶计算硬件平台Hardware 2.0（简称HW 2.0）。在传感器层面，全车的摄像头数量直接从HW 1.0时代的仅仅1个激增到了8个，形成了覆盖车身四周360度的环视视觉阵列；而在底层计算核心上，彻底剔除了Mobileye的方案，全面转投英伟达的Nvidia Drive PX2平台。 然而在当时的技术条件下，这8个遍布车身的摄像头虽然看起来非常前卫，但在实际落地的功能上却并未发挥出预想中的关键作用。Kerry在复盘时谈到，HW 2.0上搭载的8个摄像头在设计初衷上更多属于“Design for future（为未来而设计）”。也就是说，如果特斯拉的目标是未来几年内实现真正意义上的全自动驾驶，那么车身周围绝对不可能仅仅依靠一个前视摄像头；但是在2016年的当下，如果仅仅是为了完整替代原先Mobileye EyeQ3所实现的车道线跟随与前方车辆识别等基础功能，其实根本不需要消耗如此庞大的计算资源去同步处理全车每一个摄像头所采集的海量视觉信息。 更为严重的是，在HW 2.0装车后不久，特斯拉内部工程团队就迅速发现了该硬件平台在架构设计上存在重大的先天安全隐患。于是在HW 2.0发布仅仅10个月之后的2017年8月，特斯拉不得不紧急推出了改良版的Hardware 2.5（简称HW 2.5）。 从HW 2.0到HW 2.5，两者之间最核心的架构区别就在于系统级别的硬件“冗余（Redundancy）”。由于HW 2.0是特斯拉历史上第一次全面采用英伟达的芯片解决方案，而当时英伟达自身也尚未推出专门针对量产车辅助驾驶定制的车规级专用计算单元，其整个硬件板卡在物理拓扑上仅仅采用了一颗主SoC芯片外挂一颗独立GPU的非对称结构。 但问题在于，彼时的马斯克已经在市场上大张旗鼓地向所有消费者力推“Full Self-Driving（全自动驾驶）”的宏大概念。既然要奔向全无人驾驶，工程团队就必须直面一个极端残酷且现实的安全命题：如果在车辆高速行驶且没有驾驶员接管的情况下，车上的核心计算芯片突然发生硬件故障、死机或者电路烧毁怎么办？系统必须有一套毫秒级无缝接管的备用硬件计算通路。 因此在改良后的HW 2.5主板上，特斯拉专门额外多增加了一颗高性能GPU芯片作为并行的安全冗余备份。这种在主板上集成两颗具备独立计算能力芯片的双工冗余设计理念，正式构成了日后特斯拉FSD专属双芯片安全架构的最初雏形。 在硬件平台紧急打补丁的同时，特斯拉的软件算法团队在短短6个月的极限时间内，用完全自主编写的代码彻底重构并替代了原先属于Mobileye的全部感知算法，并且正式在商业层面推出了全新的FSD选装包，以此向市场宣告特斯拉的自动驾驶已经与过去完全划清界限。 然而，软件全面转向纯自研初期的实际道路表现，却远远没有外界所想象的那样顺遂和惊艳。Mobileye已经在ADAS视觉算法领域深耕细作了十几年，经历过无数复杂极端天气和海量道路工况的工程化打磨，即便其底层技术架构在AI学术界看来相对陈旧和保守，但在它所支持的功能边界内，其成熟度、工程稳定性和可靠性是非常扎实的。而特斯拉一个全新组建的算法团队要从零开始搭建一整套完整的视觉感知体系，初期上线后不可避免地暴露出各种漏检、误识别和异常抖动等问题。 更关键的是，英伟达的芯片平台对于特斯拉的长远野心而言，充其量只是一个解燃眉之急的临时过渡跳板。特斯拉要想真正把自动驾驶的主动权彻底攥在自己手心里，就必须迈出自研计算芯片这最为凶险也最关键的一步。 ### 自研芯片豪赌：Hardware 3.0与AI3芯片的诞生 2019年4月，在特斯拉专门举办的“Autonomy Day”上，马斯克向全球正式发布了划时代的Hardware 3.0硬件系统（简称HW 3.0）。在HW 3.0的核心计算板上，彻底移除了英伟达的芯片，全面换装了特斯拉历时数年自主设计研发的第一代FSD芯片——AI3。 其实，走向芯片全栈自研对于特斯拉而言是历史的必然选择，早在2014年与Mobileye打得火热的蜜月期阶段，马斯克就已经在暗中为这一技术终局进行战略谋划与人才储备。 让我们把时间的指针重新拨回到2016年年初。在2016年1月，马斯克凭借极强的说服力，成功从芯片设计业界挖来了真正的殿堂级传奇大师——吉姆·凯勒（Jim Keller）出任特斯拉副总裁兼自动驾驶硬件工程主管。Jim Keller在半导体历史上的履历近乎神话：他曾在超威半导体（AMD）一手操刀设计了名震天下的K7和K8微架构，带领AMD首次在性能上正面击溃英特尔；随后转战苹果公司，作为首席架构师主导设计了苹果最初封神的自研A4和A5移动处理器，奠定了iPhone和iPad此后十几年的芯片自研基石；在此之后他又重返AMD，主导研发了彻底拯救AMD命运并延续至今的Zen CPU微架构；离开特斯拉后他还曾加盟英特尔担任高级副总裁。 紧接着在2016年2月，另一位芯片架构巨擘彼得·班农（Peter Bannon）也正式宣布加入特斯拉。Peter Bannon在芯片计算系统设计领域的经验同样雄厚得惊人，在踏入特斯拉大门之前，他已经在高等级计算系统架构设计领域潜心深耕了近40年之久，曾先后在苹果、英特尔以及传奇半导体初创公司P.A. Semi担任关键核心职务，更是在苹果内部作为核心领导者主导了从A4一直到A9处理器的各代系统架构演进。 在Jim Keller和Peter Bannon两位顶尖芯片大师的统帅之下，结合三星电子代工与半导体设计服务团队的紧密协同，特斯拉的第一款全自研FSD芯片AI3，仅仅花费了惊人的18个月时间就完成了从架构设计到流片准备的全部工作，并在2017年12月完成了第一次流片。 芯片研发的推进过程顺利得超出了绝大多数半导体从业者的预料。Kerry Liu在回忆起这段历史时赞叹道，AI3在2017年年底第一次完成晶圆流片拿回实验室点亮测试时，芯片底层的各项逻辑功能和电气表现几乎就已经挑不出任何重大软硬件缺陷了。随后团队仅仅针对极少数细微边缘逻辑做了一版非常轻微的优化改动，迅速推出了第二版试产芯片，便直接敲定进入大规模量产阶段，在此之后其芯片硬件拓扑就再也没有经历过任何修改。 因此，特斯拉HW 3.0所搭载的AI3芯片，在整个半导体行业历史上都算得上是一次极其罕见的巨大成功。须知在处理芯片开发领域，无论是老牌半导体巨头英特尔还是AMD，一款全新架构的高性能复杂处理器在第一次流片后就能完全达到预期目标的概率可以说是凤毛麟角，行业里绝大多数芯片在第一次流片送回后往往连最基本的系统开机引导都无法顺利跑通。与此同时，特斯拉在当时务实地选择了三星极其成熟的14纳米车规级FinFET制程工艺，这也为芯片在汽车严苛高温震动环境下的高良率量产奠定了坚实的基础。 这款代号AI3的自研芯片，赋予了特斯拉最为关键的核心优势——极致的端到端神经网络推演性能与算力利用率。相比于HW 2.5平台所搭载的英伟达Pascal架构Drive PX2芯片，AI3在单车神经网络推理算力上实现了高达5倍以上的爆发式增长，在系统功耗、内存带宽和吞吐延迟等各项核心工程指标上也均实现了大幅度的跃升。 为什么特斯拉第一款自研芯片就能够在自动驾驶特定性能上将老牌巨头英伟达斩落马下？根本原因在于，AI3是一颗完完全全为了自动驾驶特定应用场景从底层晶体管级别量身定制的专用专用集成电路（ASIC），其微架构理念与英伟达的传统通用GPU设计存在本质上的代际差异。 在评估自动驾驶车载计算平台的实力时，绝对不能仅仅停留在芯片厂商纸面所宣称的理论峰值TOPS算力参数上。英伟达所制造的GPU在底层骨子里是为图形渲染和通用计算设计的，其芯片硅片面积中有极大的比例必须用来承载高度复杂的硬件线程调度控制器、乱序执行逻辑、复杂的内存缓存层级以及分支预测器等通用单元。当把这种通用计算架构用来高并发跑大规模深层神经网络模型时，芯片内部大量的硬件晶体管实际上处于空转闲置状态，真正的有效算力利用率往往很难突破30%甚至更低。 而特斯拉自主设计的AI3芯片则彻底去除了所有冗余的通用计算负担，整颗芯片将核心面积全部留给了专门定制的双核神经网络处理器（NPU）。每一个NPU内部都集成了超大规模的点积运算矩阵乘法阵列和专属的SRAM高速本地缓存，专门针对自动驾驶场景中频繁发生的矩阵点乘与卷积激活做极限优化。在实际车载工况下跑全车神经网络任务时，AI3的硬件实际有效利用率能够惊人地稳定在80%以上，相比于同期的通用GPU架构提升了整整50%以上。 在2016年特斯拉启动芯片立项的时候，全球芯片半导体产业界根本还没有任何一家厂商真正从零开始去设计专属的自动驾驶神经网络加速器硬件。彼时整个科技行业的通用做法，无一例外都是在各自传统的CPU、通用GPU或者DSP数字信号处理器指令集上增添一些半精度的张量指令，试图通过修修补补的方式来让它们稍微更适应一些AI推理任务。但当时没有任何人敢真正从晶体管底层开始，专门针对深度神经网络的本质运算逻辑做推倒重来的微架构设计。正因如此，马斯克最终拍板：既然市场上买不到我们想要的东西，那我们就自己动手从零把它做出来。 然而，戏剧性的是，就在AI3自研芯片大获全胜、即将全面启动大规模量产装车的最紧要关头，领军人物Jim Keller却突然向马斯克递交了辞呈，正式离开了特斯拉，随后整个硬件研发团队的大印交由Peter Bannon全面接管。 面对核心大将的离开，特斯拉内部却并没有陷入慌乱。因为在深入了解Jim Keller职业轨迹的半导体业内人士看来，他的挂印离去是完全在情理之中且早已注定的必然结果。 Kerry Liu向我们透露，他曾私下与多位熟悉Jim Keller的业界资深同行深入聊起过此事，大家给出的评价高度一致：Jim Keller本质上是一个对“从0到1”开拓性架构设计极具痴迷、甚至可以说是纯粹的技术拓荒者，他生来就对芯片量产后那些琐碎的“从1到10”的工程优化、良率提升和日常管理维护工作毫无兴趣。回顾他在苹果公司和AMD的历史足迹便会发现，每一次他都是在芯片架构从无到有彻底确立、原型被完美验证成型之后，便在芯片量产下线之前选择从容离去，投身下一个全新的未知挑战。而这恰恰也解释了当年他为何愿意屈尊来到一家前途未卜的新造车势力任职——因为在2016年那个节点上，特斯拉要为量产汽车全栈自研深度学习芯片这件事，本身就是一件全人类科技史上前所未有的、货真价实的“从0到1”的极致冒险。 ### 量产死线与供应商残酷博弈 尽管AI3单芯片本身的底层硅片开发与物理流片过程异乎寻常的顺利，但在整套包含电路主板、外围供电、线束和操作系统的Hardware 3.0系统真正投入大规模量产下线前的最后三个月里，特斯拉整个软硬件工程团队却陷入了一场连轴运转、濒临彻底崩盘的极限危机之中。而导致这场危机的最核心推手，竟然是马斯克在人员招聘和预算审批上近乎病态的“极致抠门”。 Kerry Liu在访谈中苦笑着回忆道，马斯克这个人从骨子里极度反感大规模招募工程师，这种极端的精简人员策略直到今天也丝毫没有改变。无论是在后来的Optimus人形机器人团队，还是核心的FSD自动驾驶团队，马斯克配置的纯软件研发团队实际在册人数都少得令人瞠目结舌。 在2018年年底至2019年年初的量产冲刺期，这支本就极度精简的软件团队面临着一项不可能完成的任务：他们一方面必须分派人手持续维护已经大规模量产、跑在数十万辆老车上的HW 2.5系统的日常软件版本，另一方面还要从零为全新架构的HW 3.0芯片从底层编写全新的底层驱动、系统固件、编译器与整套车载软件运行栈。在如此严苛的人力限制下，软件团队的运载负荷彻底被击穿，根本拿不出完整的配套软件交付给硬件团队。 而没有软件系统的实时配套支持，硬件团队在产线和实验室里根本无法对刚刚制造出来的AI3系统板卡进行功能验证，很多关键的芯片级压力测试、接口电气特性检测和算法实车部署跑测完全陷入停滞。 Kerry回忆当时的情景依旧历历在目：在没有现成官方软件可用的绝境下，硬件工程师们只能想尽一切办法自己动手进行“野路子魔改（Hack）”。硬件团队的工程师们在没有软件团队支持的情况下，硬着头皮自己东拼西凑攒软件，自己查底层寄存器手册去手工编写底层指令，强行模拟软件团队未来的API接口调用，以此在实验室里驱动板卡自己跑测试、排查硬件潜在电气缺陷。 眼看着整车既定的量产SOP时间节点只剩最后三个月，马斯克终于在内部下了死命令：无论如何不能再拖，全员必须不惜一切代价全速推进Hardware 3.0的最终量产落地。留给整个软件和硬件联合攻坚团队的时间，满打满算就只剩下了最后这极其窒息的90天。 对于硬件系统工程而言，仅仅给软件团队三个月的极限编写时间，本质上就意味着留给硬件团队做整车联合标定、路测验证和公差测试的时间被压缩到了近乎为零的真空状态。在那场堪称噩梦的极限冲刺中，软件团队白天写出几行底层代码，硬件团队在深夜就必须立刻拿着烙铁和示波器配套进行底层的极限压测。Kerry直言，那三个月是他入职特斯拉近12年以来度过的最为忙碌、压力最为巨大且最为痛苦的三个月，全员连轴转几乎没有休息日可言，整整九十天的高强度重压之下，整个团队每个人总共也就休整了极其短暂的一两天或两三天时间。 在这场极限攻坚战打赢之后，彻底换装自研AI3芯片的整车体系为特斯拉带来了两大无可替代的绝对核心壁垒：极致的单车物料成本控制权，以及对全车核心技术的绝对掌控力。 在这两大核心优势的背后，生动折射出了特斯拉在至暗时刻为了生存，与传统顶级芯片供应商之间所爆发的两场惊心动魄的周旋与正面冲突。 第一场冲突，发生在特斯拉与全球模拟芯片与车规半导体巨头德州仪器（TI）之间。 在电动汽车的核心控制电路板上，除了负责AI计算的核心处理器之外，还需要大量负责电源管理、信号放大、接口电平转换的模拟芯片与微控制芯片。在2018年前后，每一辆开下特斯拉产线的Model 3和Model S车上，每年都需要采购并消耗极其惊人数量的德州仪器车规芯片。 然而，在2018年第四季度前后，由于Model 3遭遇极其严重的“产能地狱（Production Hell）”，现金流濒临断裂的特斯拉几乎每天都在悬崖边上与破产清算赛跑。在命悬一线的时刻，全车所有零配件的采购成本压力被层层传递放大到了极点。 当时特斯拉供应链管理高层正式向德州仪器发出官方商务函件，提出由于公司面临严峻财务挑战，要求德州仪器将供应给特斯拉的所有车规级芯片料号在既定采购协议基础上进行全方位的全面降价。然而，面对特斯拉的降价诉求，德州仪器态度异常坚决，始终不肯松口做出任何让步。 但深入半导体供应链行业的人都心知肚明，传统车规级芯片凭借严苛的认证门槛和高度封闭的供应生态，其综合毛利润率一直维持在令人咂舌的高位，在那个时期很多车规料号的综合毛利率甚至能够长期稳定在50%到55%的高水准。 面对德州仪器的强硬拒绝，负责硬件核心设计的Kerry Liu做出了一个在传统汽车工程界被视为天方夜谭的疯狂决定：他利用自己的系统架构权限，在极短时间内对车载控制主板的电路原理图进行了推倒重构，将主板上所有原本属于德州仪器的全部关键芯片料号统统剔除，彻底换成了竞争对手亚德诺半导体（ADI）具备完全同等电气功能的替代芯片方案。 必须指出的是，在极度注重工程可靠性的汽车行业，对量产核心主板上的关键物料进行如此大规模的“换芯”操作，不论是在底层的硬件PCB布线、高低温耐受性验证，还是在底层的系统驱动适配与软件测试上，都需要耗费难以估量的工程工作量和承担巨大的质量风险。但Kerry当时顶住内部所有的质疑声音下达了铁令：“不管工程代价有多大，这套芯片必须给我彻底换掉！”随后强行推动了方案的全面替换并直接冻结了向德州仪器的采购订单。 德州仪器的高层原本以为在量产节点前特斯拉绝不可能冒着产线停摆的巨大风险临阵换料，然而当他们看到特斯拉的采购订单彻底归零时，德州仪器整个管理层彻底陷入了巨大的震惊与恐慌。因为特斯拉庞大的整车出货规模，在德州仪器当时的车载半导体营收总额中占据了举足轻重的核心份额。 在残酷的现实面前，德州仪器的态度瞬间发生了180度的大逆转。德州仪器的大客户销售团队甚至包括其最高层CEO亲自紧急联络特斯拉的工程管理层和Kerry的直属老板，近乎哀求地恳请特斯拉千万不要彻底切换供应商，并焦急地询问是否有任何商业挽回的余地。 此时，早有准备的特斯拉采购团队直接将早已拟定好的全系大幅降价物料清单表格甩到了德州仪器高层的谈判桌前，言辞极其冰冷且没有任何议价余地：“只要你们在此刻立刻签字确认，将这份清单上面列出的所有芯片料号通通按照我们要求的低价执行降价，我们才有可能在产线上把方案重新改回去。” 双方在采购价格上整整高压僵持了数个礼拜的时间，最终彻底认清形势的德州仪器全面缴械投降，无条件全盘接受了特斯拉严苛的降价条款。仅仅凭借这一项大刀阔斧的换料威慑与商务博弈，特斯拉在当年一年之内就极其惊人地直接省下了整整2000万美元的净采购物料成本。这笔巨额的现金节流对于在破产悬崖边上苦苦挣扎求生的特斯拉与马斯克而言，是一场天降甘霖般的巨大成本削减。马斯克在获悉这一成果后，甚至极其罕见地专门向相关工程与采购团队发送了全员内部表彰信，对这套强硬且高效的降本操作表达了高度的赞赏与由衷的感谢。 如果说与德州仪器的交锋是为了极致压缩造车成本，那么特斯拉与英伟达之间的交锋，则是为了牢牢夺回属于科技企业的“核心主动权”。 特斯拉之所以坚决要把英伟达的芯片从全车核心计算平台上彻底连根拔起，除了前文提到的早年间在Mobileye身上吃够了底层技术被黑盒锁死的惨痛教训之外，更深层次的原因在于特斯拉在与英伟达后期的工程配合过程中，积怨已深，摩擦与冲突不断。 首先在产品定位哲学上，英伟达作为一家立足全球市场的顶尖独立芯片巨头，其骨子里制造的自始至终都是满足绝大多数车企共同平均需求的“通用型芯片”。哪怕是英伟达后来推出的下一代旗舰车载计算芯片Thor（索尔），在系统微架构的底层逻辑上也依旧是一颗追求兼顾多方需求的通用处理器。而马斯克绝对不能容忍特斯拉最核心的未来战略命脉被任何一家外部供应商的技术演进节奏牢牢牵着鼻子走，特斯拉的自动驾驶绝对不能被局限在外部供应商所设定的特定功能流水线或算力架构框架之下。 而比芯片架构差异更让马斯克感到彻底无法容忍的，是当时英伟达支持团队在面对特斯拉极为紧迫的工程需求时，所表现出的那种传统大厂式的傲慢、低效与极低的配合度。 Kerry Liu向我们分享了一段发生在2017年前后的极具代表性的真实维保往事。当时特斯拉在线下售后端陆续收到了一些早期车型的返修案例，工程排查中发现有一批车载计算平台疑似存在主板局部温度过高的散热异常隐患。由于英伟达供应给特斯拉的芯片内部本身就已经在硬件层面上集成了温度物理感应器，特斯拉工程团队便向英伟达派驻的工程接口人提出了一个极其合理且在技术上微不足道的需求：请求英伟达修改并开放一下底层的软件驱动接口，允许特斯拉工程师在系统监控控制台上能够实时读取并显示这颗温度传感器的具体物理数值。 在现代嵌入式系统软件工程中，这种在已有硬件传感器上增加一个寄存器数值读取展示的功能，本质上是一件哪怕让刚毕业的初级工程师来写驱动，也只需要寥寥几行核心代码便能在半天之内轻松搞定的极微小工作。 然而令特斯拉团队感到无比荒唐的是，英伟达的软件支持团队竟然因为这区区几行驱动代码的归属权与工单流程，与特斯拉工程团队展开了旷日持久的推诿与扯皮，光是内部走流程和无休止的口头拉扯就整整耗费了差不多一个礼拜的时间。更让特斯拉感到被严重冒犯的是，在经过漫长的扯皮之后，英伟达方面终于给出了官方答复，但答复内容竟然是向特斯拉寄来了一张全新的服务报价账单，声称如果特斯拉需要开通这项原本就属于硬件底层的额外读取新功能，就必须先按照企业流程支付一笔不菲的技术服务费；不仅如此，在特斯拉付款完成之后，由于排期原因，特斯拉还必须在原地继续耐心等待至少一个礼拜，英伟达才可能把这几行驱动补丁代码交付过来。 “一项明明只需要敲三行代码就能当场搞定的极简单事情，你们前前后后居然能活活折腾了快半个月的时间！”Kerry Liu感慨道，在节奏极快、每天都在以命相搏的特斯拉内部，这种完全不以解决现场问题为导向、效率低下且层层要价的传统商业合作模式，在马斯克的眼里基本上已经彻底被宣判了死刑，根本不可能再伴随特斯拉继续往前推进。对于英伟达而言，其庞大帝国版图里有太多利润更为丰厚的数据中心和显卡核心产品线，车载业务在当年并不被其放在最高响应优先级，这种迟缓与低效，最终彻底坚定了特斯拉踢开英伟达、走上完全独立自主芯片道路的战略决心。 ### Karpathy入局与视觉感知算法的四大升级 聊完了硬件底层与供应商博弈的跌宕起伏，我们必须把视线重新拉回到Hardware 3.0这套专属硬件平台本身。在HW 3.0投入量产并开始大放异彩的背后，其实潜藏着一个令当时所有硬件架构师都始料未及的巨大时代隐患。 在2016年Jim Keller团队从零开始为AI3芯片画下第一张架构图纸的时候，其底层的硬件乘法加速阵列是完完全全为了当时全球人工智能学术界与工业界最为火热、最为通用的卷积神经网络（CNN）进行了深度的晶体管级针对性优化。然而，科技历史的发展往往充满了极具戏剧性的黑色幽默——就在特斯拉自研芯片架构刚刚确立仅仅一年之后的2017年，全球人工智能发展史上最重要的一篇分水岭式论文毫无预警地横空出世了。 2017年6月，谷歌大脑团队正式发表了日后彻底改变整个人类通用人工智能版图的划时代论文——《Attention Is All You Need》，在计算机体系中首次提出了全新的Transformer架构。这篇原本旨在解决自然语言机器翻译痛点的研究成果，在随后的数年时间里不仅直接启发了OpenAI孕育出轰动全球的ChatGPT与大型语言模型浪潮，更是彻底摧枯拉朽般地重构了包括计算机视觉在内的整个AI全领域底层范式。 而就在这股由Transformer引发的AI海啸刚刚开始在全球最顶尖的极少数实验室内部悄然酝酿之际，一个刚满30岁的年轻人却出人意料地选择离开了如日中天的OpenAI。他，就是被后来整个自动驾驶界公认为视觉灵魂人物的安德烈·卡帕西（Andrej Karpathy）。 在与Mobileye彻底撕破脸决裂之后，摆在特斯拉面前最致命的生死挑战，就是如何在最短的时间内，从零开始搭建出一套完全基于现代深度学习体系的量产级自研视觉感知系统。彼时的马斯克身上还兼任着OpenAI的联合创始人兼联席董事长身份，在OpenAI早期的各项开创性学术探索中，马斯克敏锐地见识到了年轻的Karpathy在深度学习尤其是大规模计算机视觉领域展现出的惊人学术洞察力与超凡工程化统帅才华。在极具前瞻性的直觉驱使下，马斯克亲自出马向Karpathy发出了最诚挚的加盟邀请，并破格承诺让其出任特斯拉人工智能与自动驾驶视觉总监，拥有技术决策的绝对自主权，且在组织架构上打破一切传统层级，直接向马斯克本人进行汇报。 Karpathy在日后回忆起这段改变人生命运的时刻时坦言，当时正是马斯克亲自主动与他取得联系并进行了极其深入的闭门长谈。而马斯克向他发出橄榄枝的那个时间节点，对于他个人的学术追求而言堪称千载难逢：“在那个当下，我其实已经在纯学术的理论研究中开始感到有些坐不住了，我极度渴望将前沿的AI理论推向真实且具有巨大影响力的物理现实世界。听完马斯克的构想之后，我瞬间觉得这太合适了！我无比强烈地感到这就是我命中注定该去做的事情，我深信自己完全有能力在特斯拉这个全新的舞台上，为人类自动驾驶的破局作出至关重要的历史贡献。” Andrej Karpathy的重磅加盟，不仅为特斯拉带去了当时全球最为先锋的深度学习算法架构体系，更为特斯拉自动驾驶带来了一个至关重要的隐性杀手锏——对全球顶尖AI科学家的巨大号召力。 Kerry Liu向我们深入分析道，在2017年的时间节点上，特斯拉在外界心目中充其量还只是一家面临巨大产能危机、整天在破产边缘徘徊的传统制造业新造车公司。当时刚刚从斯坦福、伯克利、MIT或者卡耐基梅隆毕业的全球最顶尖的计算机与AI博士生，他们的职业首选毫无疑问是谷歌、微软、Facebook或者顶尖AI研究院，根本没有任何一个顶级AI天才会在求职信上把一家经常在工厂里搭帐篷拧螺丝的车企列为首选方向。 但Karpathy本人的存在，彻底改写了这一局面。作为现代计算机视觉领域教父级学术泰斗李飞飞的得意门生，Karpathy在斯坦福大学主讲的著名CS231n深度视觉公开课几乎成为了全球所有AI学子的必修启蒙殿堂，他在整个全球机器学习技术社区中是一位极具个人魅力与广泛知名度的领袖级旗帜人物。正因为有Andrej坐镇特斯拉，全球最聪明的那些顶尖AI大脑才终于找到了一个无法拒绝的投奔理由。正是凭借他的巨大个人光环与学术声望，特斯拉在短时间内迅速完成了一次堪称豪华的AI人才储备大换血。 在Karpathy掌舵之后的2018年到2021年这四年黄金时间里，特斯拉内部针对FSD整套算法体系中最核心的“感知（Perception）”模块，展开了一连串惊心动魄、彻底推倒重建的系统级大升级。我们将复杂的专业数学模型转化为最为通俗易懂的系统语言，把这四年间最为核心的技术升级精髓浓缩为四大关键技术里程碑。 在展开这四大里程碑之前，我们不妨再次回顾一下自动驾驶的三大基石模块：前端的数据“感知”、中端的决策“规划”以及后端的机械“执行”。（关于这三大核心模块之间更为详尽的基础系统工作原理，我们在之前的深度科普节目中有过极其系统全面的硬核拆解，对此感兴趣的朋友们非常推荐大家抽空回看复习。） 而Karpathy走马上任之后所打响的第一枪，就是利用现代大规模深层神经网络，对整个传统“感知”模块进行彻底的推倒重构。 在传统的感知软件编写逻辑中，工程师们往往习惯于用人类编写的规则代码去生硬地定义路况特征，例如试图通过编写几千个if-else条件分支去穷举规定什么样像素的一段线条才算车道线。而Karpathy坚决摒弃了这种脆弱的规则主义路线，他力主将包括车道线几何分割、各类运动车辆的三维轮廓识别、复杂弱势行人感知在内的所有最基础的前端感知任务，全部无条件移交给深层神经网络模型去处理。通过让模型在云端吞噬海量的实际行驶道路视频数据展开大规模自监督与监督训练，让AI系统在海量参数的拟合中自己去学会理解什么是道路环境与物理障碍。通过这种深层数据驱动的方式，哪怕车辆开进了一个现实世界中从未见过的极端特殊路段，神经网络凭借其在大规模数据集中提炼出的强大泛化表征能力，依然能够极其稳健地输出合乎物理常识的精准环境判断。 然而，第一大升级的落地紧接着便引发了工程架构上的第二个严峻瓶颈。 在真实的实际行驶道路场景中，一辆自动驾驶汽车需要实时看懂的东西实在太多太繁琐了：车辆系统既要能精准检测前后左右的机动车辆和行人，还要实时辨别各类红绿灯的亮灯相位，同时还要对道路上施工摆放的橙色锥桶、路面突然出现的减速带、路旁各种形态各异的临时施工警示牌乃至地面的各类标线做出分门别类的精准识别。如果在车载软件系统中，每一个单独的识别任务都要各自在后台单独跑一个完全独立的深层神经网络，那么不仅全车软件的代码量和模块耦合度会迅速膨胀到无法维护的程度，更为致命的是，车上搭载的那颗自研AI3芯片就算算力再翻几倍，也根本无法承受同时并行运算几十个独立深度模型的恐怖算力负担。 正是在这种计算资源极度紧缺的残酷现实倒逼之下，Karpathy团队祭出了著名的第二大技术升级利器——HydraNet架构（九头蛇多任务多头网络架构）。 HydraNet的设计哲学精妙地借鉴了神话中九头蛇的生理结构：它让车身上各个不同位置、不同角度的8个摄像头所采集到的全部原始图像数据，在输入系统后首先全部汇入并共享同一个极其深邃、运算极其繁重的底层主干特征提取网络（Backbone）；在整套通用主干网络将全车视觉中的底层纹理、边缘和空间通用特征彻底抽提萃取完毕之后，仅仅在神经网络的最顶端轻量级地分叉出几十个各司其职的独立“任务头（Head）”。 每一个专门的任务头都只占用极微小的计算资源，去专注完成一项高度垂直的特定预测目标：比如专门有一个任务头负责吐出车道线坐标，另一个任务头负责输出行人的运动向量，还有一个任务头负责预测红绿灯颜色。这套精妙的架构就像是一棵枝繁叶茂的参天大树，树干是全车所有任务共同赖以支撑、共享底层算力消耗的通用特征底座，而向各个方向伸展的细小树枝则是各不相同的具体识别任务，每一个树枝各自生长着属于自己的特定叶片，但在底层却极其高效地共享着整棵大树主干汲取输送上来的充沛养分。 HydraNet的诞生不仅让整车在极其有限的芯片计算资源下实现了推理吞吐效率的指数级提升，更为关键的是在工程协同上带来了一项革命性的巨大优势：它赋予了算法工程师针对某一个单一的垂直任务头进行敏捷隔离微调（Fine-tuning）的独立自由度。比如当算法团队需要专项优化红绿灯识别率时，工程师只需要针对性地微调红绿灯这个轻量级的任务头权重，而完全不需要劳民伤财地去重新全量训练整套底层的Backbone主干网络，从而确保了这项单独的算法调整绝对不会反向污染或影响到其他诸如车辆感知、行人识别等模块的既有稳定性。 在攻克了多任务并发的计算效率难题之后，Karpathy团队紧接着向第三个技术瓶颈发起了冲锋——推动自动驾驶感知系统从孤立单一的“看图片”模式，全面大跨步转向具备连续时间维度的“看视频”模式。 在特斯拉更早期的感知算法设计中，其工作原理本质上更接近于一个单帧孤立的离散图像识别流水线。车身上的摄像头每隔固定的微秒抓拍下一张静态二维照片，算法便通过卷积神经网络在这一张单帧照片上依次寻找哪里是车、哪里是人、哪里是路牙。 然而，物理现实世界在时间维度上是完全连续流动的，离散的单张静态照片往往存在严重的物理局限与信息断层。举一个最为典型的日常驾驶案例：在车水马龙的十字路口，一辆原本在车道前方正常行驶的小轿车，在某个瞬间由于旁边一辆超长的大巴车变道切入，而在物理视线上被大巴车庞大的车身完完全全地遮挡住了。如果感知系统仅仅是一个看单帧照片的系统，那么在遮挡发生的这几个特定瞬间，由于摄像头在当前单帧照片中从光学角度已经绝对看不到这辆小汽车的任何像素点，系统就会发生致命的感知跳变，误以为这辆小车已经凭空消失了；而当大巴车驶离之后小车重新露出时，系统又会突然惊慌失措地认为眼前骤然蹦出了一辆全新的障碍物，从而导致车辆的决策层频繁出现不可理喻的幽灵刹车或危险急停。 为了彻底抹平这种由于离散视角所带来的信息割裂，特斯拉算法团队大动干戈，全面推动整个底层视觉感知模型从处理静态图像进化为处理包含时序信息的视频数据流。工程师们在神经网络中专门引入了时序特征融合机制（Temporal Information），让系统不仅能够处理当前瞬间的图像帧，更能借助内部的高速特征记忆队列，持续学习并深度关联此前连续数秒钟时间内所发生的一切动态演变。 通过赋予感知模型这种跨越连续时序的记忆与推理推演能力，当一辆小轿车被驶过的大巴车暂时遮挡住视线时，系统虽然在当前瞬间无法直接通过镜头光学像素看到它，但基于此前数秒所记录下来的小车行驶速度、车辆航向角以及大巴车的遮挡运动几何关系，系统内部的时序记忆单元依然能够极其笃定地判断出这辆小轿车在物理空间中依然真实存在，并且能够以极高的精度持续推演预测出此刻正隐匿在大巴车庞大阴影之后的小轿车大致的运动轨迹与实时方位。这种从看照片到看视频的跃迁，让整套系统真正拥有了类似人类大脑一般短暂的“工作记忆（Working Memory）”与前瞻行为预测能力。 而这四年技术长征中最具革命性色彩的第四大升级里程碑，当属深度引入Transformer跨视角交叉注意力机制所构建的全新鸟瞰图感知视角（Bird's Eye View，简称BEV）。 在BEV技术正式落地之前，安装在特斯拉车身上的那8个环视摄像头，在实际运作中更像是一群各自为战、老死不相往来的孤立个体。安装在左侧前翼子板处的侧视摄像头只顾着埋头处理自己视角范围内拍摄到的画面，安装在右后侧的摄像头也只顾着分析自己镜头前的独立像素，各个摄像头的数据流之间缺乏高效且成体系的空间信息交融。 这种情况在复杂的现实道路场景中会造成极其荒谬且危险的逻辑混乱。例如在车辆进行复杂的无保护左转或并线时，左前侧摄像头和右前侧摄像头在边缘画面的不同畸变角度下，其实同时拍到了斜前方同一辆正在移动的货车的部分轮廓。但在传统的孤立视角处理机制下，中央处理器在很长一段时间内根本无法分清这两个在不同相机图像上呈现出完全不同像素尺度和角度的目标，到底究竟是不是物理世界里的同一辆车，系统必须在后端的后处理融合阶段依靠非常脆弱的人工几何规则去进行艰难的比对与目标去重，极易引发目标的误判、跳跃与轨迹丢失。 而在彻底打通了BEV鸟瞰图架构之后，特斯拉的感知流水线发生了一场天翻地覆的根本性变革。系统在输入端同时采集来自全车8个高灵敏度摄像头的所有原始视频流数据，随后直接跳过传统的单相机二维像素空间，利用精密的相机标定内外参数矩阵进行复杂的逆透视空间变换与多视角特征对齐；在此过程中，工程团队深度引入了基于Transformer微架构的跨视角交叉注意力机制（Cross-Attention）。 算法让不同摄像头之间重叠和相邻的特征区域展开全方位的跨镜头深层注意力计算，以极为精妙的数学矩阵将分散在8个平视相机视角里的离散特征点，以无缝缝合的方式统一反向投射到同一个以本车为绝对原点的全局俯视二维虚拟坐标系（Top-down coordinate system）之中，从而在车辆中央计算单元内部，实时且高度稳定地直接构筑出了一幅覆盖车身边界全周的、高保真且包含连续物理深度的2.5D实时全局空间拓扑模型。 不过针对这项在业界掀起巨大跟风浪潮的BEV核心技术，资深工程师Kerry Liu在接受采访时也非常客观且严谨地向我们澄清道：这项划时代的算法创新其实也并非完全是特斯拉一家在闭门造车中凭空独自捏造出来的独家发明。追根溯源，在那个时期，随着全球各大顶尖高校与知名人工智能科研实验室获得了来自科技产业界越来越充沛的专项科研资金资助（Funding），整个国际计算机视觉学术界其实一直在紧密跟踪、深入探索如何利用先进神经网络来高效解决多传感器空间多视角特征深度融合的前沿重大课题，学术界在相关领域其实已经有了一系列极具奠基意义的学术论文与理论开源成果相继涌现。而特斯拉工程团队最为卓越的硬核功绩在于，他们以极高的商业洞察力和超凡的工程化执行力，在全球范围内第一个把原本静静躺在顶级学术论文和纯理论模拟器里的大规模BEV多视角注意力算法，以极具艺术感的高效代码极其严苛地压缩并部署到了量产汽车那颗算力极其有限的车载芯片之上，并成功跑通了大规模的量产商业化应用。 ### 供应链危机倒逼下的去雷达与纯视觉攻坚 伴随着前文所述的感知算法四大核心技术里程碑在2018至2021年间被工程师们逐一硬核攻克，到2021年春天的节点上，特斯拉车载FSD的感知算法系统已经初步具备了以端到端方式深刻理解整车周围全量复杂道路三维空间几何拓扑的强大能力。 然而，正当算法工程团队上下沉浸在阶段性技术突破的喜悦之中、准备稍作喘息的关键时刻，马斯克却在没有任何内部预兆的情况下，突然向全公司最高层研发体系扔下了一颗震撼全行业的重磅炸弹：他正式拍板签署总裁令，要求在后续所有新生产下线的特斯拉量产车上，彻底永久性地拔除并注销掉此前一直作为全车关键安全感知部件的前向毫米波雷达！ 马斯克的这项绝情铁令一经下达，瞬间让原本就已经不堪重负的底层软件算法团队再次陷入了近乎绝望的被动境地，全体研发人员在毫无防备的情况下，被迫以最残酷的姿态直接再次全员拉响警报，进入了最高戒备状态的“极限作战模式”。 平心而论，早在特斯拉研发自动驾驶的最早期，行事作风一向极端的马斯克就曾无数次在各大公开场合反复鼓吹过他那套著名的极简主义哲学：人类司机在开车的时候仅仅只依靠两只肉眼所接收到的可见光光学信息，就能够极其娴熟地在纷繁复杂的道路上穿梭驾驶，因此在逻辑终局上，一台机器要想学会自主驾驶，车身上理论上也只需要搭载能够接收可见光波段的摄像头就完全足够了，根本不需要任何昂贵冗余的雷达传感器作为多余的拐杖。 而在特斯拉内部资深算法工程师与系统架构师的客观审视下，彻底移除非视觉传感器确实也能在客观上为系统架构带来某些肉眼可见的工程纯粹性优势：例如在原先的多传感器融合架构之下，毫米波雷达与光学摄像头往往会针对前方同一个物理空间目标输出完全不同的测量数据，当摄像头在白天强光下认定前方的跨线桥只是一个无害的影子、而前向毫米波雷达却因为地面铁制井盖或金属伸缩缝的电磁波强散射而疯狂向系统警报前方存在坚硬静止障碍物时，两套处于不同物理模态的传感器数据会在底层融合中心引发极难调和的数据冲突与决策博弈，这不仅对底层的软件仲裁逻辑造成了极其繁重且难以修复的算法逻辑负担，而且由于车身上多装了一整套需要独立布线、定期标定和面临恶劣天气物理震动老化的外部机械硬件，还会给整车在长达数年的全生命周期售后体系中徒增海量极其痛苦的质量维护工程量。 然而，尽管纯视觉在理论逻辑上看起来极其美好纯粹，但当马斯克在2021年5月这个毫无征兆的时间节点上，以近乎决绝的强硬姿态悍然宣布从量产新车上彻底物理抹除所有前置毫米波雷达的装配时，依然让特斯拉内部绝大多数长期坚守在第一线的一流研发骨干感到无比错愕与极度仓促。 许多一直密切关注特斯拉的外部汽车行业评论家与科技媒体当时曾纷纷猜测：特斯拉敢于在2021年5月如此激进地下狠手彻底阉割掉毫米波雷达，是不是意味着特斯拉内部实验室里的纯视觉测距测速算法早就已经在千万级里程的秘密路测中取得了决定性的突破？是不是意味着软件团队的技术储备早就已经彻底成熟、足以全方位无死角地碾压传统雷达了？ Kerry Liu面对我们的镜头却坦率地揭开了当年那场震惊全球汽车产业界的“去雷达事件”背后最为骨感、最为现实，甚至可以说有些狼狈不堪的真正商业底牌——这一切根本不是什么算法团队早就胜券在握的从容迭代，而是一场在特殊历史时期被彻底逼入绝境后所引发的供应链崩塌事故。 Kerry向我们详细还原了那段发生在2021年上半年的惊险内幕：彼时正值全球百年不遇的新冠疫情肆虐的高峰阶段，全球半导体与汽车零配件供应链体系遭遇了毁灭性的致命冲击，而在特斯拉全系车型上承担前向测距重任的核心零部件——车规级高精度毫米波雷达，在产能端爆发了全面的断供危机。特斯拉该核心雷达硬件的长期唯一独家Tier 1供应商，是享誉全球的德国老牌汽车零部件制造巨头大陆集团（Continental，内部简称Conti）。 在突如其来的全球疫情冲击与全球芯片晶圆大短缺的双重夹击之下，大陆集团设在全球各地的雷达组装工厂陷入了大面积的停摆与零部件断崖式减产，根本无法按照特斯拉日益爆炸式激增的生产订单规模如期保量地交付足额的毫米波雷达硬件。在那个特殊的至暗时刻，特斯拉整个供应链采购团队每天都在面临产线即将因缺料而彻底瘫痪的巨大恐慌，全球各大主机厂都在不惜一切代价疯抢任何一颗能够找到的车规芯片。 在特斯拉严苛的供应链内部运营响应机制中存在一条铁律：只要涉及整车生产核心关键元器件的供应商发生了极度严重的断供违约风险，整起采购危机就会立刻被无条件垂直升级并直接呈报到马斯克的最高决策案头，随后由马斯克本人亲自出面，直接致电这些全球顶级供应商的最高层首席执行官（CEO）进行最为高级别的商务交涉与催货施压。 在马斯克亲自介入沟通的紧急斡旋过程中，全球各大供应商对待特斯拉的商务配合姿态展现出了天壤之别：一部分将特斯拉视为未来新能源绝对核心领军者的供应商，表现出了异乎寻常的积极配合，哪怕动用最高昂的航空包机包邮、拆东墙补西墙也竭尽全力保全特斯拉的供货底线；然而，以大陆集团为代表的另一部分欧洲老牌传统汽车供应链巨头，在面对马斯克近乎苛刻的交付施压时，其配合度与响应诚意却显得极其消极和冰冷。在大陆集团的高层看来，特斯拉在当年即便出货量增长迅猛，但在全球传统庞大的内燃机汽车制造总体量面前，其总采购规模依然无法与大众、宝马、丰田等深耕数十年的传统顶级巨头相提并论，他们显然在产能分配上更加倾向于将极其有限的雷达芯片优先保供给自己那些更为重要、关系更为悠久的传统老牌整车厂客户。 而对于极度自负、控制欲极强且行事雷厉风行的马斯克而言，任何在他面前胆敢展现出傲慢姿态、在最关键时刻不仅无法积极响应甚至在商业利益上阳奉阴违的供应商，都将直接触碰他不可逆转的绝对心理红线。在几次沟通彻底谈崩之后，被彻底激怒的马斯克以极其果决且近乎疯狂的姿态彻底终结了双方所有的后续谈判，直接将大陆集团彻底打入了特斯拉供应链的黑名单深渊。马斯克在会议室里近乎咆哮地下达了终极判决：“行！既然你们现在觉得我们体量不够大、供不上货也不愿意全力保供，那我从今往后也彻底不跟你们谈了！我们从明天开始，整车上彻底不要这颗破雷达了！” 必须客观指出的是，在大陆集团断供危机彻底爆发之前，极度追求极简硬件架构与极致降本的马斯克，确实早在多个不同场合三番五次地严厉催促过软件算法团队，要求他们抓紧在系统底层做技术攻关，力争早日用摄像头完全替代并彻底剔除毫米波雷达。然而，由于前文所述的软件算法团队在编制上长期受到马斯克的极限人员压缩，少数几个核心算法骨干每天应对HydraNet和BEV等大架构的演进就已经忙得焦头烂额，在没有外部生死危机逼迫的情况下，这种具有巨大潜在工程风险的“去雷达”技术攻坚任务，在软件工程内部被不可避免地一拖再拖，始终被排在常规研发优先级的最末端。 因此，2021年这场由于全球疫情所突发的供应链断粮惨剧，在本质上犹如一剂威力生猛的剧烈政治催化剂，以一种近乎暴力的非正常手段，强行逼迫特斯拉整个研发体系瞬间跨过了所有原本应该按部就班进行的温和过渡期。 彻底拔除毫米波雷达所带来的代价是极其残酷且立竿见影的。在物理学特性上，毫米波雷达利用电磁波的多普勒效应，在探测前方运动物体的实时相对运动速度以及绝对物理间距维度上，其测量精度、响应延迟以及在暴雨、大雾、逆光等恶劣极端光学环境下的物理鲁棒性，是传统的单目或多目可见光摄像头完全无法比拟的天然物理优势。 而在产线彻底剥离了雷达物理硬件之后，为了确保新下线的量产车在没有雷达辅助的情况下依然能够准确地测量出与前车数米级别的微小相对距离和瞬时加减速动态，特斯拉的软件算法团队瞬间被逼到了没有任何退路的万丈悬崖边缘。为了把毫米波雷达被拔除后所丢失的最关键的纵向测距测速高精度物理信息彻底弥补回来，全员只能硬着头皮，将所有希望全部押注在纯视觉深度神经网络对连续时序视频流的深度运动推演能力之上，通过对前后数十个时间切片内车辆像素尺寸的极其细微的扩张或收缩变化率进行极其复杂的时序逆向拟合，来纯粹依靠软件算法推断出前车的实时运动速度与精确三维相对距离。 Kerry在复盘这段波澜壮阔的技术阵痛时坦言，雷达对速度和空间距离的测量在工程上是极其确定且极其精准的，并且对周围恶劣气候具有极强的天然免疫力，正因如此，在当年马斯克刚刚下达强行拔除雷达指令的最初阶段，特斯拉工程体系内部尤其是负责车辆主动安全与底盘工程的极其资深的工程师群体中，充斥着极其强烈的反对与质疑浪潮。 然而，尽管整个“纯视觉去雷达化”的突击攻坚过程让整个软硬件研发团队在长达数个月的时间里脱了几层皮、吃尽了常人难以想象的苦头，但根据多位当年亲历了这场绝境突围的特斯拉老员工的事后深情回忆，这起险象环生的历史事件在最终宣告完全胜利之后，反而在整个特斯拉内部产生了极其强大的精神凝聚力，近乎狂热地极大地重塑并鼓舞了全公司的工程师团队士气。 因为这场在绝境中被迫打赢的技术硬仗，不仅以极其铁血的事实向全球汽车产业无可辩驳地全面验证了特斯拉核心算法团队那足以化腐朽为神奇的超凡工程战斗力，更在物理现实中再次无可争议地证明了马斯克那看似不可理喻、反常理的激进前瞻战略方向，在最终结果上竟然又一次不可思议地被证明是绝对正确的。在一家以探索未知科技边界为使命的尖端科技企业内部，对于全体日夜奋战的工程师而言，没有什么比对自己领军老板在战略判断上的绝对前瞻性与深层信任，能够激发出更加磅礴的力量与荣誉感了。 ### 迈向真3D：占用网络与自动标注系统 拔掉车身上的毫米波雷达，对于特斯拉野心勃勃的纯视觉技术版图而言，充其量仅仅只是完成了万里长征极其凶险的第一步。 当车端彻底失去了雷达那能够直接探测物体物理深度的强力辅助之后，摆在特斯拉所有AI科学家面前最核心、也最致命的核心算法终极大考瞬间浮出水面：究竟该如何仅仅凭借安装在车身周围的普通可见光摄像头，在中央处理器的虚拟世界里，以毫米级的精度实时勾勒并还原出一个完全真实且具备连续空间维度的真实三维物理世界模型？ 在苦苦闭门攻坚了整整14个月之后，在2022年金秋举办的特斯拉“AI Day”硬核技术发布会上，特斯拉面向全球震撼发布了这项彻底终结行业纷争的划时代感知王牌技术——3D占用网络（Occupancy Network）。 让我们再次回顾前文所提到的技术演进路径：在2021年的时间节点上，特斯拉刚刚打通的BEV鸟瞰图虽然极大地解决了多相机的空间对齐难题，但在严格的数学与空间定义上，它所构建出的本质上还仅仅只是一个被严重压缩在二维平面之上的“2.5D”俯视模型。而在2022年AI Day惊艳亮相的占用网络，则是真真正正、不折不扣的“原生真3D”空间感知体系。 占用网络的底层设计灵感，极度精妙地借鉴了现代前沿三维体绘制技术与经典沙盒游戏《我的世界》（Minecraft）的底层几何哲学：它利用深层神经网络的强大空间推演能力，将行驶车辆周围数十米乃至上百米范围内的所有立体物理三维空间，彻底在虚拟计算维度中细细地切割打碎成为成千上万个极其微小、肉眼可见的立体空间小方块——在计算机图形学与空间几何学中，这些微小的三维立体小方块被专业统称为“体素”（Voxel）。 占用网络的核心运行逻辑变得极度的纯粹、优雅且符合底层物理常识：车载神经网络在每一个毫秒级时序内所需要做出的唯一核心几何推断，就是逐一精确计算出这漫天分布的成千上万个空间体素小方块中，究竟哪一个体素方块在物理空间上是“处于被实体物质所占据填满的状态（Occupied）”，而哪一个体素方块在此刻是“处于绝对空旷的空气状态（Free）”。只要算法探测到某一个坐标位置上的微小空间体素被物理实体所实质性填满占据，中央系统的规划避障层便会立刻将该空间坐标判定为不可通行的物理障碍物。 这项底层几何架构的革命性飞跃，彻底颠覆并降维打击了此前整个自动驾驶产业界延续了数十年的传统“物体检测框（3D Bounding Box）”旧思维。 在过去极其陈旧的自动驾驶传统检测思路中，算法工程师总是习惯于在感知模型最顶端去强制套用一个个死板且规则的长方体或立方体3D线框，试图用这些整齐划一的几何方盒子去强行套住道路上的每一件障碍物。然而，我们所身处的真实物理现实世界，充满了极其繁复、千奇百怪、非标准几何对称的非规则物理异形物体。 一位参与了该模块攻坚的核心工程师向我们列举了几个在实际道路测试中曾让传统框选算法彻底崩溃的极其典型的边缘长尾场景：在超大城市的早晚高峰道路上，经常能遇到那种由两节车厢铰接在一起的超长铰接式城市公交大巴车。当这辆巨大的双节公交车在狭窄的十字路口进行大幅度转弯摆动时，整辆公交车在三维物理空间中的实际外轮廓瞬间扭曲成了一个巨大的非线性折角多边形。如果底层的算法在此时依然冥顽不化地非要强行套用一个巨大的刚性长方体线框去死板地框选这辆正在拐弯的公交车，那么这个巨大的虚拟长方形必然会极其粗暴且严重失真地将周围大片原本完全处于安全空旷状态的可行驶正常道路空隙，也毫无道理地强行包裹并标记为不可通行的碰撞危险区域，从而引发底层规划控制模块产生极度致命的信息丢失与不可理喻的严重决策误判。 再比如在各类大型市政道路施工作业现场，我们经常能够直面一种正在挥舞长臂作业的巨型履带式工程挖掘机。这种大型机械的前置液压挖掘长臂往往能够向高空和前方极其夸张地延伸出数米之远，而挖掘长臂本身与地面之间存在着极大的悬空物理净空高度。在很多极为逼仄狭窄的施工路况下，如果地面施工指挥人员允许，普通的低矮轿车在实际驾驶中其实完全是可以安全地从其悬空高抬的液压机械臂正下方缓慢安全驶过的；但如果当时挖掘臂由于作业需要而低垂降落到了接近车顶的极低危险高度，任何车辆便绝对不可强行从其下方穿越。面对这种高度非标准化、上下空间完全不规则、且包含复杂悬空悬臂结构的极端异形施工机械，如果你在底层依然硬要把这个挖掘机死板地抽象表达为一个规则的长方形盒子，不仅在计算机视觉维度显得无比荒谬与怪异，在空间信息的完整保留度上更是灾难性的。 而3D占用网络（Occupancy Network）的震撼降临，完美、彻底且一劳永逸地化解了这一系列困扰整个汽车工程界数十年的死结。因为在占用网络的体素世界里，无论外界出现的物体是一个扭曲转弯的双节公交车，还是一台形态极其扭曲诡异的重型异形挖掘机，抑或是一个在高速公路上突然从前车皮卡掉落下来的破碎破旧沙发、翻倒在地的水泥搅拌桶，在整套系统眼里根本完全不需要提前费劲地去在数据库里“认识”它究竟叫什么名字、究竟属于哪一类预先定义好的特定长方体标签。占用网络只需要以极高分辨率的纯净立体空间体素，把这个物体在三维空间中实际所侵占、所吞噬的空间微观坐标原汁原味、极其精准地实时立体雕刻出来，车辆的规划与控制避障系统便能够在完全不认识该障碍物具体属性的前提下，从容不迫地实时规划出一条绝对安全、绝不发生任何物理剐蹭的完美绕行动态轨迹。 然而，正所谓奇迹的背后往往横亘着绝壁。3D占用网络在工程应用上的理论前景虽然极其美好震撼，但摆在特斯拉全体AI工程研发体系面前的，是一道在当时被整个全球AI学术界公认为几乎不可逾越的天堑级瓶颈难题。 要想训练出这样一个能够以毫米级精度准确预测全场景成千上万个体素是空旷还是被占据的超大规模3D深层神经网络，算法在云端的大规模训练反向传播过程中，就必须为模型不间断地疯狂投喂海量的、具备绝对高精度三维空间真实空间坐标标注的参考基准真值数据——这在机器学习工程界被专业统称为“Ground Truth（真值标签）”。 换句话说，在超级计算机集群日夜不停的大规模模型训练计算过程中，研发人员必须在每一个视频画面的每一个时空切片里，都极其明确、百分之百笃定地给神经网络指明标准答案：“请看清楚，在当前这个特定的三维空间坐标系下，这个体素方块在物理世界中是真真正正被实体物质所实打实占据填满了的！而旁边紧挨着的那个立体体素方块在真实世界里则是绝对处于空旷通透状态的！” 在自动驾驶科研的早期传统学术路径中，行业内各大顶尖机构如果想要获取这种高精度的三维空间真值标签，其唯一通行的做法，就是利用搭载在昂贵测试车上的超高线束专业激光雷达（LiDAR）所高频发射并扫描反射回来的密集空间点云数据，在离线状态下组织起极其庞大的人工标注员外包团队，由成千上万名人类标注员在专业三维标注软件里，纯手工一帧一帧地去对这些密密麻麻的点云数据进行极其繁重、枯燥且缓慢的人工作业，用人工手绘的方式去逐个定义每一个点云究竟属于哪一个具体的物理物体。 然而，摆在特斯拉眼前的残酷现实是：首先，特斯拉在马斯克的铁腕指令下，其面向大众公开发售并跑在全球各大公开道路上的数百万辆量产车身上，由于极致的降本考量，自始至终从来就根本没有安装过哪怕一颗激光雷达，因此特斯拉所坐拥的海量全球车队所源源不断回传上来的海量影子模式影子数据流里，除了纯粹的可见光多目视频数据流之外，根本完全没有任何现成的高精度激光雷达点云数据可供直接调用。 退一万步讲，即便特斯拉效仿传统老牌主机厂，花费天价巨资去专门组建一支规模极其庞大的人工数据标注大军，去在离线状态下纯靠人类肉眼和鼠标去手工标注如此极其复杂高密度的全场景全空间3D立体占用体素标签，其所需耗费的资金成本、人力成本与时间周期也将是一个令人彻底望而却步的天文数字。正如深谙数据标注成本结构的业内资深专家所深刻指出的那样，让人类标注员去将整个无比复杂的真实物理三维道路场景中的每一个微小体素点究竟被哪一种具体物体所占据一毫厘不差地纯手工标注完整，其单帧标注的综合工程成本与时间消耗，至少是传统标注一个平视二维长方体目标框的整整10倍以上，甚至在极端复杂路况下会飙升到数十倍乃至近百倍之巨。面对特斯拉高达数百万视频片段的海量数据驱动诉求，传统纯人工标注的商业可行性在数学账本上直接被彻底击穿。 这项看似无解的世纪技术死结，最终是在两大关键核心技术支柱的全面成熟之下，被特斯拉以极富创造力的方式极其惊艳地彻底暴力破解了。 第一大决定性前提，是特斯拉在云端斥巨资自建的高性能超级算力集群以及前文所提到的自研硬件算力基础，在经历了数年极其坚忍的底层沉淀之后，终于在那个时间节点上真正跨越了某个临界质变爆发点，终于在物理上具备了支撑如此恐怖吞吐量的高并发大规模三维体素矩阵训练的硬件算力底座。 而第二大、同时也是在整个自动驾驶软件工程史上最具里程碑色彩的最关键杀手锏，则是特斯拉内部在秘密状态下潜心研发并彻底打通的一整套高度闭环、高度自主化的全自动三维数据标注超级网络系统（Auto-labeling Pipeline）。 面对无法依靠人工标注的死局，特斯拉天才的AI算法工程师们构建出了一套具备极高自动化智慧的数据闭环引擎。这套部署在特斯拉云端超算中心的自动标注大模型，能够以完全不需要任何人类标注员肉眼介入的方式，在后台全天候不间断地自动化吞咽海量回传视频数据；系统通过先进的时序多视角立体视觉（MVS）神经辐射场以及重构网络，利用车辆在前进运动过程中不同时间切片、不同空间机位所拍摄到的同一物体微小视差，在云端超算中心以极高的数学精度自动逆向重建出物理世界极其逼真的高精度高密度3D表面几何网格，并以完全自动化流水线的方式，在云端神不知鬼不觉地直接批量合成并自动生成海量精准无比的3D占用网络体素Ground Truth真值标签体系！正是凭借着这套几乎无需消耗任何额外人工标记成本的极其强大的全自动化数据标签造血机器，特斯拉才真正在全球范围内拥有了源源不断低成本训练并持续进化迭代一整套庞大3D占用网络的无可撼动的绝对核心实力。 不过，如果由此便在外界形成一种“马斯克和特斯拉在骨子里真的百分之百彻底鄙视并彻底弃绝使用任何雷达传感器”的绝对化刻板印象，那在很大程度上也是对特斯拉真实研发全貌的严重片面误读。 Kerry Liu向我们深入披露道，即便马斯克在各大公开舆论场上无数次以极其尖锐、极其嘲讽的辛辣口吻公开贬低、斥责在量产乘用车上加装激光雷达是一种“彻头彻尾极其愚蠢且注定自取灭亡的妥协举动”，但在特斯拉研发部门那戒备森严的内部绝密测试基地里，其实始终低调且高效地运行着一小批配置极其奢华、全身严密武装并挂载了顶尖超高线束高精激光雷达的极其特殊的专属工程测试实验车辆。 这批数量极为珍贵的特种雷达实验车之所以要在内部被长期保留并高频跑测，其唯一的战略核心使命，就是为了在某些最为极端的复杂长尾物理场景下，极其精准地去高频采集作为绝对物理标尺的超高精度环境激光点云真值（Ground Truth），并以此作为底层黄金参照坐标系，去实时校准、交叉验证并大幅反哺提升那套核心云端全自动视觉标注神经网络模型的几何空间预测精度与标定准确率。 正如Andrej Karpathy此前在深度学术复盘中所极其透彻阐述的核心科研方法论一样：在特斯拉算法体系构建的漫长实战征程中，团队固然在早期投入了极其庞大的人工标注资源，但团队更是一直在全力以赴地探索一切前沿且大胆的系统级工程解法，竭尽全力试图彻底摆脱对昂贵低效人工标注的底层依赖，从而能够让最纯净的海量原始数据直接参与到大规模自监督与端到端训练之中。在这条探索之路上，除了纯粹的无监督自监督模型之外，一个极其行之有效且被深度验证的王牌路径，正是极其聪明、极其克制地在受控环境下使用极其昂贵的顶尖工业级传感器（包括高线束激光雷达或特种毫米波雷达阵列）去专门充当高维物理信息的超级采集锚点。通过在研发测试阶段让为数不多的几辆特种测试工程车在真实复杂的道路环境中日夜穿梭跑测，利用其车顶搭载的高精传感器组合去为当前空间场景极其慷慨地提供超越人眼极限的超丰富物理深度几何信息，这些原本在量产车上绝对用不起的高维物理真值数据，便可以在云端离线超算中心被极其巧妙地全部降维转化为用于深度训练、滋养并持续校准全套纯视觉计算机视觉核心算法模型的黄金标注宝藏。 ### Hardware 4.0重构与硬件博弈拉扯 在经历了上述长达数年、跨越多个技术代际的算法底层疯狂持续重构与爆发式升级演进之后，整套运行在量产车端的FSD软件系统的代码复杂度与模型参数量，相较于数年前早已发生了天翻地覆的几何级膨胀。 面对这套极其庞大深邃、需要以极高帧率不间断实时并发推演海量时序视频注意力与全空间3D立体占用体素的现代深度学习庞然大物，原本在2019年刚刚发布时还显得算力性能绰绰有余的Hardware 3.0车载AI3计算芯片，在实际车载工况的重压之下，终于不可避免地开始显得越来越力不从心、日渐捉襟见肘。 为了从底层彻底打破算力与功耗对于前沿算法持续进化的严重物理枷锁，特斯拉内部最高层硬件工程团队早在2020年的时间节点上，便已经极其低调地正式立项并启动了下一代全自研旗舰级计算硬件体系——Hardware 4.0（简称HW 4.0）的秘密研发长征。 然而，令所有深度参与其中的核心硬件工程师们万万没有预料到的是，这场原本旨在追求极致算力跃升的HW 4.0全新研发战役，在后续的推进推进历程中，却根本完全不像当年研发3.0时代那样如行云流水般顺利。在长达数年的研发周期里，整个项目内部自始至终充斥着极其剧烈的方向摇摆、技术路线博弈以及近乎失控的各方力量反复拉扯。面对由于硬件架构推倒重构所引发的一系列不可预知的巨大工程挑战与进度延宕，性格极度偏执急躁的马斯克在内部核心会议室里，更是无数次急得再次愤怒地拍桌子摔板凳，充斥着震耳欲聋的激烈训斥与各种粗鄙词汇的疯狂发飙。 2020年，特斯拉内部代号绝密的Hardware 4.0项目被正式宣布全面启动攻坚。 回顾历史便不难发现，在当年特斯拉从上一代HW 2.5向HW 3.0进行大版本跨越升级的历史进程中，硬件系统工程师们在底层的电路板级物理拓扑上实际上耍了一个非常聪明的工程巧思：由于在立项之初就严格锁定了前向物理兼容性，团队基本上仅仅只是在原本的整车控制主板上，把英伟达的那套芯片组小心翼翼地抠了下来，并巧妙地换上了特斯拉全自研的第一代AI3双芯片核心，并在外围极其克制地增设了必要的电源安全冗余电路，而在车身原有的线束接口规范、整车供电电流承载上限以及周边传感器物理接口等宏观物理结构层面，基本上都维持了大差不差的高兼容性形态。 然而，在面对这套肩负着彻底实现全无人驾驶终极历史使命的全新一代Hardware 4.0平台时，激进的工程团队与马斯克达成了一致的激进共识：彻底抛弃过去一切为了兼顾老旧架构而做出的妥协与修修补补，在物理世界中对整套车载计算平台展开一场完完全全、彻头彻尾的“全系统推倒重来式”彻底重构设计。 然而，这种在底层追求绝对极致与不破不立的彻底重新设计，在给下一代全新车型赋予极其强悍性能潜力的同时，也带来了一个在商业和用户服务层面上极其残酷、让无数特斯拉铁杆老车主瞬间感到被无情背叛的冰冷现实：凡是此前购买了搭载Hardware 3.0硬件系统的数百万存量特斯拉老车主，在物理世界中将彻彻底底、永远绝无可能再像早年间从2.5平滑升级到3.0那样，通过售后更换主板的方式免费或者付费升级到下一代全新的Hardware 4.0硬件平台之上了。 针对外界持续多年、至今依旧存在巨大怨气与争议的“老车主为何绝对无法物理升级HW 4.0”的舆论死结，直接深度参与并操刀了整个硬件物理架构核心研发的资深工程师Kerry Liu，面对我们的镜头给出了最为直接、最为硬核且最符合底层物理工程常识的终极技术解密： “老款车型在物理上根本无法升级HW 4.0的原因，在底层技术逻辑上其实极其直白简单到了极点——因为整车的电路物理空间和主板布局，在物理尺寸上早已彻彻底底装不下了！” Kerry向我们深度剖析了隐藏在车身深处的这一连串不可逾越的物理工程绝壁：首先，HW 4.0为了追求极致高维度的算力吞吐与模型参数容纳能力，其全新的核心计算芯片本身的物理封装硅片与基板面积，相较于老款AI3芯片发生了非常显著的大幅度扩张增大；与这颗庞大计算核心相配套的高速高带宽LPDDR运行内存颗粒，在主板上不仅在传输位宽和容量规格上大幅飙升，在PCB板上所必须强行占用的物理排布净空间也同样变得极其巨大；而随着芯片算力密度的成倍爆发式跃迁，整套计算平台在全负荷极速运算工况下的整体电气功耗（TDP）相较于前代产品发生了极其夸张的陡峭式剧烈飙升；为了在极端高温和连续颠簸等恶劣车载工况下，极其安全稳定地为这颗性能怪兽提供充沛平稳的电流供应，整块主板上所必须密集焊装的多相数字供电管理芯片、超大容量功率电感、固态滤波电容以及重型导热铜管散热模块的整体物理体积与元器件数量，相较于3.0时代呈现出了爆发式的成倍激增。 而在这一系列物理连锁反应的最末端，为了承载如此恐怖的超大电流持续平稳输送，从车辆主高压电池包引向计算平台的粗壮供电线束规范、整车高规格低压电源物理接口、以及遍布主板四周用于接收高保真无损视频流信号的各类定制高速同轴物理线缆插座，在机械工程尺寸与电气协议上彻底发生了翻天覆地的彻底异化与整体重构，其物理轮廓和引脚定义与老款HW 3.0原本预留的狭小空间和原有线束接口之间，根本完全找不出任何在毫米级别上能够实现勉强插接兼容的物理可能性。 正是由于整套计算硬件从最底层的核心硅片、到外围供电电路、再到整车线束接口经历了一场全方位的彻底颠覆性大手术，导致Hardware 4.0从立项研发的第一天起，就在特斯拉内部各个跨学科研发团队之间，引爆了一连串极其尖锐、极其复杂且持续长达数年的内部巨大认知分歧与激烈利益博弈。 而在这场波澜壮阔的硬件拉扯与内耗风暴之中，首当其冲被卷入风口浪尖的最核心博弈战场，便是作为整套视觉感知系统物理“眼睛”的——全车传感器摄像头阵列。 在Hardware 4.0的整套相机系统规划中，核心工程团队做出了两个在当时被外界寄予极高厚望、但内部却争议巨大的重大核心调整。 第一个重大的物理调整，是将全车核心摄像头的物理成像分辨率，从老旧HW 3.0时代早已严重落伍的区区120万像素，极其凶悍地大幅度跨代跃升提升到了整整500万像素的高清级别。 对于很多早已习惯了消费电子领域疯狂军备竞赛的普通数码科技爱好者而言，在看到特斯拉历经数年艰苦研发、好不容易才把车载摄像头分辨率从120万升级到500万像素的这组公开数据时，第一反应往往会感到极度的不可理喻甚至是本能的嗤之以鼻：“在今天这个甚至连百元级普通智能手机都能轻轻松松动辄标配1亿像素高解析度摄像头的消费电子时代，特斯拉作为一家号称全球顶尖的高科技车企，费尽九牛二虎之力搞出来的下一代自动驾驶旗舰平台，居然仅仅抠抠搜搜地配了个区区500万像素的镜头？这难道不是马斯克在骨子里刻意为了极致省钱而再次展现出来的病态小气吗？区区500万像素究竟能有啥用？” 然而，Kerry Liu却向我们严肃且深入地揭示了深埋在消费级数码产品与工业车规级严苛生命工程规范之间那道常人极难洞察的巨大认知鸿沟。在高度关乎人类生命财产安全的量产汽车严苛工况约束之下，车载摄像头在核心元器件选型与电气权衡的逻辑考量上，其底层底层逻辑与追求单帧静止画面解析度极致细节的智能手机之间，存在着根本性的本质法则对立。 首先在严苛的工程评判天平上，车规级摄像头自始至终被强制置于最高绝对优先级的核心考量法则，永远是在极端恶劣工况下的终极“稳定性”与绝对“可靠性”。这套光学与电子元器件必须确保能够在吐鲁番摄氏四五十度的高温炙烤、漠河零下四五十度的极寒冰冻、车身长年累月剧烈颠簸震动、强日光直射与剧烈明暗大光比反差极大的超高动态范围（HDR）场景、以及长达甚至十年以上的全天候恶劣老化周期中，保持绝对零死机、零失真、零坏点且物理结构绝对不发生任何微米级形变的变态级超长服役寿命。在这些动辄关乎车毁人亡的绝对安全红线指标面前，单帧画面的绝对像素数量多寡在底层甚至只能排在相对靠后的次要权衡维度。 其次从汽车行驶在广袤物理世界的实际功能需求出发，一辆以正常速度在道路上疾驰的汽车，其车载视觉系统真正需要在高置信度下看清、判明几何轮廓并做出有效避障规划的实际有效物理距离，在物理学和制动刹车极限距离法则上是存在着极其明确且理性的上限边界的。对于自动驾驶决策系统而言，只要车辆能够在数百米的安全刹车视野之内极其稳定地看清前方的障碍物形态、路面标志与车道走向便已完全足够，在超过有效物理制动极限以外更远的地平线距离上去无脑追求极其超清的微观细节，在真正的汽车工程学维度上根本不具备任何更进一步的实质性安全增量意义。 不仅如此，与普通摄影设备单方面追求单张静态画面的超高解析力截然相反的是，自动驾驶车载视觉系统在底层架构上甚至要远比看重绝对像素多寡，更为病态般地看重传感器输出的“帧率（Frame Rate）”。因为全车每一个摄像头所输出的帧数越高、时间采样延迟越低，车载计算系统对高速变道切入、侧向突然窜出行人等各类千钧一发瞬态突发应急危险事件的底层感知与反射神经反应速度就越快，每一毫秒的帧率领先在高速公路上都能直接转化为挽救生命的关键制动距离。 而最为致命、同时也是在物理法则上彻底终结了无脑堆砌超高像素幻想的第三大铁律在于：随着车身上每一个摄像头的物理分辨率和实时采集帧率的同时双向飙升，整套系统所需要承受的瞬时数据吞吐通信带宽、中央AI芯片在单位时间内的密集算力消耗、以及整车在底层电路高频抗干扰电气设计层面所面临的技术挑战，将会呈现出指数级的恶性急剧爆发。 Kerry Liu极其细致且通俗地向我们推导了这背后的物理极限真相：“在以往老车型的低分辨率时代，数据传输的压力其实并没有那么大。但是一旦你在全新的HW 4.0上把全车每一个摄像头的物理采样规格全部强行拉升到5个Megapixel（500万像素）的高规格之后，每一个CMOS图像传感器在高速全采样工况下的自身瞬时运行功耗瞬间大幅扩张，为了在整车复杂的强电磁干扰环境下确保驱动电流的稳定，连接摄像头的整车线束线芯物理截面积就必须被迫做得更粗、更重。而这不仅会在宏观上变相且大幅度地抬高整车的采购制造成本与整备质量，在最为核心的高速信号完整性物理传输维度上，更是带来了近乎灾难性的严峻考验。” 须知，安装在车头前保险杠、外后视镜或车尾牌照架附近的各个摄像头所实时拍摄下并输出的高速原始视频电信号，如果要最终完整无损地传输并送达通常被固定隐藏在整车正中央极其核心位置的中央自动驾驶电脑主板之中，在物理线束的走向拓扑上不可避免地需要跨越整整1米、2米甚至长达3米之遥的整车长距离复杂电气布线通道。在长达数米的复杂车身长距离物理空间内，去进行如此高密度、超高帧率的高速超清数字信号的长线缆无损实时传输，在汽车工程界原本就已经是极其危险且极难驾驭的技术钢丝绳。 在如此残酷的物理传输法则限制之下，自动驾驶工程设计根本不可能、也绝对绝无任何可能性去盲目效仿消费级智能手机那种在方寸之间的微小主板上直接贴合堆叠一块1亿像素摄像头的做法。那在长距离汽车车载电气物理体系中不仅是彻底脱离现实的荒谬幻想，而且瞬间所产生的超海量巨幅数据吞吐，在极其微小的时间窗口内就会彻底把整车的数据总线和中央处理芯片的内存总线彻底瞬间撑爆挤瘫。帧数越高、像素越大，瞬时爆发涌入的数据洪流规模就呈现出几何级的恶性膨胀，因此，将下一代摄像头锁定在高度均衡的500万像素，是严苛工程边界下所能做出的最为理性且极致的黄金工程折中点。 然而，如果说在摄像头像素维度的博弈最终在工程理性的制约下达成了相对科学的妥协，那么紧接着在全车摄像头的“物理安装位置与空间分布”这一关键核心路线上所爆发的第二场重大博弈，则完完全全演变成为了一场工程师团队的专业敬畏心与马斯克极度专断的个人意志之间极度惨烈、甚至一度引发严重技术反噬的正面大拉扯。 只要是仔细观察过老款Model 3或Model Y车型的朋友们都会非常熟悉：在原本老款特斯拉前挡风玻璃正中央最顶部的车内后视镜底座外壳区域内部，一直并排密集安装着由3个不同视角规格镜头所组成的著名“前视三目摄像头阵列”。 然而，在Hardware 4.0全新系统架构的定义与评审冲刺会议上，这套历经多年实战检验、被无数车主所熟悉的前挡三目核心布局，却在没有任何工程合理预兆的情况下，被马斯克在会议现场极其粗暴且强硬地当场大笔一挥，以极其不容置疑的绝情姿态，生生在物理层面上直接强行砍掉、抹除掉了整整一个前视摄像头！ Kerry Liu在回忆起那场至今回想起来依然令人心有余悸的定型闭门评审会议时，向我们极其生动地还原了马斯克在推行其标志性“第一性原理”时那种近乎偏执狂暴的独裁现场压迫感： “当时在闭门开会敲定整车最终摄像头空间排布方案的关键时刻，Elon整个人又展现出了他那种极具杀伤力、极度简单粗暴的所谓第一性思维模式。他坐在主位上以极其不屑的口吻当场质问全场所有人：‘我们为什么非要在一辆车的前挡风玻璃上塞进去那么多奇奇怪怪的摄像头？你们所有人在座的每一个人，自己平时开起车来脸上难道不是就长着区区两只眼睛吗？既然人类自己只需要靠两只眼睛就能把车开得很好，那你们这帮搞硬件的凭什么非要在车头上放那么多冗余的摄像头干嘛？！’” 在这场充满浓烈火药味的关键会议上，多位深谙汽车盲区物理特性的资深工程师们试图据理力争，试图向马斯克从专业角度详细陈述保留完整前视视角的不可替代性。然而，马斯克根本不给任何人展开技术推导的辩驳空间：“在当时的特斯拉内部，只要你在关键技术会议上有哪怕任何一丝一毫的意见不统一，只要你敢公开站出来去忤逆他的所谓第一性直觉并试图跟他展开争辩，他整个人就会瞬间被彻底激怒，气得在会议桌上疯狂拍桌子摔东西，然后嘴里就开始毫不停歇地狂飙各种极具人身攻击意味的F-word粗口疯狂骂人。在那种近乎失控的恐怖高压窒息氛围之下，整个会议室里瞬间彻底死寂一片，再也没有任何一个高管或工程师敢硬着头皮继续多说哪怕半句话了。” 在暴怒的马斯克以近乎蛮横的个人独裁意志强行把前挡风玻璃处的摄像头拍板砍掉一个之后，这种极其反常识、违背物理严谨性的盲目减配，很快在后续真实车辆的实际下地测试中遭到了无情而严厉的现实反噬，并不可避免地彻底引发了一系列极其尴尬的严重安全事故！ 因为所有汽车工程师都心知肚明，在更早期的老款车型体系之中，车身上无论如何至少还保留着一颗前向毫米波雷达作为兜底，即便摄像头在近距离低矮盲区存在死角，前置雷达发射出的电磁波束依然能够高频敏锐地探测到正前方的低矮障碍物物理间距。 然而在此刻的HW 4.0架构下，前向毫米波雷达早已被马斯克在此前那场供应链危机中彻底拔除丢弃；而此刻前挡风玻璃处的摄像头又被马斯克粗暴地生生砍掉了一个，这就直接导致新车在整车车头正下方、前保险杠正前方的超低矮物理扇形空间区域，出现了一片肉眼完全无法企及的极其致命的巨大视觉死角盲区！ 在实际的道路与泊车实测工况下，由于前保险杠正下方存在着无法被高位摄像头所感知的绝对视觉盲区，导致测试车辆在面对各类极其日常的低矮马路牙子、车位地锁、低矮水泥停车限位桩乃至低矮障碍物时，系统在车辆向前泊车入位的关键时刻由于盲区而完全感知失明，致使多辆全新测试车在前保险杠部位频繁发生毫无减速迹象的极其难堪的硬性剐蹭甚至是剧烈撞击事故！ 面对测试场上接二连三撞得鼻青脸肿的惨烈测试结果，此前在会议室里一度噤若寒蝉的资深工程团队再次大着胆子，以极其详实且无可辩驳的真实碰撞数据向马斯克再次发出了极其沉重且极力推荐的专业工程呼吁： “既然从车内高位前挡风玻璃处砍掉一个镜头后无论如何都会造成低矮视线的严重盲区，那么为了从根本上彻底杜绝低矮泊车工况下的连续撞击剐蹭风险，唯一的物理补救手段，就是必须紧随其后在整车车头最前沿、前保险杠最底部的核心受力位置，专门额外重新补增并镶嵌装入一颗超低视角的全新前保险杠盲区摄像头！” 然而令人感到啼笑皆非的是，这项在任何一家正常传统车企看来都属于毋庸置疑、必须立刻亡羊补牢的合理工程补救方案，在彼时极度自信、死要面子的马斯克眼里，却再次遭到了他基于所谓“人类大脑主观记忆”的极其荒谬的强词夺理： “在Elon的偏执逻辑认知里，他甚至觉得你们提出要加装车头前保险杠摄像头的方案简直多此一举！他当时振振有词地反驳大家说：这东西在逻辑上根本没有任何必要去加装硬件！你只需要让车上的系统学聪明一点，在车辆刚刚缓缓驶入车库准备入位之前，提前对前方的整个空间地形完成一次预先的高清扫描，并把它像人类大脑一样死死记住不就完全解决了吗？你看你们人类自己在开传统车的时候，你们坐在驾驶座上的两只肉眼也是绝对不可能直接穿透前发动机盖看到你们自己车头正下方到底藏着什么小东西的对不对？既然人类司机在完全看不到车头下方盲区的情况下仅凭入库前的瞬时记忆就能把车停好，那系统凭什么不行？！” 不得不说，马斯克的这番强硬说辞在纯粹的玄学哲学逻辑层面上听起来似乎确实存在着某种狡黠的自圆其说。然而任何一个真正深入过深度学习底层矩阵推演的AI工程师都无比清楚地知道，真实世界里车辆在极其复杂的动态微调过程中所面临的环境突变，在感知与物理判断层面绝对远远没有马斯克想象得那么轻巧与理所当然。 要想让一套由硅片芯片所驱动的神经网络在车辆连续剧烈转向、频繁刹车晃动的盲区状态下，仅仅凭借入库前数秒钟之前的一瞥记忆去精准推演并百分之百绝对不发生任何几何偏差与空间漂移，在底层就必须强行在有限的车载算力资源中，再次平地拔起一个专门极其耗费算力的超大规模时序三维记忆与空间占用推演专门模型去死命进行运算训练。 残酷冰冷的工程规律最终再次以不可抗拒的力量迫使不可一世的马斯克吞下了自以为是的苦果。于是我们也终于在全世界的众目睽睽之下，极其清晰地看到了此后在特斯拉正式下线交付的划时代旗舰皮卡Cybertruck以及后续全新改版车型之上，那个曾经被马斯克在会议室里疯狂嘲讽、拍桌子痛骂的——安装在前保险杠正中央核心位置的超广角低位前视摄像头，最终还是以一种近乎自打嘴巴的荒诞戏剧性方式，被工程团队极其端正、稳稳当当地重新原封不动地全部重新加了回来！ “Elon这个人其实在骨子里就是这么一个极度复杂而矛盾的极端综合体，”Kerry Liu在复盘这一连串令人啼笑皆非的硬件拉扯往事时，语气中既带着对这位天才狂人行事作风的无奈，又透着一种深沉的技术敬意与客观理解，“在很多极其关键的系统级重大决策关头，他往往会基于他自己极度强烈的所谓第一性底层主观判断而做出很多极其主观、甚至在外界看来极其疯狂霸道且不讲道理的极端武断决策；但是，特斯拉这家由他一手缔造的伟大高科技创新企业身上最无可替代、也是最为可怕的绝对核心优势就在于——一旦整个物理世界在后续的实战检验中极其确凿地证明了他最初的主观预判确实是完全错误且行不通的时候，特斯拉整个体系内部能够以全行业绝无仅有的极致闪电速度，极其迅速、极其毫不拖泥带水地去迅速弥补、修正并彻底更正这些曾经犯下的重大战略错误。只要客观事实摆在眼前，他这个人是绝对能够坦然承认并接受现实的，他（马斯克）绝对不是那种为了顾及虚妄的个人绝对面子而在明知是严重错误的情况下还非要死硬到底、打肿脸充胖子、坚决不愿意去坦然接受并更正自身严重技术错误的平庸领导者。” 在经历了这一连串围绕算力功耗、物料成本、电路尺寸、像素规格以及摄像头空间阵列分布的长达数年的痛苦拉扯与全面洗礼之后，全新的Hardware 4.0计算平台终于彻底扫清了一切底层硬件阻碍，开始以不可阻挡之势全面登上历史舞台。原本在上一代Hardware 3.0系统正式定型量产的时候，特斯拉所倚仗的核心王牌算力基石，是整块高可靠主板上所并联并跑的两颗单颗理论算力达到72 TOPS的自研AI3芯片…… ### Hardware 4.0 芯片数量拉扯与架构设计 到了 Hardware 4.0 上，单颗 AI4 芯片的算力已经翻倍。但就在这个时候，软件团队跑出来提出，要做到真正的自动驾驶，就必须把模型做得更大，所需的算力肯定也得更多，只用两颗芯片怎么能行。当时软件团队一开始跟埃隆·马斯克（Elon Musk）沟通，表示两颗不够，只要给他们三颗芯片，他们就能把 FSD 做出来。马斯克当时说好，没问题，表示相信软件团队。于是硬件团队就真的把三芯片主板做出来了。 三芯片在架构上其实是非常复杂的，因为它涉及到冗余判定的核心问题。双芯片方案在逻辑上很简单：一个坏了，另外一个直接接管。但如果变成三芯片，就涉及到到底由谁来接管的问题，逻辑判断会因此变得复杂很多。当时硬件团队针对三芯片做了各种各样的架构设计，包括安全冗余、供电方案以及信号传输等方方面面。 然而硬件团队设计完成之后，拉扯又出现了。直到临近量产前的一两个月，项目管理经理在会上问了一句：我们到底用两个芯片还是三个芯片？马斯克听了之后突然想起来这个事情，估计当时财务部门（Finance）的人，或者首席财务官（CFO）也可能跟他提过成本问题，他觉得不对，这个事情不能用三个，用三个太贵了。软件团队一听就急了，表示大家之前都已经定好用三个芯片，研发工作都已经开展了，现在怎么能改回两个。马斯克当场表示，自己已经下定决心，这是最终决定，谁也不要再商量或者讨论这个事情了，就是两个。于是硬件团队又赶紧回去重新设计电路板，把架构改回两颗芯片，因为当时马上就要量产了。 根据内部人士透露，直到现在，特斯拉团队依然在争论要不要加入更多的芯片。为此，特斯拉前硬件工程师 Kerry 也小小地吐槽了一番软件团队。他们内部有句玩笑话：新的芯片才刚刚设计好，软件团队就已经想好怎么把算力全部用掉了；算力肯定永远都不够用，就算给 10 倍算力，软件团队也能全部吃光。这其实也反映了另外一个深层问题，那就是模型本身其实有很多可以优化的空间。在 Kerry 看来，这种情况并不是那么合理。做模型的团队——至少在特斯拉内部情况比较明显——因为人手太少了，大家更多的是把精力放在把模型做得更大上面，并没有真正专门找一拨人去深入做优化这件事情。 ### AI4 研发波折与 GDDR 内存瓶颈 除了芯片数量上的反复拉扯，在芯片本身的研发上，AI4 也不如当年的 AI3 那么顺利。在第一次研发 AI3 的时候，有一部分是由三星（Samsung）来帮忙设计的，所以在研发 AI4 时，特斯拉依然选择和三星继续合作，而问题恰恰就出在这里。当时三星在外部已经接了很多商业订单和业务，对特斯拉的服务支持力度明显没有 Hardware 3 时期那么好，导致 Hardware 4 整个时间表（Schedule）出现了比较严重的延期（Delay），芯片做出来的实际效果也不是那么好，前后流片大概流了三四次。 流片不顺也跟特斯拉自身的架构选型有关。特斯拉在 AI4 上采用了 GDDR 内存，而大家之前都没有做过相关的设计经验，在实际工程实现中遇到了非常多的困难。 这里就引出了一个核心疑问：特斯拉当时为什么要抛弃成熟的车载方案，转而选择在车载端极不成熟的 GDDR 内存？ 随着自动驾驶神经网络模型的体积越来越大，AI3 芯片的性能开始跟不上，而真正卡脖子的核心瓶颈其实是内存带宽。如果把芯片比喻成一个超级工厂，算力就像是工厂里工人的数量，而内存带宽则是把原材料送进工厂的高速公路。如果工厂里有 100 个工人，但高速公路每次运送的原材料只能供 20 个人加工，剩下 80 个工人就只能停工发呆。因此，随着模型规模和数据吞吐量的爆发式提升，自动驾驶对内存带宽的需求也呈指数级增长。于是，马斯克看上了 GDDR 内存。 常见内存大致可以划分为 LPDDR、DDR、GDDR 以及 HBM 等种类。它们的带宽依次递增，相对应的功耗和发热也更高。此前特斯拉车载芯片使用的是 LPDDR，这种内存通常广泛应用于智能手机和轻薄笔记本电脑中；而马斯克为了追求极高的内存带宽，选择了游戏显卡常用的 GDDR。这个思路从理论出发点上说是正确的，但受限于当时的行业成熟度，实际研发阶段带来了极大的工程挑战。 据参与研发的工程师透露，当时团队一拿到 GDDR 就发现它的功耗非常高，而且全行业几乎没有厂商愿意生产车载规格（车规级）的 GDDR。这是车规历史上第一次把 GDDR 放在车辆上使用，又是搭配特斯拉自研芯片，应用环境非常小众，面临功耗特别大、价格非常昂贵等现实问题。用了这么多年 Hardware 4 之后可以看到，内存容量反而成为了新的瓶颈。因为全球没有任何供应商专门给汽车提供大容量车规 GDDR，特斯拉是唯一一家在汽车上推行这种方案的公司，像美光（Micron）或三星这样的存储巨头，不可能仅仅为了特斯拉一家就专门去立项研发一款大容量车规 GDDR。 实际上，特斯拉内部目前一直都在研发 Hardware 4.3 版本，计划把它重新改回使用 LPDDR。其设计思路是在带宽上做出一点点牺牲，以此换取更大的内存容量，来应对如今参数量越来越庞大的端到端模型。因此在不久的将来，车上应该会看到 Hardware 4.3 的装车应用。Kerry 回忆称，在当时也许有其他人也看出了这个问题，但全团队没有一个人愿意站出来提，自己是唯一一个提出这个隐患的人，只是当时没有人愿意听取，现在回头看，这确实是当时硬件决策上的一个失误。 ### 极致成本控制与 AI4 服务器应用 虽然 Hardware 4.0 的研发过程充满了各种波折，但在最终的制造成本控制上，依然极具马斯克的个人风格。根据 Kerry 透露，Hardware 4.0 整套硬件系统的物料与制造成本甚至比一台苹果 MacBook Air 笔记本电脑还要低得多，基本上只相当于一台普通 iPad 平板电脑的价格。而且随着工艺与生产技术的持续迭代，硬件成本还在进一步下探。 特斯拉在硬件迭代与成本优化方面的速度非常快。很多时候从车辆外观上完全看不出变化，但实际上每隔几个月，车辆内部的硬件和元器件都会发生非常大的改动，核心目标就是在性能维持不变甚至提升的前提下，把硬件成本不断压低。 此外，特斯拉自研的芯片（无论是 AI3 还是 AI4），除了装配在量产车上之外，还被大规模部署到了数据中心的服务器当中，从而进一步平摊了前期的芯片研发与流片成本。车机上的芯片和服务器里的芯片完全是一模一样的，只是在服务器电脑的主板外围设计上有些许区别，比如接口定义以及部分高速信号传输设计存在不同。 与特斯拉主打大模型训练的超级计算机 Dojo 不同，搭载 AI4 芯片的服务器主要负责两项核心工作： 第一项工作被称为“像素注入”（Pixel Injection）。这个名称听起来有些抽象，实际可以理解为一种类似世界模型的仿真仿真环境，系统通过生成各种虚拟场景，来对自动驾驶模型进行端到端的输入测试与训练； 第二项工作是推理验证。特斯拉会将真实量产车在道路上采集的海量视频数据回传到 AI4 服务器集群中，让服务器模拟运行 FSD 系统，测试在当时的真实场景下算法会做出怎样的驾驶决策，随后将模型的决策结果与当时人类驾驶员的实际操作轨迹进行比对校验，以此来评估算法表现并持续迭代下一版模型。 Hardware 4.0 于 2023 年 2 月正式装车。然而尴尬的是，它装车后还没过多久，就又面临“过时”的处境。由于 Hardware 4.0 芯片架构立项设计的时间较早，当时并没有专门针对 Transformer 架构进行深度的硬件指令集优化。而这一次，特斯拉在软件算法层面推翻了此前写下的所有代码，全面转向了“端到端”（End-to-End）架构。 ### 告别规则代码与转向“端到端”架构 2022 年 7 月，特斯拉人工智能与自动驾驶视觉总监安德烈·卡帕斯（Andrej Karpathy）宣布离开特斯拉，由软件团队的创始成员之一阿肖克·埃卢斯瓦米（Ashok Elluswamy）接替他的职位。一时间，外界对这一高管离职议论纷纷，猜测特斯拉是否在自动驾驶算法演进上遇到了无法逾越的瓶颈，特斯拉股价也应声下跌。 卡帕斯事后曾回顾，自己当时逐渐进入了一个偏向纯管理的岗位，但从根本上说，管理并不是他内心真正热衷的工作。他觉得到了那个阶段，自己已经把视觉和算法团队完整搭建起来，团队已经具备了自主运转的能力，而他自己成了一名专职管理者，他更希望能投身去做更多前沿技术层面的探索。确实，如果按照当时的技术路线继续走下去，他的工作重心将是日复一日地在已有感知和规则路径上修修补补，陷入日益重复的渐进式优化之中。 但当时谁也没有预料到，2022 年年底，OpenAI 发布的 GPT-3.5 震惊了全球科技界。 彼时马斯克刚刚完成了对推特（Twitter，后更名为 X）的收购，正打算从特斯拉抽调一批技术过硬的工程师去推特协助优化推荐算法。被抽调的工程师名单中有一位名叫达瓦尔·什罗夫（Dhaval Shroff）。Shroff 并不想离开特斯拉自动驾驶团队去推特，为了留下来，他主动向马斯克阐述了自己的构想：自己正在研发一种“车用的 ChatGPT”，也就是用一整个深度神经网络彻底替换掉以往所有的手工规则算法，让系统通过直接模仿海量人类优秀驾驶员的行为，自主学会如何开车。 这样一来，即使车辆遭遇从未见过的极端边缘场景（Corner Cases），系统也能凭借对环境的理解自主进行避障，必要时甚至能做出类似老司机的灵活判断（例如在遇到障碍物时灵活压实线绕行）。这与过去机械呆板、基于条件分支语句的规则方案（Rule-based）有着本质不同。Shroff 的构想瞬间击中了马斯克的兴奋点，马斯克甚至当场畅想未来要用这种全自动驾驶技术完成一段宛如《007》电影般的无人驾驶特技场景演示。最终，Shroff 顺利留在了特斯拉团队。 这便是外界后来熟知的特斯拉端到端自动驾驶技术的起源。在这一重构过程中，团队将过去堆叠的 30 万行手工 C++ 规则代码彻底剔除，精简重构成仅约 2000 行的简洁网络调用代码。 针对这一转型，访谈中采访了特斯拉前 AI 软件工程总监斯里哈里（Srihari）。Srihari 过去负责特斯拉 Robotaxi 与 Optimus 人形机器人项目的 AI 工程团队，以及软硬件协同设计团队，曾因大幅优化特斯拉车载 AI 计算机的运算性能获得过马斯克公开点名表扬，马斯克甚至曾直言“没有他们的团队，Robotaxi 将无法实现”。 Srihari 回忆证实，关于端到端的探索实际上在 ChatGPT 爆火之前就已经在特斯拉内部展开了，而 ChatGPT 的成功更像是一个外部催化剂，极大地加速了这一技术方向的研发进程。在 ChatGPT 出现之前，团队就已经在尝试类似的方法与架构思路，ChatGPT 的出现让管理层和团队坚定了信念，从而在端到端方向上大幅追加了资源投入。当时最初承担端到端可行性验证的研发团队规模非常精简，仅由几位核心成员构成。 ### FSD V12、V13 与 V14 的演进历程 2023 年 8 月底，马斯克坐在自己的 Model S 驾驶座上，手持手机开启了一场无剪辑的端到端版 FSD 首次公开实况直播。为了证明系统并非基于预先设定的高精地图或固定路线运行，他随机在车载地图上任意标记了一个导航目的地，车辆随即平稳自主起步。虽然在行车过程中车辆曾出现过一次误识别红绿灯直行闯红灯的险情，马斯克不得不紧急介入接管，并因此引来了外界不少嘲讽，但在许多业内技术专家看来，这次表现已经释放出了极其强烈的信号：一个完全抛弃了规则代码的纯神经网络系统，第一次跑通了复杂的真实街道驾驶，展现出了颠覆传统方案的巨大潜力。 2023 年年底，特斯拉开始向内部员工批量推送搭载端到端架构的 FSD V12 版本；直到 2024 年 1 月，FSD V12 正式向北美普通车主全面推送。 虽然特斯拉是全球首家将端到端自动驾驶在大规模量产车上商业化落地的车企，但这一学术理念本身并非特斯拉原创。早在 2016 年，英伟达（NVIDIA）就曾发表过利用单端神经网络直接将摄像头图像映射为方向盘转角控制的端到端研究；如果追溯学术源头，卡内基梅隆大学（CMU）早在 1989 年利用 ALVINN 系统就提出了端到端自动驾驶的雏形。 在 FSD V12 推出初期，业内专家曾提出过一个尖锐疑问：如果整套自动驾驶控制算法已经变成了一个端到端的深度神经网络，那么车机仪表盘和中控大屏上实时渲染的鸟瞰图（BEV）和各种障碍物 UI 可视化显示，究竟是从哪里来的？ 一位参与过核心研发的匿名特斯拉算法工程师给出了解答：团队在整个端到端大模型的主干网络中间层，额外引出了一个专用的多任务分支头（Head），用来单独预测并输出周围环境的鸟瞰图几何特征供屏幕渲染。在车辆实际行车推理时，这个可视化分支就像人体的阑尾一样，仅仅负责前台 UI 的显示投射，其本身的输出完全不参与下游车辆油门、刹车和方向盘控制的动力学决策。这种分头机制在架构本质上与此前 Andrej Karpathy 时期主导的多头网络 HydraNet 是一脉相承的。 因此，尽管 FSD V12 几乎彻底抛弃了过去的规则控制逻辑，但它依然大量继承了 Karpathy 时代用神经网络重构感知、特征提取以及占用网络（Occupancy Network）的成熟经验。正如团队成员所言，过去的积累并不是被全盘扔进垃圾桶，那些经过实践检验的网络架构和训练方法更像是一颗颗种子，为端到端阶段的感知理解筑牢了地基。 从 V12 开始，FSD 进入了极其密集的迭代期： 2024 年 11 月，特斯拉正式推出 FSD V13。相较于 V12，V13 进一步扩充了模型参数量，显著提升了人工接管里程（MPI，Miles Per Intervention），并新增了备受关注的“车位到车位”（Park to Park）全流程导航辅助功能，同时还针对 AI4 芯片进行了硬件底层的专项性能调优。 更为关键的是，V13 彻底改变了前端图像处理流程：摄像头捕获的原始光子信息（Raw Photons）不经过任何传统 ISP 的前置色彩校正与降噪处理，直接裸数据输入到神经网络之中。这种做法不仅大幅降低了图像从曝光采集到控制输出的端到端系统延迟，还使模型能够更好地理解真实光影语义，精准预测场景中动态物体之间的时空关联，彻底消除了此前车辆起步、变道时的卡顿与犹豫，使行驶轨迹更加贴近老司机的从容感。此外，V13 还解锁了输入画面的帧率与分辨率限制。过去 Hardware 4.0 硬件虽然配备了 500 万像素的摄像头，但此前的算法模型受制于算力，并未完整利用全部原生像素。在端到端算法下，模型在每帧图像上消耗多少有效分辨率，完全由算法按需调节。 如果说 FSD V12 的使命是验证神经网络直接接管车辆控制的可行性，那么 V13 的核心目标就是极致简化控制栈，提升模型在车载计算平台上的每瓦吞吐效率。特斯拉内部工程师甚至将 V13 极简优雅的架构比作 SpaceX 研发的猛禽 V3（Raptor V3）火箭发动机那样干净利落（Clean）。 正如 Srihari 所总结，特斯拉工程团队内部始终遵循的核心优化目标，是最大化提升“每瓦功耗所能产出的智能水平”（Intelligence per Watt）。在量产乘用车里，工程团队所能支配的只有一台体积极小、散热与供电受限的车载计算机，如何在极其严苛的功耗红线内，压榨出尽可能高的实际认知与推理智能，是整个工程体系的重中之重。为此，团队在模型训练端、车端推理端、数据筛选管道以及底层基础设施上投入了海量的软硬件协同优化，通过深度协同设计让每一版模型在每瓦功耗下榨取更多认知算力。 到了 2025 年 10 月，特斯拉选择直接跳过 FSD V14.0，直接发布了 FSD V14.1。马斯克将此次升级定性为继 V12 之后特斯拉自动驾驶历史上的第二大质变更新。V14.1 的核心升级包括： 1. 模型参数规模相较前代直接暴涨了 10 倍； 2. 这是特斯拉第一次将 Robotaxi 专用测试项目中的前沿算法大规模回流、反哺到普通量产车版本中； 3. 全面引入强化学习（Reinforcement Learning）进行闭环微调训练； 4. 深度升级了视觉编码器架构，并重写了底层 AI 计算图编译器。 Srihari 分析指出，FSD V14 的本质，是特斯拉团队在“物理世界人工智能”（Physical AI）这一前沿赛道上，坚决加大对“缩放定律”（Scaling Laws）的工程验证。在大语言模型（LLM）领域，Scaling Law 已经被验证，但在物理 AI 和实体控制领域，全球学术界和工业界尚没有任何成熟的文献来定义数据、参数与控制性能之间的扩展边界。现有的大量模型文献与架构设计（如自回归 Transformer）主要针对文本与静态数据，无法直接套用在高速运转的多模态物理控制中。特斯拉必须自己从零摸索并自研一套完整的软硬件技术栈，找到独属于自动驾驶的物理大模型架构。 如果做一个生动的比喻：V12 的工作是验证自动驾驶端到端这棵树能不能在土壤里成活；V13 是精细修剪枝叶，去除冗余杂乱的枝杈，让树干结构更加健壮透亮；而 V14 则是在树木成型之后大规模施肥浇水，利用 Scaling Law 驱动这棵大树加速拔节生长。 V14 落地后的实际表现也验证了这一飞跃。例如在 2025 年年底，一辆普通量产版 Model 3 从美国西海岸的加利福尼亚州启程，全程开启 FSD V14，历时两天、横跨 2700 英里直达东海岸的南卡罗来纳州，实现了全程零人工干预（Zero Interventions）的横贯跨国行驶。 ### 黑盒挑战、数据筛选与世界模型 在端到端大模型迅速进化的同时，其“黑盒特性”一直饱受业界学者和工程师的审视与质疑。模型内部的权重分布深不可测，外界很难直接验证系统到底学会了什么、内部是如何完成场景推理的。 更棘手的工程问题在于信息压缩比过大：端到端模型在前端每一帧都需要灌入多路摄像头捕获的数以亿计的输入 Token，然而经过层层网络压缩后，最终输出的动作仅仅只有转向角度和加减速数值这极少量的控制指令。这种悬殊的信息压缩极易诱发神经网络学习到所谓的“虚假相关性”（Spurious Correlation）。举例来说：在某个驾驶训练片段中，人类司机之所以踩下刹车减速，是因为前车刹车灯亮起；但神经网络在缺乏强约束的情况下，很可能会错误地以为驾驶员减速是因为路边恰好有一根正在摇晃的树枝。如果模型把摇晃的树枝和减速动作关联起来，就会在后续行驶中产生无规律的幽灵制动或决策失误。 在近期的技术分享会上，特斯拉人工智能软件副总裁 Ashok Elluswamy 详细拆解了特斯拉用来打破端到端黑盒与虚假相关性的三套系统性解法： #### 1. 车端高价值数据筛选器（Data Curation Engine） 特斯拉虽然坐拥全球数百万量产车回传的海量道路行驶视频，但如果对这些视频不加选择地全量上传到云端，不仅带宽与存储成本会高到天文数字，而且其中绝大多数数据都只是平淡无奇的高速直线巡航，对模型进化的边际收益极低。 因此，特斯拉在所有量产车的车端推理机上常驻了智能筛选过滤器（Trigger）。只有当车辆触发特定条件——例如驾驶员发生紧急极限避让反应、遇到极其罕见的复杂十字路口、遭遇奇形怪状的特殊作业特种车辆或施工封路等场景时，车端才会将前后几秒的高价值视频片段打标签并打包上传至云端训练集群。这种机制在极大压缩数据传输成本的同时，能够源源不断地用高难度边缘工况“喂养”模型。 #### 2. 生成隐式 3D 几何特征以增强可解释性 为了解决模型内部推理透明度的问题，特斯拉在训练端到端网络时，强制要求网络中间层必须联合生成一个显式的 3D 世界空间表征。算法团队通过抽检模型在这一节点生成的特征图，可以清晰判断模型是否真正理解了车辆周围物体的真实距离、三维尺度以及运动矢量，以此确认模型在做出转向或刹车决策时，是基于正确的物理空间判断，而非捕获到了路边晃动树枝之类的偶发干扰信号。 #### 3. 基于生成式世界模型（World Models）的闭环验证 针对系统在真实道路上的长尾安全性验证，特斯拉充分利用了基于 AI4 芯片搭建的仿真服务器。系统利用一个独立的生成式神经网络，在服务器中持续实时渲染并构建逼真的虚拟驾驶世界。随后，将待测试的新版 FSD 控制算法放进该生成式世界中进行闭环驾驶推演。 这个虚拟世界能够按需注入各种扰动变量：例如，把历史上导致 FSD 发生人工接管或碰撞事故的真实极端场景作为输入条件喂入，验证新模型是否能够顺利通关；或者随机合成极其严苛的恶劣天气与突发鬼探头障碍物，反复测试 FSD 在极限边缘状态下的控制边界。 这套体系与传统自动驾驶公司的仿真系统（Simulation）存在本质维度的代差。传统仿真主要依赖工程师手动编写代码建模：人工搭建 3D 道路模型、贴图、手动定义物体的刚体物理碰撞属性，最后通过 Unreal 或 Unity 游戏引擎进行物理渲染。而特斯拉采用的世界模型彻底打破了“人工建模-引擎渲染”的割裂流程，直接由神经网络基于真实的驾驶视频进行下一步推演（Rollout），直接在潜空间中一次性生成全车所有环视摄像头应当看到的原始画面。 这种纯神经网络世界模型具有极高的自由度与泛化上限，但也带来了两大前沿技术挑战： - 其一是对计算硬件的性能要求极其苛刻，由于需要多路超高分辨率视频进行实时生成推演，云端需要吞吐量巨大的专用算力支持； - 其二是如何保证生成世界的物理因果一致性。模型生成的虚拟世界必须与现实世界真实运行的物理定律高度契合，例如当自动驾驶车辆右转切入时，虚拟世界里的行人必须做出逼真的避让或警惕动作，周围其他社会车辆的加减速博弈也必须完全符合现实司机的行为习惯，否则仿真验证就会失去对量产落地的指导意义。 除了视频数据维度的闭环之外，在最新的 FSD 算法框架中，外部环境音频信号也正式被接入并参与到驾驶决策之中。当前阶段，特斯拉自研的音频模型主要用于环境声学感知，例如在车辆视线受阻的盲区提前识别后方呼啸而来的警车警报声、救护车警笛或消防应急车辆喇叭。据工程团队规划，未来这套音频模型还将与整车的车控语音完全深度融合，实现语音直接控制驾驶动作。特斯拉技术演进背后的核心哲学极其朴素：人类驾驶员在开车时能感知到的全部生理输入信号（视觉、听觉），工程团队都要以数字形式完整复刻并提供给车载 AI，从而在所有复杂的现实场景中持续获得超越人类的安全性表现。 ### Robotaxi 落地与安全监管博弈 端到端大模型带来的能力跃迁，也给了马斯克在商业端推进无人驾驶出租车（Robotaxi）的底气。2024 年 10 月，特斯拉正式举办发布会推出了专为无人驾驶设计的车型——没有方向盘、没有刹车与油门踏板的 Cybercab。 但整套商业化无人驾驶出租车服务的实际运营，直到一年之后才正式迎来第一步落地。2025 年 6 月，特斯拉在美国得克萨斯州奥斯汀正式启动了 Robotaxi 载客试点服务，初期仅仅投放了 10 到 20 辆基于量产版 Model Y 改装的测试车队。 在硬件层面上，参与奥斯汀试运营的 Model Y 测试车以及后续亮相的 Cybercab 原型车，与大众所购买的普通特斯拉量产民用车没有任何本质区别。除了早期针对 Cybercab 的特定机械结构对底盘线控与供电做了少部分冗余设计强化之外，这些冗余改动随后也全部反哺并应用到了后续出厂的所有量产车型当中。 Robotaxi 与普通家用车辆的核心差异完全集中在软件部署与运行机制上： 首先是软件版本的领先度。Robotaxi 上所搭载的 FSD 算法分支明显领先于普通民用车队。虽然它们都生长于同一套端到端大模型底座之上，但 Robotaxi 运行的是经过高频调优的激进实验分支。相同的算法模型，放在民用版车型上受限于法规只能作为 L2 级驾驶辅助运行；但放在奥斯汀的运营测试车上，经过专门的安全验证并取得了当地政府监管许可后，它就以合法的 L4 级无人驾驶资质在开放道路运行。只有当这个领先软件版本在测试车队中经历了超长里程的严苛测试、指标确认安全稳定之后，才会被下放到普通车主的 OTA 推送队列中。 这就带来了一个不可忽视的现实问题：如果最新的实验版软件在无方向盘的 Robotaxi 上行驶时出现了意外偶发 Bug，该如何兜底？ 因此，两者的另一大核心区别在于远程安全监管（Teleoperation）机制。在试乘体验中，早期车辆安全在物理层面完全依赖特斯拉的严密把控，但在后台战备室（War Room）内，特斯拉部署了专职的安全监控人员，屏幕前的人工坐席每分每秒都在通过低时延回传链路死死盯着车内外的各项传感器参数与行驶姿态。在商业运营初期，由于必须维持庞大的后台远程人工盯防团队，每一公里自动驾驶的实际综合运营成本其实非常高昂，车费中很大一部分都在为后方盯防人员的人工薪资买单。只有当未来技术在几千几万辆的规模下被反复验证绝对安全之后，特斯拉才能逐步降低远程人车监控的配比，真正把无人驾驶每公里的商业边际成本打到极低。 在奥斯汀试点上线后的一年时间里，特斯拉先后在加州旧金山湾区、内华达州以及亚利桑那州等多个地区陆续拿到了不同限制条件下的无人驾驶商业测试运营牌照。虽然受限于各州地方法律法规的差异，各地的放开进度不尽相同，但整体的测试扩城工作依然在快速向前推进。 在 Srihari 看来，当前特斯拉 Robotaxi 面对的深层挑战，技术本身已经不再是不可逾越的障碍，核心难点在于现实场景的大规模工程验证以及各地复杂的政府监管合规。真正的行业胜负手在于谁能建立起更敏捷高效的工程闭环基础设施，从而在不同地域、不同气候特征和不同法律框架下，以最快速度铺开超大规模的商业化车队。 然而，要想在量产端全面解锁这种极致的无人驾驶体验，硬件架构必须再一次经历彻底洗牌，因为承载 FSD V14 极致运算的 Hardware 4.0 平台，又一次逼近了算力与散热的物理极限。 ### AI5 自研挫折、隐瞒危机与架构重组 谈及即将发布的下一代 AI5 芯片，其研发历程中遭遇的技术泥潭与组织震荡远比当年的 AI4 更加惨烈，甚至在研发中途暴露出下属对马斯克严重的谎报与隐瞒行为。 2025 年 8 月，AI 领域迎来了一次剧烈震动：特斯拉内部号称“全球最快 AI 训练超级计算机”的 Dojo 项目被正式叫停，马斯克解散了原有的 Dojo 硬件与研发团队。要知晓，Dojo 曾长期被马斯克视作特斯拉通向通用人工智能的护城河，华尔街投资机构甚至曾给予该项目数千亿美元的估值溢价。项目的中止引发了资本市场对特斯拉未来云端自主训练能力的剧烈怀疑。马斯克对此给出的公开解释是：下一代自研的 AI5 和 AI6 芯片在算力与通用性上表现优异，不仅能用于车端推理，未来可以直接集群化部署于数据中心承担模型训练重任，因此公司没有必要在 Dojo 的专用 ASIC 架构上进行重复资源浪费。 从这一定位可以看出，接下来的 AI5 与 AI6 芯片几乎承载着特斯拉整个端到端大模型生态的命运。然而据亲身深度参与 AI5 项目研发的工程师 Kerry 独家披露，这款被寄予厚望的芯片在实际研发中遭遇了极为致命的内耗与挫折，直接导致了特斯拉核心硬件元老彼得·班农（Peter Bannon）的惨淡离职。 整场危机的根源需要追溯到 AI4 的合作遗留问题。在 AI4 研发期间，由于三星分心承揽了过多外部客户订单，对特斯拉的技术支持与响应速度大幅下滑，双方在芯片协同开发过程中摩擦不断。于是在启动 AI5 芯片立项时，当时的特斯拉硬件部门最高负责人 Peter Bannon 拍板做出了一个激进的战略决定：从 AI5 开始，特斯拉必须摆脱对三星等外部设计外包服务商的依赖，组建完全由特斯拉独立掌控的全流程自研芯片设计团队。 从战略自立的角度来看，摆脱代工商技术牵制、将核心芯片设计全流程攥在自己手里是完全正确的，极其符合马斯克崇尚的“第一性原理”和垂直整合风格。但在现实战术执行层面，特斯拉的组织能力出现了严重脱节。 脱节主要表现在两点： 1. 团队人力极度匮乏。尽管特斯拉在决定自主研发后在市场上开启了大规模招聘，但与三星这类别动辄调集上千名资深芯片设计工程师的成熟半导体巨头相比，特斯拉的芯片设计团队在绝对人数上相差悬殊； 2. 缺乏全流程实战经验。虽然特斯拉团队汇聚了硅谷一线的架构顶尖人才，但团队此前从未独立主导过一颗从前端设计、综合到物理后端实现全流程完全自研的先进制程超大规模芯片。过去的 Hardware 3 和 Hardware 4，三星都在物理实现、后端布局布线（Place & Route）等关键节点提供了海量的工程落地支持。现在完全切断外部支援由特斯拉单干，工程团队在许多底层流片准备环节中缺乏经验，导致 AI5 的研发进度陷入极其严重的泥潭之中。 比技术进度缓慢更致命的是组织内部的管理失控。当时负责得克萨斯州奥斯汀芯片研发团队的项目直接主管，在日常汇报中对管理层采取了极其恶劣的隐瞒手段。面对技术研发中遭遇的连环卡点，该主管从未如实向 Peter Bannon 和马斯克同步真实的困难，反而不断以谎言掩盖延误。 按照原定规划，AI5 将交付给台积电（TSMC）使用先进制程进行流片制造。在长达近一年的时间里，该主管在每次汇报时都对马斯克承诺“再有两个月就能交付最终图纸”，这句“再等两个月”整整拖延了将近一年。直到后来，马斯克直接越过中间汇报链条，将所谓的“成品图纸”打包直接发送给了台积电工程团队。台积电工程师团队审查后大为震惊，直言这套图纸不仅不是“再有两个月就能流片”，其完成度极其低下，按照台积电的标准至少还需要整整一年以上的底层修改，当前状态根本没有任何上机流片的可能性，距离真正能够量产流片还差得十万八千里。 得知真相的马斯克勃然大怒，意识到负责芯片项目的人一直在对自己进行蓄意欺骗与忽悠。盛怒之下，马斯克在芯片设计部门掀起了大规模清洗，包括直接主管在内的大量涉事芯片研发人员被就地解雇。而作为整个硬件部门总负责人的副总裁 Peter Bannon，也在此次震荡中被迫离职。 在 Kerry 看来，自己的顶头上司 Peter Bannon 实际上是这次瞒报事件的连带受害者。Peter 本人并未主观参与对马斯克的欺骗与瞒报，但由于涉嫌瞒报的项目主管是其直接下属，作为团队一把手的 Peter 必须承担无可推卸的连带领导责任。 在这场高层大地震之后，马斯克亲自接管了芯片设计团队的业务调度，并迅速制定了两套方案并行推进的避险策略： - 第一套方案是紧急引入外部第三方专业芯片设计服务公司作为技术外包，配合特斯拉现有团队补齐物理后端的工程短板，继续推进台积电制程版本的 AI5 设计； - 第二套方案是马斯克打破不合作前言，重新找回三星工程团队，委托三星基于其自身工艺流程同步开发另外一个备份版本的 AI5 芯片。 经过一番极限抢修，台积电工艺版本的 AI5 芯片已于 4 月 15 日正式完成了第一次工程流片，预计将在 2027 年正式迈入规模量产阶段。根据马斯克公布的技术指标，AI5 芯片在针对 Transformer 等特定神经网络矩阵运算任务时，其运算处理速度相比 AI4 将实现惊人的 40 倍跃升。半导体业界普遍预测，搭载双芯片或多芯片的 Hardware 5.0 计算平台，其综合算力峰值将达到 2000 至 2500 TOPS 之间。 AI5 在底层物理架构上采用了先进的多芯片模块封装（MCM，Multi-Chip Module）技术，这对车规级芯片的互联与散热是一次巨大的全新考验。与此同时，三星工艺版本的 AI5 也在同步紧锣密鼓地向前推进。最终这两套芯片在命名上统一被称为 AI5，核心差异仅在于分别基于台积电工艺与三星工艺进行制造。 Kerry 推测，未来这两套不同晶圆代工来源的 AI5 芯片很有可能会在同款特斯拉车型上进行混用安装。就像手机行业不同批次混用屏幕和闪存一样，同一款车有的批次采用台积电版主板，有的批次采用三星版主板，这在汽车工程上是完全行得通的。虽然两颗芯片不可能装在同一块双芯片电路板上混搭，但映射到最终车主端，在实际使用 FSD 的体验感和操控流畅度上，用户根本不会感知到任何体感差异。 不过，Kerry 也透露了一个最新的内部风向变化：马斯克近期在内部会议中曾流露出一种新想法，由于认为现有的 AI4 算力应对当前模型已经足够优秀，AI5 芯片在量产后有可能不会首发装车，而是优先调配给算力中心和 Optimus 人形机器人使用。鉴于特斯拉内部决策风格向来多变，最终具体的落地方案仍需静待官方正式宣布。 ### 路线之争与自动驾驶下半场 回顾过去，为什么是特斯拉打破了传统汽车工业的禁锢，率先将端到端自动驾驶落入现实？ 不同于传统主机厂的谨小慎微，甚至不同于许多硅谷高科技巨头在面对一项突破性新技术时的反复权衡与摇摆，特斯拉在企业基因中始终保持着极高的高风险承受力，极度渴望并能够在极短时间内不计代价地上线最新技术栈。对于一线研发工程师而言，这种环境虽然伴随着巨大的交付压力，但也让整个技术探索过程变得极具开创性与吸引力。 管理企业内部的有限资源是极其残酷的艺术。工程师既需要对五年、十年后的终极前沿技术做激进押注，同时又必须保证当季能够把处于半成熟状态的技术稳定交付给市场。 在 Srihari 看来，特斯拉最大的体系化优势在于没有传统大企业那种臃肿繁杂的官僚流程。全公司的精力被强制要求百分之百聚焦在那些真正能让产品变得更好的核心要素上。在算力受限、人员精简、且每个季度都被死死锁定的交付时间表重压之下，这种反官僚的极度专注逼迫团队实现了超常规的技术推进。 将时间指针拨回到 13 年前，当特斯拉刚刚涉足自动驾驶时，它与谷歌（Google，即后来的 Waymo）走向了两条截然不同、非此即彼的道路： Waymo 代表了传统的硅谷精英科研路线：坚持采用昂贵精密的激光雷达与多传感器融合、建立极其严苛多层硬件安全冗余体系、依赖高精度地图，选择在严格圈定的有限地理区域（ODD）内彻底把无人驾驶做透，然后再像绣花一样一点一点向外拓宽运营边界； 而特斯拉的选择则完全站在了对立面：它坚持第一性原理与纯视觉，把廉价的摄像头装进数百万辆驶向全球各地的普通量产民用车里，把一个远未成熟完善、甚至带有各种粗糙边缘的系统直接交由真实世界中的普通用户去使用。随后在全世界无数次的真实道路事故、网络质疑、架构推倒重写与高频 OTA 软件推送中，顶着舆论风暴跌跌撞撞地狂奔向前。 13 年过去了，这两条截然相反的技术路线至今依然没有在物理世界中彻底分出胜负。 然而今天，全球自动驾驶之战已经无可逆转地步入了下半场。这场终局之战的性质已经悄然发生了转移，它的名字不再叫做纯粹的“技术路线之争”，而是变成了残酷的“商业与经济之战”。 从商业现实来看，Waymo 依然在全无人驾驶出租车的正向商业化运营和常态化服务规模上保持着先发优势，在旧金山、凤凰城等地拥有极其扎实的运营口碑；而特斯拉的 Cybercab 甚至连方向盘尚未完全合法去除，仅仅在奥斯汀的一小片限定区域展开极其早期的内部试点。 更为严峻的挑战来自国家机器。目前，美国联邦监管机构国家公路交通安全管理局（NHTSA）已经对特斯拉 Cybercab 的无方向盘设计正式启动了安全合规调查，核查其底层机械结构是否符合现行的联邦机动车安全标准。面对法律法规与政策准入的重重壁垒，特斯拉前方依然充满了诸多不确定性，现有的技术成果还远不足以证明特斯拉已经彻底赢得了这场自动驾驶世纪大战。 而在 10 月份，FSD V15 预计将正式迎来发布。对于整个行业而言，这无疑将是又一座极具分量的技术分水岭。据多方媒体披露的前瞻信息显示，FSD V15 的模型参数规模相较于 V14 将再次扩大整整 10 倍，其架构从底层就是专门为了支撑 Level 4 级别的真正全无人驾驶而深度量身打造。该模型的早期测试版本已经在特斯拉内部的 Robotaxi 测试车队中部署运转。 随着算力再度提升十倍的 V15 破土而出，它究竟将给特斯拉的无人驾驶车队带来怎样的质变，所有人都在拭目以待。 ### 特斯拉激进路线的阶段性验证与未来挑战 进程的影响会有多少，但至少在目前，特斯拉已经成功地证明了一件事：那条曾经被很多人认为过于激进的路线，不仅一直留在牌桌上，甚至走到了下半场的决赛圈，已经开始改变很多人的生活方式了。 但也许真正困难的问题，现在才开始。特斯拉接下来要证明的，是当真正没有安全员、没有方向盘，面对数百万次真实出行时，它还能不能保持足够稳定的安全性。 ### Waymo与特斯拉的商业化竞争与预告 以及Waymo要与特斯拉比拼的，是在多地已经跑起来的无人驾驶系统，能不能继续扩城、扩大车队，并且把成本降到真正的大规模商业化。 接下来我们还会出一期内容，讲讲Waymo和特斯拉的扩城之战，大家不要忘记关注我们的频道，不要错过更新。 以上就是这期视频的全部内容了，你们的点赞、转发还有留言，是支持我们《硅谷101》做好深度科技和商业内容的最佳动力。我是陈茜，那我们就下期视频再见啦，bye～