--- author: Best Partners TV date: '2026-09-09' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=Ch9GH7UrDHg speaker: Best Partners TV tags: - ai-chip-architecture - system-engineering - accelerator-hardware - compiler-optimization title: 硅金矿时代的AI芯片竞争：为什么真正的产品从来不是单颗芯片而是整个系统 summary: 英伟达首席科学家Bill Dally与TPU之父Norman Jouppi就AI芯片革命展开深度对谈。他们指出当前AI浪潮与以往超算热潮有本质不同，真正的竞争单位已从单颗芯片演变为涵盖算力、互连、存储、液冷及软件栈的百亿美元级系统工程。 insight: '' draft: true series: '' category: architecture area: tech-engineering project: [] people: [] companies_orgs: - Nvidia - Google products_models: - TPU - CUDA media_books: - The Datacenter as a Computer status: evergreen --- ### 硅金矿与百亿美元级基建竞赛 **大飞**: 大家好，这里是最佳拍档，我是**大飞**。纽约有一条百年历史的跨州铁路隧道，因为缺少大约十亿美元资金，长期没法完成更新改造。而就在同一时期，**Google**宣布下一年度的资本开支将达到一千零五十亿美元。十亿美元对一千零五十亿，一条隧道的造价，还不到一家科技公司一年基建投入的百分之一。这个对比听起来有点夸张，但它恰恰点出了今天AI产业最真实的一面：这场竞赛的基本单位，已经不是芯片，而是百亿美元级别的基础设施投入。 2026年8月，在**美国计算机历史博物馆**，一场名为《The Silicon Gold Rush》的公开对谈吸引了整个芯片行业的目光。主持人是RISC架构奠基人**戴夫·帕特森**（Dave Patterson），两位嘉宾分别是英伟达首席科学家**比尔·达利**（Bill Dally）与Google资深研究员、TPU之父**诺曼·朱佩**（Norman Jouppi）。这是两位定义了当代AI芯片路线的人物少有的一次公开同台。他们没有聊**Blackwell**或者**TPU**这些具体产品，而是在讨论一个更底层的问题：为什么今天的AI芯片竞争，和过去任何一次计算机革命都不一样？答案并不只是算力。 ### 三个前所未有的历史条件 **戴夫·帕特森**: 为什么今天会是一场硅金矿？它和上世纪八十年代的Lisp机器热潮、九十年代的超级计算机浪潮相比，到底有什么本质区别呢？ **比尔·达利**: 真正定义这一轮AI革命的，是三个此前从未同时出现过的条件，包括真实的商业需求、统一的计算范式，以及几乎没有历史包袱的软件生态。 过去很多计算机架构的黄金时代，其实都带着浓厚的科研色彩。九十年代超级计算机的发展，很大程度上靠的是**DARPA**等政府项目的资金支持，大量创业公司因此诞生，但真正能形成持续商业市场的却寥寥无几，**Thinking Machines**这些当年的明星企业最后都倒下了，所以光靠技术领先撑不起一个产业。AI完全不同，如今几乎所有行业都在尝试把AI引入自己的业务，从搜索、编程到医疗、制造，整个市场对于Token、算力和推理能力的需求几乎是无限增长的。推动芯片创新的不再是补贴，而是真正愿意持续付费的客户，这也是为什么这波浪潮能走得更远。 这里有一个很反直觉的观点：**Transformer**其实是一种相对简单的应用。这句话乍听上去有点矛盾，毕竟大模型有上万亿参数，训练成本比历史上任何计算任务都高。但我说的简单，指的是计算结构，不是模型规模。以前的高性能计算，像天气模拟、流体力学、核计算，往往有几十万甚至上百万行代码。你就算把最耗时的计算核提速十倍，真正拖后腿的还是剩下那一大堆串行代码，这就是**阿姆达尔定律**（Amdahl's Law）长期限制超算发展的原因。 Transformer不一样，它的计算高度集中在矩阵乘法、Attention、Softmax、LayerNorm这少数几个核心算子上。对硬件架构师来说，只要围绕这些核心原语持续优化，整个模型就能同步获得巨大提升，所以**GPU**和TPU才能以远高于传统CPU的速度演进。以前要兼顾成千上万种应用，现在变成了不断打磨有限的几类计算模式，硬件和模型第一次形成了高度一致的演进方向。Transformer改变的不只是AI，也改变了芯片设计的方法论。 除了需求和算法，还有第三个关键词，叫**Dusty Deck**（积灰的老代码）。传统计算产业里，软件生态最大的困难往往不是性能，而是兼容性。几十年的历史程序、庞大的**Fortran**代码库、各种遗留接口，让任何一次架构革新都走得特别慢。AI几乎没有这个问题，今天的大模型、框架、编译器甚至训练方法都在快速迭代。开发者愿意为了性能重写Kernel，也愿意接受新的数据格式和编译方式。这种没有历史包袱的软件生态，让硬件创新第一次真正做到一年一代。所以我的判断很明确，这不像八十年代的Lisp机器热潮或者九十年代的超算热潮，这是一场真正创造商业价值的革命。 **诺曼·朱佩**: 如果从资本的维度来看，那条纽约隧道缺的十亿美元，和Google一年一千零五十亿美元的资本开支，这两个数字放在一起信息很直接：AI基础设施已经进入了以百亿美元为单位的竞争时代。整个行业都在拼命加速，会有赢家，也一定会有输家。真正在竞争的已经不只是一颗芯片，而是电力、土地、液冷、网络、**HBM**，还有整个数据中心的建设能力。AI芯片战争正在演变成一场全球基础设施竞赛。 ### 谁是淘金者与卖铲人 **戴夫·帕特森**: 如果今天真是一场淘金热，那谁是淘金者，谁又是卖铲子的？ **比尔·达利**: 真正的淘金者是那些找到AI垂直行业的人。医疗也好，金融也好，工业制造也好，只要找对了应用场景，就有机会像十九世纪的淘金客一样创造新的财富。而**英伟达**和Google扮演的角色，更像当年卖镐头和铲子的公司，提供的是整个AI时代最底层的生产工具。虽然大家都在卖铲子，但我们其实还在不停地给存储公司交钱。 **诺曼·朱佩**: **美光**（Micron）上一季度赚到的钱，几乎相当于之前十九年的总和。 **大飞**: 这句玩笑恰恰点出了AI产业链最真实的变化。今天GPU的数量未必增长了十倍，但是HBM、**DDR5**这些高端存储的价值却在迅速攀升，真正受益的不只是算力厂商，还有整个存储产业链。AI时代最昂贵的资源，正在从计算逐渐延伸到带宽。 ### 趋同演化与寒武纪大灭绝 **戴夫·帕特森**: 为什么今天几乎所有AI训练芯片看起来都越来越像？这可以用生物学里的**趋同演化**（Convergent Evolution）来形容：不同公司沿着各自的技术路线出发，最后却演化出了高度相似的形态——一块巨大的计算Die，中间布满矩阵计算单元，外围围着HBM，通过最快的**SerDes**构建高速互连，再组成超大规模训练集群。这像极了今天的GPU、TPU，甚至很多AI芯片创业公司的产品。这是巧合吗？ **诺曼·朱佩**: 大家总喜欢谈寒武纪大爆发，却很少有人提随后发生的另一件事：**寒武纪大灭绝**。当年地球上出现过大量形态奇特的生物，有些像巨大的甲虫，有些长着完全不同于今天生物的附肢，但绝大多数最终都没有活下来，真正延续至今的只是少数适应环境的物种。 今天的AI芯片产业也在经历同样的过程。过去几年，无数创业公司提出了各种完全不同的AI架构，有人强调数据流，有人押注模拟计算，有人重构内存体系，也有人想彻底替代GPU。但市场正在快速验证这些路线，最终能留下来的，一定是真正满足大模型需求的设计。 **比尔·达利**: 上世纪九十年代末到两千年初，硅谷曾经有不下一百家图形芯片创业公司，经过一轮又一轮的优胜劣汰，最后只剩两家：英伟达和**ATI**。所以GPU和TPU越来越像，不是谁模仿谁，而是优秀架构自然收敛的结果。那些看起来奇形怪状的设计，很可能会像寒武纪的生物一样被市场淘汰。 不过，我并不完全认同“趋同”这个词。站在足够高的视角看，所有AI芯片确实都有一些共同特征，因为应用本身决定了硬件必须满足什么需求：Transformer需要矩阵乘法，所以大家都有**张量引擎**（Tensor Engine）；Attention和LayerNorm需要向量运算，所以所有芯片都有**向量单元**（Vector Unit）；大模型需要庞大的参数存储，所以HBM、高带宽缓存和高速互连几乎成了标配。但这只是共同语言，真正决定产品竞争力的，不是这些人人看得见的模块，而是藏在架构深处的细节优化。 第一个例子就是数值格式。过去十年AI芯片的发展，几乎可以用一条精度路线来概括：**FP32**、**FP16**、**BF16**、**FP8**。而我认为，真正改变下一代AI芯片效率的是**FP4**。几年前英伟达在MLSys会议上发表了关于向量缩放（Vector Scaling）的研究，随后推出了**NVFP4**格式。这种格式不是简单把FP8再砍一半，而是通过更合理的缩放方式，在保持模型准确率的同时大幅降低数据表示的成本。和传统FP8相比，它能带来接近两倍的性能优势，同时维持相近的精度水平。这意味着未来AI芯片的竞争，不再只是谁有更多TOPS，而是谁能在更低位宽下依然保持模型可训练、可推理。今天整个行业都在拥抱FP4，本质上就是这个思路的延续。 除了低精度，另一项长期投入是**稀疏计算**（Sparsity）。早在2015年，我就和**韩松**（Song Han）共同发表论文指出，大多数神经网络天然就有大量零值权重，也就是说它们本身就是稀疏的。真正的问题不是网络是否稀疏，而是硬件能不能识别并利用这种稀疏性。所以从**Ampere**架构开始，英伟达把结构化稀疏计算做进了**Tensor Core**，让硬件直接跳过无效计算。这并不是每一种生物都会拥有的能力。换句话说，矩阵计算人人都有，但是真正的差距来自这些围绕模型特性的深度优化，这也是为什么就算GPU和TPU的整体轮廓很像，实际性能依然能拉开距离。 ### 商业模式与产品哲学差异 **比尔·达利**: 我其实一直很羡慕Google一件事，就是TPU直到最近之前都只有一个客户，那就是Google自己。Google设计TPU的时候，服务对象始终是Google自己的模型和数据中心，所以团队可以完全围绕内部需求做架构优化，不用考虑外部兼容性，也不用平衡各种行业客户的诉求。 英伟达则完全相反。作为开放平台，GPU要面对云厂商、互联网企业、科研机构、汽车公司，还有几千家软件开发者。英伟达在训练和推理市场都拥有68%的份额，而伴随这个份额而来的，是无数客户的不同需求。每一家大客户都会提出不同的功能请求，架构团队不得不在通用性和性能之间不断权衡。如果客户足够大，你至少要认真听听他们的功能请求。如果英伟达也只为自己设计芯片，而不用考虑所有客户，也许还能做得更好。 **大飞**: TPU是应用驱动的架构，先服务Google自身；GPU是平台驱动的架构，它必须成为整个AI生态的公共基础设施。两种模式没有优劣，却决定了完全不同的产品哲学。 **比尔·达利**: 如果把硬件和某种特定模型死绑定，风险是极高的。比如**OpenAI**在Hot Chips会议上发表了他们的**Jalapeno**处理器，这款芯片几乎就是为跑某一个模型而设计的。在AI发展的早期阶段，可编程性具有压倒性的决定性价值，因为模型变化太快了。 **诺曼·朱佩**: 很多人以为第一代TPU是一张PCIe推理卡，但真正意义上的TPU其实始于第二代。从**TPU v2**开始，Google就明确把目标定义为训练超级计算机，而不是单颗AI加速器。整个系统从设计之初就采用**3D Torus**互连、液冷架构以及Pod级扩展能力，没有经历传统服务器逐步加功能、不断妥协兼容性的过程，而是从一张白纸开始，直接围绕超大规模训练来设计。 **戴夫·帕特森**: Google在2017年前后就意识到，训练真正需要的是一台超级计算机，而不是一块更快的芯片。这也解释了为什么今天越来越多AI厂商开始强调Pod、Rack甚至Cluster，而不是单GPU性能。真正的计算单元已经从芯片演变成了系统。 ### 真正的产品是整个系统 **戴夫·帕特森**: 对于今天的英伟达和Google来说，互连、内存、封装、电源、液冷这些系统能力，会不会已经比硅片本身更难复制？ **比尔·达利**: 真正的产品，是整个系统。 在AI时代，“产品”这个词的含义已经变了。以前服务器厂商卖CPU，GPU厂商卖加速卡，网络公司卖交换机，各管各的。但今天，一个能稳定运行几万GPU的大模型集群，本质上是一套高度耦合的整体系统。GPU、CPU、高速网络、HBM、交换机、软件栈、调度系统、机房配置，任何一个环节出问题，都会直接影响训练效率。所以英伟达真正交付给客户的，不是Blackwell，而是**DGX SuperPOD**。大概从**Pascal**时代开始（2015年前后），英伟达就开始给客户提供标准化的AI超级计算机方案。那时候我们还没收购**Mellanox**，但已经会告诉客户用哪款交换机、怎么配置、怎么部署。按照官方架构搭完，一万块GPU的集群开机就能跑。 这和传统超级计算机形成了特别鲜明的对比。我参与美国能源部超级计算机项目时，无论是**Titan**、**Summit**还是**Sierra**，这些超级计算机硬件安装完之后，往往还要经历长达半年的Bring-up阶段。所谓Bring-up，不是芯片坏了，而是整个系统要不断调网络配置、节点通信、软件版本和各种边界条件，才能真正稳定运行。所以，真正难的从来不是把一万块GPU装进机柜，而是让这一万块GPU连续训练几个月不出问题。客户买的不是理论峰值性能，而是能立即投入生产的算力平台。 **大飞**: 在系统设计路线上，两家公司选了不同的方向： 1. **Google TPU**: 采用3D Torus拓扑，结合**光路交换**（Optical Circuit Switching, OCS）来动态绕过故障节点，延续了超算思维，强调规则化拓扑与超大规模扩展能力。 2. **英伟达**: 在节点内部构建**Clos网络**，采用专有的超低时延互连技术以减少传统以太网通信开销，在更大规模的数据中心层面则使用标准以太网，兼顾开放生态。 **比尔·达利**: **路易斯·巴罗索**（Luiz Barroso）和**乌尔斯·霍尔兹勒**（Urs Hölzle）写过一本经典的书叫《**The Datacenter as a Computer**》，讲的是如何把整个数据中心当成一台计算机来思考，这个概念影响了整整一代系统工程师。在AI时代，架构师关注的不再只是缓存命中率、流水线效率或分支预测，而是GPU之间如何同步、交换机怎么降低拥塞、液冷如何提升机柜密度，以及训练任务如何跨几千个节点保持一致性。芯片第一次变成了整个系统里的一个组件。 **诺曼·朱佩**: 很多初创企业有优秀的芯片设计能力，却缺少一样更难积累的东西，就是构建超大规模系统的经验。这些经验不会写进论文，也很难靠**EDA**工具获得，它来自一次又一次真实部署之后踩过的坑，比如网络怎么恢复、节点怎么热替换、训练任务怎么容错、电源和液冷怎么协同工作等等。 **比尔·达利**: 正是这些看起来不起眼的系统细节，构成了英伟达和Google相比很多创业公司的真正优势。今天复制一颗AI芯片或许还有机会，但复制一套能稳定运行几万GPU的数据中心，门槛要高得多。AI芯片战争，已经进入了系统时代。 ### 软件护城河与编译哲学 **戴夫·帕特森**: 如果把英伟达或Google的芯片版图全部交给一家创业公司，但不给它们CUDA、编译器和软件栈，它们还能竞争吗？ **诺曼·朱佩**: 当年设计TPU的时候，团队一直遵循我博士导师**约翰·轩尼诗**（John Hennessy）的一条原则：“不要把能够在编译期完成的事情，留到运行时。”这句话几乎成了整个TPU架构的设计哲学。第一代TPU的架构团队只有十个人，其中两位就是编译器工程师。也就是说，Google不是先设计一颗芯片再让软件团队去适配，而是编译器从芯片诞生的第一天就参与了架构定义。TPU的很多硬件决策不是为了增加灵活性，而是为了降低编译难度。一台优秀的AI处理器，应该尽可能让编译器提前完成调度、资源分配和数据布局，而不是把复杂决策交给运行时动态处理，这样既能降低硬件复杂度，也能提升整体执行效率。这种思想延续了RISC架构最经典的原则：把复杂性交给编译器，而不是指令本身。 TPU之所以能保持长期兼容，是因为虽然每一代TPU都会增加HBM容量、扩大片上存储、提升带宽，但是整体架构并没有发生根本变化。就像一台PC不断加内存，却依然能运行同一套软件一样。Google真正保持稳定的不是晶体管数量，而是编程模型。对云平台来说这一点远比单代性能更重要，因为Google内部有数量庞大的训练框架和Kernel，一旦架构频繁改变，迁移成本会远高于性能收益。 **比尔·达利**: 2006年**CUDA**刚刚发布时，GPU计算面对的根本不是AI，而是成千上万种传统科学计算程序，比如天气模拟、流体力学、金融分析、分子动力学。这些代码大多是用Fortran写的，很多项目动不动就有上百万行代码，真正难的是怎么让这些程序愿意迁移到新平台。所以英伟达投入了巨大的资源构建CUDA生态，从CUDA语言、FFT和BLAS等数学库、矩阵计算库、编译器到调试和分析工具，一应俱全。那是一项远比设计GPU更艰难的工作。 真正的转折发生在2010年前后，当时英伟达和**吴恩达**在斯坦福合作开发深度学习软件，后来慢慢演变成了**cuDNN**。团队本来以为又要面对一个复杂的软件生态，结果意外发现，深度学习只有少数几个关键Kernel，大模型最重要的计算几乎全部集中在卷积、矩阵乘法这些有限的算子上。那种感觉简直像一种解脱，只要把这些Kernel做到极致，整个模型都会同步提升性能。 每当一个深度学习模型第一次跑起来的时候，团队通常都会在接下来的半年里再把它提速一倍。原因不是GPU升级了，而是大家不断发现新的性能瓶颈，重新优化Kernel、内存访问和调度方式。AI软件和传统软件最大的区别在于，它不是一次性交付，而是持续进化。今天大家感受到的大模型推理越来越快，很多时候不是因为换了新硬件，而是来自编译器、Kernel、算子融合和运行时的不断迭代。硬件提供的是天花板，软件决定的是最终能达到多少。 ### AI正在填平软件壁垒 **戴夫·帕特森**: AI会不会填平软件的护城河呢？ **比尔·达利**: 任何软件护城河都在被显著削弱。只要你有一个软件库的规格说明，让**Claude**去重新实现一遍，已经不是什么难事了。现在你只要跟Claude说一句“帮我写个软件栈”，然后去过个周末，它可能就写出来了。这种变化对芯片设计的影响是深远的，未来的芯片设计软件，可能就是一个你可以直接对话的大模型。对于普通工程师，AI助手大约能带来两倍的生产力提升；对于优秀工程师，生产力甚至提升了十倍。未来的价值在于知道该设计什么，而不是手动画逻辑门。把AI当作你的合伙人，专注于人类独有的创新思考。 **诺曼·朱佩**: 软件护城河确实正在变浅。 **戴夫·帕特森**: 正在被沙子填满，人们快能直接走过去了。 ### 前沿技术辨析与能源瓶颈 **大飞**: 整场对谈中，两位专家还对多个前沿技术路线进行了辨析： * **量子计算会不会颠覆AI？** **比尔·达利**: 几乎不会。量子计算真正擅长的领域是模拟量子化学和通过Shor算法破解密码。AI恰恰是海量数据、相对较小计算量的架构，与量子计算的优势领域完全不重叠。 * **为什么不搞模拟计算AI芯片？** **比尔·达利**: 天下没有免费的午餐，也没有免费的乘法。模拟计算看似高效，但构建真实系统时会面临测试、可靠性、存储等一系列困难。在数字系统里你知道结果对不对，而在模拟系统里，验证本身就极其困难。 * **数据中心与边缘计算的关系？** **比尔·达利**: 一般原则是能放在数据中心做的就尽量放在数据中心，因为其交付算力的成本低得多。只有因延迟要求、离线运行可靠性或本地海量数据无法回传时，才需要边缘计算，需按实际场景权衡。 * **数据中心能源短缺现状** **比尔·达利**: 因为数据中心的离网发电需求太旺盛，工业燃气轮机的订单已经排到了五年后，甚至有公司把退役飞机上的喷气发动机拆下来改成发电机。 ### 给年轻工程师的建议与职业法则 **戴夫·帕特森**: 请两位给年轻的芯片工程师和AI芯片从业者一些建议。 **诺曼·朱佩**: AI会不断变化，但底层原理不会。建议年轻工程师把更多的时间投入到计算机体系结构、编译器、操作系统、网络和数学这些基础能力上，而不是只学某一个热门框架。今天流行的是Transformer，未来模型可能会变，但基础能力始终适用。很多看起来突然成功的技术，背后往往已经做了十年以上。 **比尔·达利**: 今天最有价值的工程师，已经不是只会设计GPU或者只会写Kernel的人。真正优秀的人需要理解整个系统如何协同工作，从芯片架构、内存体系、网络互连，到软件栈、编译器、数据中心部署，未来最大的创新几乎都会发生在这些交叉领域。 如今AI正在进入医疗、生物、机器人、科学计算等各个行业，真正稀缺的人才不一定是最懂AI的人，而是既懂一个行业又懂AI的人。“生物+AI”、“材料+AI”、“医疗+AI”、“芯片+AI”，这些垂直领域未来会诞生大量新机会。我们在CUDA、TPU、互联网络上的成果，都是经历了十几甚至几十年的持续积累。真正重要的是持续解决真正的问题，而不是追逐每一次风口，选择值得长期投入的问题并坚持做下去。 **大飞**: 整场对谈持续了一个多小时，但比尔·达利和诺曼·朱佩最终传递出的观点却高度一致：过去几十年，半导体行业的竞争单位是一颗CPU、一颗GPU；今天，竞争已经变成了一整套AI基础设施。从FP4、稀疏计算，到HBM、液冷、光互连，再到CUDA、编译器和调度系统，每一层都在共同决定大模型最终能跑多快、成本有多低。当越来越多云厂商开始自研芯片时，真正难复制的早已不是晶体管，而是那些藏在系统背后的工程经验。正如比尔·达利所说，真正的产品，从来不是一颗芯片，而是整个系统。感谢收看，我们下期再见。