设计加速与物理瓶颈
大飞: 大家好,这里是最佳拍档,我是大飞。我们先来设想一个场景:假设你是一位芯片创业者,手里的AI设计工具足够聪明,3个月就完成了一款新芯片的全部设计。放在几年前,这个速度是不可想象的。
但是你很快会发现一个有点残酷的现实:距离这颗芯片真正能用上,还有9个月。其中晶圆厂流片要3个月,先进封装要3个月,最后装进机架级方案里调通,又得花掉不少时间。等产品落地,AI世界的工作负载可能早就变了模样。
这个判断来自帕特·基辛格(Pat Gelsinger)。他18岁加入英特尔(Intel),是386设计团队的第4位工程师、486处理器的架构师,后来执掌VMware,又回到英特尔当CEO,如今以Playground Global普通合伙人的身份重新做早期投资。最近他做客a16z的播客,和主持人拉古·拉古拉姆(Raghu Raghuram)、吉多·阿彭策勒(Guido Appenzeller)聊了53分钟。
这场对谈表面上的主题是“为什么现在是做硬件最好的时机”,但听完全程你会发现,他真正回答的是一个更尖锐的问题:当AI让设计变便宜之后,什么反而会变贵?
从技术员到486架构师
大飞: 话题从基辛格的职业生涯开始。基辛格16岁意外拿到了一笔奖学金,跳过大学直接进了技校。高中最后一年半,英特尔来学校招聘,他此前从没坐过飞机。面试官叫罗恩·史密斯(Ron Smith),后来写道:基辛格是他当天面试的第12个人,连续面12个人,到最后已经分不清谁是谁了;但他说,12号房间那个人聪明、好斗、又傲气,很适合待在那儿。
就这样基辛格进了英特尔,最初做技术员,286末期调入设计团队,之后成为386团队的第4位工程师,以及486的架构师和设计经理。这些工作都是他在斯坦福读书期间完成的,白天学习,晚上实践。用他自己的话说,这就是你能拥有的最好的职业。
他还讲了一件上学时的事:一位教授在课堂上提出了一种全新的超前进位加法器设计,基辛格因为在斯坦福的课上讲过386的进位前瞻加法器,所以就去试了试。两天后跟教授说,这行不通。接下来两周,他和教授在课堂上反复争论那个设计为什么不行,而教授有一本正要出版的书恰好用了那种设计,时间非常紧迫。基辛格说,这种互动正是硅谷独特的原因之一:你带着自以为的真理而来,学生告诉你事实并非如此,下一节课你回来说,好的,我查过了,你是对的,那是过时的信息。
现代EDA与AI新起点
拉古·拉古拉姆: 486是你最大的成就。今天的人回看Blackwell,会不会说那是AI接管设计流程之前的最后一代微处理器呢?我们现在是不是也在经历类似的转型期呢?
帕特·基辛格: 486发生在人们的想象之前,而且它成了现代EDA行业的一部分。当时做高层设计描述没有Verilog,英特尔就自己发明了硬件描述语言,我还亲手写了编译器。当时也没有自动布局布线,我们和伯克利的阿尔贝托·桑乔瓦尼-文森泰利(Alberto Sangiovanni-Vincentelli)及其学生一起,做出了第一个路由和第一个自动化时序管理。可以说,现代EDA行业的许多基础,就是从那颗芯片开始奠定的。
我认可这个类比。像ChipNeMo这样的东西,算是AI的第一性原理在芯片设计流程里的应用。但是我也要提醒,有些设计仍然非常困难,模拟和射频部分就是最好的例子,目前还无法被AI处理,因为要获得这些能力需要大量的硅数据。你要么在模拟电路设计上变得非常保守,用AI辅助;要么就得用最笨的办法手工完成。逻辑功能这块,确实已经能交给AI工具了。我真的觉得它会有点像486那样,我们以后会回顾这段历史,然后说:没错,那是芯片设计新时代的开始。
当你拥有让某件事变得简单的技术时,那就意味着瓶颈搬到了别的地方。
芯片制造与机架级工程
拉古·拉古拉姆: 假设几个聪明人一起研发一款面向未来的新芯片,对AI工作负载的理解足够好,放开AI工具,3个月内就能拿出很棒的设计,模拟元件都采取保守做法。但接下来呢?
帕特·基辛格: 首先,我不可能在3个月内从晶圆厂拿到任何东西,前提还是我拥有那种超级强大的设计流程。然后还要做先进封装,3D封装越来越复杂,大概又要3个月。最后还要把它放进机架级方案里,因为现在什么都不是芯片了,而是机架。加在一起,9个月。我花3个月设计好它,但距离真正开始使用它还有9个月。
怎么压缩这个过程呢?需要新的光刻技术,需要一种不用在量产前就投入5000万美元做掩膜的设计流程。我现在可以在3个月内完成设计,为什么还要花一年半才能真正拥有规模和软件?等那时候,我对AI工作负载的理解可能早已不再适用了。
从历史上看,Graphcore的设计其实并不差,但世界已经向前发展了。AI让设计这部分变简单了,可所有生产规模的问题会成为一个巨大的瓶颈。
内存也是绕不过去的一关。HBM是一段糟糕的记忆,只是我们现在能拿到的最好的一个。它的比特密度非常差,受限于边缘带宽,有电力问题,还有散热问题。DRAM芯片不喜欢高温,把所有东西集中在一个地方,把AI交给它,这太糟糕了,因为这是一个内存计算工作负载。
功耗同样棘手。目前的电力模拟技术大多存在缺陷,没有好的三维建模工具来处理功率、功率耗散和热点,你本质上是在保护带(guard band)里运行,它几乎耗掉了你的全部功率余量。40%的功率都投入到了保护带中。所以功率建模必须大幅提升,配送模式也得跟着变。
芯片百家争鸣与行业收敛
吉多·阿彭策勒: 现在感觉有上百个AI推理加速器芯片,我连名字都认不全。为什么你们要资助这么多项目呢?
帕特·基辛格: 历史上从来没有过100家相互竞争的处理器供应商存在于任何行业。眼下这种百花齐放的景象只是暂时的,最终数量会收敛到少数几个。
理由有几个:一个是计算环境里正在冒出来的异质性。现在有专门的预填充和解码环节,人们还在说需要更细的层级划分,计算舰队在整个工作负载中变得越来越细致。这种情况在历史上任何时候都是不可持续的。当我研究推理模型时,想要的其实是一个看起来更像CPU的东西。我非常不喜欢这种极端的专业化,因为工作负载还会继续变。
再一个,今天的模型即将经历一些进化上的突破。我觉得大语言模型有点接近极限了,人们在思考如何真正进行三维建模,以及涉及分子和化学物质时,平面化的大语言模型方法就不太适用了。一些最有趣的工作负载会回到高性能计算式的做法里,突然之间,64位精度会再次成为关键。想象你让AI模型现在引出五个最有趣的化学分析,这些化学算法需要高精度运行,那哪一部分会成为主导呢?所以在我看来,优化AI系统会把我们引回某些更传统的高性能计算方向,而那些越来越专业化的AI芯片,未必押对了方向。
最后还有资本和规模这道门槛。100多家公司不可能全都赢,因为归根结底,你必须在这些事情上达到足够的规模。规模化意味着你必须赢,必须要筹集资金,必须给它分配工作负载。资本市场会决定哪些是获胜的队伍、优秀的设计以及优秀的架构。行业整合必然会发生,而且赢家会选出赢家。像OpenAI、英伟达(Nvidia)、Anthropic这样的公司会说:“我喜欢这个”,因为它不仅仅是硬件,关键在于硬件和软件代码如何协同演进。
异质性与资本硬约束
拉古·拉古拉姆: 历史上我们通常只有一两种架构,因为不同的指令集很难实现,你必须构建多个编译器,软件的复杂性规定了你只能拥有有限数量的硬件平台。但AI似乎改变了这一点,比如Cerebras就说人类已经无法真正对他们的系统进行编程了,智能体一夜之间就能写出优化内核。如果构建软件层变得容易,会不会带来更多的异质性,而且这种异质性会一直持续下去呢?
帕特·基辛格: 这改变了一些方面,但是有两个硬约束。第一,建造这些东西仍然需要一年半的时间。第二,不仅需要一年半把它们放上机架,现在还要回答一个问题:我能不能借到500亿美元?这不是小额的资本支出,是一笔数额巨大的资本支出,还有数据中心和电力需求。
英伟达和Grok有合作,这种异质性确实存在,但两年后你不会说Grok在英伟达体内是什么,它只不过是另一艘船而已。异质性会被抽象化,这就是抽象的意义,封装一直以来做的就是这件事。可说到底,大规模建造这些东西仍然很困难。
30年未见的存储创新
拉古·拉古拉姆: 我们记不清上一次存储器技术创新是什么时候了,你认为存储器创新即将到来吗?
帕特·基辛格: 我亲自参与过至少5种不同的新型内存架构,傲腾(Optane)就是其中之一,最终没能见到天日。我大概熟悉过去30年里业内发生过的近百种尝试,可是究竟有多少新的重大内存呢?过去30年的答案是:零。我们看到的就是DRAM、SRAM、闪存。
在我们看来,我们还没能创造出下一代物理学,能实现低成本、高性能、有弹性、可制造的存储器。过去三四十年,存储行业是个糟糕的行业,你赚一年钱,接下来4年就赔钱,5年里只有1年能赚钱,因为它是被如此暴力的商品化周期所驱动的。
但是最近情况变了,三大内存供应商跻身全球最有价值的20家公司之列。任何关注AI工作负载的人都知道,AI本质上是一种内存密集型的负载。资本的组合加上技术的渴求,正在把存储创新往前推。有两个方向让我兴奋:一个是要解决边缘带宽限制这个根本问题,我们投资的Dmatrix就在做这个,我认为Cerebras的技术也会跟进,你必须想办法用全新的底层结构把内存和计算能力结合起来。我刚投资了一家新的存储器公司,技术还在保密阶段。还有很多人在做铁电材料,寻找非电容式的高密度、高性能、可堆叠式的存储器。
我的判断是,30年来的首次内存创新即将到来。这个行业过去4年市值增长了2.5万亿美元,没想到区区几百亿美元的投入就能带来这么大的变化。
三维堆叠的制造噩梦
拉古·拉古拉姆: 我们的芯片会以多快的速度长高呢?那种像16层夹心饼干、逻辑和内存完美融合的芯片,会怎么发展呢?
帕特·基辛格: 堆叠的问题在于,堆栈的价值会随维度升高,但是任何单层的良率在堆叠过程中都必须持续满足要求。良率本质上是不可能线性增长的,必须呈指数级增长。做8到16层的时候,算一算数学就知道非常非常难,生产流程必须近乎完美。如果裸片上有裂纹,不管你给系统建了多强的容错,那就是一片废片。
所以我不是那种疯狂的16层、32层玩家,我认为会出现漂亮的三层、四层、五层堆叠,那才是最佳平衡点。
即使这样,工程难题还是一大堆。比如计算瓦片要多大?现在一切都受限于光罩尺寸。还有内存堆栈是双栈还是四栈呢?我认为大概是2到4个。然后电力输送要融入其中,我想在Z轴方向把电源轨接进去,还需要相当智能的重布线层来分发信号。把所有这些部件组装起来,简直是一场制造噩梦,但物理学正把我们引向那个方向。散热也需要新的材料,钻石和其他材料被认为可能有帮助,还有更好的液冷技术。我们工程师都快变成水管工了。
光电互联与共封装光学
吉多·阿彭策勒: 另一种思路是把内存从封装里取出来,计算和内存之间完全用光纤连接,你怎么看?
帕特·基辛格: 那是另一个极端,我不喜欢。光电转换越多,伴随的损失越多。假设每计算单位的飞焦耳数现在非常不错,但是每比特通信的飞焦耳数相比之下要糟糕1000倍。
至于存内计算(PIM),也就是把部分计算推入内存,我也不喜欢,因为那样就限制了工作负载。大多数PIM理念已经存在了25到30年,我认为再过25到30年它们还会待在原地。我要的是强大的内存带宽、高密度高性能的产品,并且让它接近真正的计算引擎,这才是更具普适性的方案。
拉古·拉古拉姆: 我是你的铁杆粉丝,你主张把所有的I/O功能迁移到光学器件。
帕特·基辛格: 我大约25年前就宣布铜已死,这件事现在正在发生。虽然大规模生产环境里还在大量使用铜,但是铜正在变成越来越短的波导材料。突然之间,让铜在5米内工作比让光学在100米内工作还要贵,这就是物理学在推动。
为什么还没完全搬过去?因为这是一个复杂的供应链,从来没有进行过大规模的测试。我预计2028、2029年是转折年,行业都在关注某种形式的共封装光学(CPO)或者近封装光学。英伟达已经表明了这一点,那个东西简直是工程奇迹,也是制造业的噩梦,需要整个行业的努力。如果今天就拥有更成熟的光学供应链,我们也许能构建出更可扩展、成本更低的环境。
网络架构也会跟着变。我的好朋友、斯坦福教授尼克·麦基翁(Nick McKeown)常讲,过去建网络是让任何数据包发往任何地方,完全不知道它会去哪里;但是AI几乎正好相反,处理的是规模庞大且可预测的流,它看起来更像是一个交换机,而不是一个数据包。所以向光学的过渡,加上可预测的大流,会一路走到光路交换(OCS),那才是正确的架构风格。至于是纵向扩展(scale-up)还是向外扩展(scale-out),规模大到一定程度,两者的界限就模糊了。
我还认为,训练与推理的分离以后会越来越少,因为持续学习会出现,推理环境也需要更新模型权重。
能源瓶颈与爱迪生的复仇
帕特·基辛格: 从基本原理看,美国在能源上做得非常糟糕。过去10到15年,煤炭退出和可再生能源增加的速度相当,整个国家的整体能源容量基本陷入停滞。而在人工智能和数字时代,能源产能等于经济产能。接受这个论点的话,那就等于说一个国家的经济能力15年保持不变。过去5年虽然有大量涌入,但是能源产能每年只增加约4%,这远远不够。
所以我的预言是,我们会看到越来越多数据中心项目违约,甲骨文最近的评论就是最早的迹象。人们会开始问:为了担保我作出的资本承诺,我真的有电力吗?
那解法是什么呢?核电。美国上一个核反应堆投入使用已经是20年前的事了,这是一个被停掉的、非常有潜力的行业。而可再生能源对外部供应链有很深的依赖,燃气轮机的交付周期现在是8年,环境很艰难。
配送效率也要大幅提高,电力网络要过渡到800伏直流配电,我称之为“爱迪生的复仇”。还需要更好的电力转换,我们有一家公司做垂直方向的氮化镓(GaN)功率器件,能做到800伏转48伏、800伏转12伏,甚至一步转换到5伏。固态变压器、开关、输电网络,会有很多的创新。冷却系统也一样,涡轮机、制冷剂,突然之间又会冒出一批令人兴奋的新技术。
对于搞硬件的人来说,文艺复兴就在眼前。我时隔25年不得不回去重读卡诺效率和热力学第一定律。过去五代英伟达芯片的每太拉浮点功耗基本上是呈一条直线的,这可不是什么好事。我们有一家叫Snowcap的超导公司,提供了从根本上改变物理学的机会,功率性能可以提升1000倍。
AI时代的虚拟机与智能体治理
大飞: 访谈最后回到了他的老本行——虚拟机。基辛格曾经执掌VMware多年,他认为无论从基础设施层面还是应用层面,虚拟机抽象层仍然是基础性的抽象模型,在计算层次结构中理应永远占有一席之地。
吉多·阿彭策勒: 如果今天重建VMware,会有什么不同呢?
帕特·基辛格: 在AI领域,问题变了:变成了谁来管理这些智能体?谁来创建安全配置文件?以及谁来管理智能体的绩效呢?虚拟化和管理的每一个基本要素,都需要在下一个计算层次结构中重新构建。
如果今天重建VMware,那就是为智能体服务的。人类制定政策、描述宪法,就像Anthropic提出的那种宪法式护栏理念,而虚拟机的各个方面服务于智能体。如何培养优秀的智能体、确保它们的安全、提高性能、做好抽象和迁移,这些都会有新的实现方式。总的来说就是:人类负责制定规则,智能体负责执行。
总结:硬件的文艺复兴
大飞: 整场对谈听下来,基辛格最核心的一个观点就是:任何让事情变简单的技术,都会让瓶颈转移到别的地方。AI让芯片设计变便宜了,晶圆厂产能、先进封装、内存、电网、冷却和光学互联就变得更稀缺。硬件复兴不是因为它变简单了,而是因为它又变难了。对能搞定难的那部分人来说,这才是最好的时机。
感谢收看,我们下期再见。