--- author: Best Partners TV date: '2026-03-12' guest: '' layout: post.njk source: https://www.youtube.com/watch?v=2LcxRQJuA54 speaker: Best Partners TV tags: - deep-learning-hardware - gpu-evolution - ai-compute - quantization - inference-bottleneck - system-scaling title: AI算力革命：硬件如何驱动深度学习的爆发 summary: 本文深入剖析AI算力爆炸背后的硬件创新，揭示其非源于摩尔定律，而是架构演进的功劳。涵盖数字表示、指令集、稀疏性、系统扩展，并预警Agent推理瓶颈，展望对数表示等未来方向，强调能耗与可编程性。 insight: '' draft: true series: '' category: ai-ml area: tech-engineering project: [] people: [] companies_orgs: - NVIDIA products_models: - AlexNet - CUDA - Tensor Core - Blackwell architecture - NVLink - NVSwitch - GB200 NVL72 - Transformer media_books: [] status: evergreen --- ### AI算力革命：硬件如何驱动深度学习的爆发 大家好，这里是最佳拍档。在今天这个AI以前所未有的速度席卷全球的时代，我们每天都在惊叹于各种**大语言模型**（Large Language Model: 基于海量文本训练的AI系统）的聪明才智，惊叹于它们能够写代码、作诗，甚至协助科学家进行新药研发。但是，你是否曾停下来思考过，究竟是什么力量，在物理层面上支撑着这些如同拥有魔法般的智能呢？为什么二十世纪八十年代就已经被提出的**神经网络**（Neural Network: 模仿人脑结构的计算模型）算法，直到过去这十几年才迎来了真正的爆发呢？答案其实就隐藏在我们视线之外的硅片之中，隐藏在那些日夜轰鸣的数据中心里。 今天，我们将跟随**英伟达**（NVIDIA）首席科学家兼研究副总裁比尔·达利的视角，深入探究一下深度学习硬件的演进趋势。比尔·达利不仅是斯坦福大学计算机科学系的前系主任，更是美国国家工程院院士。他亲自参与并见证了过去十几年里计算硬件的疯狂迭代。这期视频，我们将扒开AI华丽的软件外衣，用最底层的硬件视角，拆解**算力**（Compute Power: 指计算机的处理能力，常用于衡量AI训练和推理的性能）大爆炸的真实物理逻辑。 ### 深度学习的三大基石与GPU的崛起 要理解深度学习的爆发，我们需要先回顾一下它的三大核心基石。事实上，深度学习并非一夜之间凭空出现的奇迹。早在二十世纪八十年代，像约翰·霍普菲尔德这样的先驱就已经提出了经典的神经网络架构，**反向传播算法**（Backpropagation Algorithm: 用于训练神经网络的优化算法）和**随机梯度下降**（Stochastic Gradient Descent: 一种优化算法，用于最小化损失函数）等核心数学工具也早已被确立。然而，在接下来的三十年里，这些算法仅仅停留在学术界的实验室里，被视为一种“有趣的奇技淫巧”，根本无法解决现实世界中的复杂问题。 直到二十一世纪初，第二个基石——海量数据的出现，才让局面有了一丝转机。2009年，由李飞飞主导的**ImageNet数据集**（ImageNet Dataset: 一个大规模的图像识别数据集）问世，为机器视觉提供了超过一百万张带有高质量标签的图像。但是，即便有了精妙的算法和海量的数据，当时的学术界依然面临着一个令人绝望的瓶颈：**算力**极度匮乏。使用当时的**CPU**（Central Processing Unit: 中央处理器，擅长串行计算）去训练一个拥有几千万参数的模型，可能需要耗费几个月甚至几年的时间，这在工程实践上是完全不可接受的。 真正点燃深度学习革命之火的，是第三个基石，也就是硬件。2012年，杰弗里·辛顿的学生亚历克斯·克里切夫斯基和伊利亚·苏茨克维尔提出了著名的**AlexNet**模型。他们做出了一个极具历史意义的决定：使用两块英伟达的**GTX 580 GPU**（Graphics Processing Unit: 图形处理器，擅长并行计算，现已成为AI核心算力来源）来进行模型训练。凭借GPU强大的并行计算能力，他们仅用两周时间就在ImageNet数据集上完成了训练，并且以碾压第二名的成绩，夺得了当年的视觉识别挑战赛冠军。那一刻，犹如普罗米修斯盗取了天火，深度学习的算力引擎被正式点燃，整个AI领域从此进入了狂飙突进的时代。 那么，GPU究竟是如何从处理游戏画面的图形芯片，摇身一变成为AI算力核心的呢？这其中有着极其深厚的历史渊源。如果你认为GPU的通用计算能力是自然演化的结果，那就大错特错了。它的底层架构革命，离不开早期美国国防高级研究计划局（DARPA）等政府机构对基础研究的长期资助。在二十世纪九十年代和二十一世纪初，学术界一直在探索如何突破传统计算机架构的性能极限。比尔·达利在斯坦福大学带领的团队，开发了一台流处理超级计算机，并创造了一种名为Brook的流处理编程语言。当时的一名研究生伊恩·巴克参与了这个项目。后来，伊恩·巴克加入了英伟达，他将Brook的核心理念带入了工业界，并且在2006年主导推出了革命性的**CUDA**（Compute Unified Device Architecture: 英伟达推出的并行计算平台和编程模型）架构。CUDA的出现，打破了以往只能用晦涩的图形API来调用GPU算力的局限，让全球数以百万计的程序员能够使用标准的C语言，轻松调用GPU内部成千上万个计算核心，来解决复杂的通用数学问题。这就好比是将一台只能用来播放音乐的留声机，改造成了一台可以执行任何指令的通用机床。没有这段学术界与工业界的交融历史，就没有今天主导AI时代的算力霸主。 ### 算力飞跃的真正驱动力：架构创新而非摩尔定律 当我们把时间线拉回到现在，审视过去十二年间深度学习硬件的发展，我们会发现一个极其惊人的数据：从2012年到今天，单块GPU芯片在AI推理任务上的性能足足提升了五千倍。同时，在训练端，从早期的残差网络到如今包含数万亿参数的混合专家模型的**Transformer**（Transformer Architecture: 一种基于自注意力机制的深度学习模型架构）架构，大模型对算力的需求在短短十年间飙升了一千万倍。 很多人可能会下意识地认为，这种性能的飞跃应该归功于**摩尔定律**（Moore's Law: 预测集成电路上可容纳的晶体管数量约每两年翻倍），归功于**台积电**（TSMC）等晶圆代工厂不断缩小的芯片制程。然而，事实并非如此。比尔·达利在演讲中展示了一组非常残酷的数据拆解：在这五千倍的性能提升中，从28纳米工艺一路演进到如今的4纳米工艺，半导体物理制程的进步，仅仅贡献了大约三倍的性能提升。你没有听错，五千倍的性能飞跃中，物理工艺的贡献微乎其微。 那么，剩下的那一千六百多倍的性能提升，究竟是从哪里凭空榨取出来的呢？答案是：极其极致的计算机体系结构创新。这也是整个科技史中最令人拍案叫绝的工程奇迹之一。这些创新主要集中在三个维度：分别是**数字表示法的降维打击**、**复杂指令对开销的无情抹杀**，以及对**神经网络稀疏性**的巧妙利用。 #### 1. 数字表示法的演进：精度与效率的权衡 我们先来深度剖析第一个维度——数字表示法的演进。这部分贡献了高达三十二倍的性能提升，是算力飞跃的最大功臣。在早期的计算机科学和科学计算中，科学家们习惯于使用三十二位单精度浮点数**FP32**（Single-precision floating-point format: 32位浮点数表示法），甚至六十四位双精度浮点数FP64来进行计算。这种极高精度的数字表示法对于模拟宇宙大爆炸、天气预报或者核爆炸流体力学是必不可少的。当研究人员最初在2012年把神经网络搬到GPU上时，他们顺理成章地沿用了FP32格式。 但是，AI模型的本质是一种基于统计学概率的概率模型，它在计算过程中天然具备对噪声和低精度的极高容忍度。这意味着，我们根本不需要小数点后几十位的精确度来判断一张图片里是一只猫还是一只狗。硬件工程师们敏锐地捕捉到了这一点，从FP32降级到十六位浮点数**FP16**（Half-precision floating-point format: 16位浮点数表示法），再到八位整数**Int8**（8-bit integer format: 8位整数表示法），甚至到最新的Blackwell架构中支持的四位浮点数**FP4**（Four-bit floating-point format: 4位浮点数表示法）。精度的每一次砍半，带来的都是算力密度的指数级暴增。 为什么降低精度能带来如此巨大的提升呢？我们需要从芯片的底层物理结构来理解。在硅片上，执行乘法运算的硬件乘法器的物理面积，是与处理位数成平方关系的。也就是说，一个16位乘法器的面积，只有32位乘法器的四分之一；而一个8位乘法器的面积，更是缩小到了极小的一块区域。面积的减小意味着在相同的硅片尺寸下，硬件设计师可以塞进成倍增加的计算单元。 更关键的是，降低精度极大地缓解了**内存墙**（Memory Wall: 指内存访问速度与处理器速度差距过大导致的瓶颈）的瓶颈。在现代计算中，将数据从内存搬运到计算核心所消耗的能量和时间，远远大于执行加减乘除本身。当你使用FP4代替FP32时，每次从内存中读取一个权重参数，数据量直接缩小了八倍。这意味着系统内部的通信带宽变相增加了八倍，数据搬运的能量消耗也随之骤降。正是这种舍弃冗余精度、换取极端计算密度的策略，为AI硬件带来了三十多倍的红利。 #### 2. 复杂指令与硬件加速：效率的革命 接下来，我们来看第二个维度——复杂指令的引入。它贡献了大约十二点五倍的性能提升。要理解这一点，我们必须先了解传统计算机，也就是**冯·诺依曼架构**的一个致命缺陷，那就是指令开销。在传统的CPU甚至早期的GPU中，每一条机器指令的执行，都需要经历一个繁琐的生命周期：首先，处理器要从指令缓存中获取指令；然后，需要对指令进行解码，弄清楚要执行什么操作；接着，要从寄存器文件中读取操作数；最后，才是将数据送入**算术逻辑单元ALU**（Arithmetic Logic Unit: 算术逻辑单元，执行算术和逻辑运算）进行真正的计算，并将结果写回。 比尔·达利揭示了一个残酷的物理现实：在28纳米工艺下，执行一个简单的浮点乘加运算**FMA**（Fused Multiply-Add: 一种将乘法和加法结合在一起的运算），计算本身仅仅消耗1.5皮焦耳（pJ）的能量；但是，为了让这个计算发生，处理器在取指、解码和读取寄存器等准备工作上，竟然要消耗高达30皮焦耳的能量！换句话说，系统的能量有95%都被浪费在了“管理开销”上，只有5%用于真正的“搬砖干活”。这就好比是一家公司，管理层的人数和开销远远超过了一线干活的员工，这显然是极度低效的。 为了消除这种荒谬的开销，硬件工程师在架构中引入了专用的硬件加速模块，最著名的代表就是英伟达的**张量核心（Tensor Core）**。在Volta架构及其后续架构中，工程师们引入了**矩阵乘法累加MMA**（Matrix Multiply-Accumulate: 矩阵乘法累加运算，Tensor Core支持的复杂指令）这种复杂的超长指令。以前，计算两个4x4的矩阵相乘，需要执行几十上百条独立的标量乘法和加法指令，每一次都要经历完整的指令生命周期。而现在，张量核心允许硬件在收到一条宏观指令后，在内部自动且并行地完成几十次乘加运算。通过这种方式，原本极其昂贵的取指和解码开销，被摊薄到了几十次甚至上百次计算中。指令开销占总能量的比例，从荒谬的95%以上，被硬生生压缩到了11%左右。计算单元终于摆脱了繁重的文山会海，得以全力以赴地进行纯粹的数学冲刺。 #### 3. 稀疏性的巧妙利用：挖掘潜在算力 第三个维度是**稀疏性**（Sparsity）的利用，它带来了大约两倍的性能提升。神经网络在训练完成后，内部往往存在大量的冗余，很多权重参数的数值非常接近于零，对最终的预测结果几乎没有任何贡献。这就像是人类大脑在学习新技能时，会修剪掉不必要的神经元连接一样。早在2015年，来自斯坦福大学的韩松博士等人，就发表了关于深度神经网络压缩和修剪的奠基性论文，证明了我们可以直接去掉网络中90%的权重，而丝毫不损失模型的准确率。 然而，将理论上的稀疏性转化为硬件上的实际性能提升，是一项极具挑战性的工程任务。因为如果零散分布的零权重毫无规律，硬件在计算时就需要不断地进行条件判断，这种不规则的计算模式，对高度依赖规律并行计算的GPU来说简直是噩梦。为了解决这个问题，英伟达在Ampere架构中引入了所谓的“2比4**结构化稀疏**”（Structured Sparsity: 一种通过特定规则移除神经网络中冗余权重的方法）。它的逻辑非常巧妙：在每四个连续的权重参数中，算法会强制将其中的两个较小值清零，并且只保留两个较大的非零值。然后，硬件会对这些非零权重进行压缩，并附加少量的元数据，来记录它们原本的位置索引。在计算时，专用的稀疏张量核心会读取这些压缩数据，利用元数据直接跳过与零权重的乘法运算，只处理有用的数据。这种在硬件底层强行定制的规则，既保持了数据流的整齐划一，又直接省去了一半的计算量和内存读取量，从而带来了实打实的双倍性能飞跃。 当我们把这三个维度的微观创新全部叠加在一起时，就得到了过去十年令人窒息的算力增长曲线。 ### 系统级扩展：构筑AI的超级算力网络 但这仅仅是单芯片内部的故事。面对如今动辄数万亿参数的GPT-4或者更庞大的未来模型，单块芯片的算力再强，也无异于杯水车薪。这就引出了硬件发展的另一个宏大命题：**系统级扩展（System Scaling）**。 为了训练最先进的大模型，我们需要将成千上万块GPU连接在一起，让它们像一个巨大的硅基生命体一样协同工作。这其中涉及到了向上扩展（Scale-up）和向外扩展（Scale-out）两种互连技术。 在同一个机架内，我们需要GPU之间能够以极高的带宽和极低的延迟，交换巨大的矩阵数据。为此，英伟达开发了**NVLink**（High-speed interconnect technology by NVIDIA for GPU-to-GPU and GPU-to-CPU communication）总线和**NVSwitch**（NVIDIA's switch chip for connecting multiple GPUs in a high-bandwidth, low-latency fabric）交换机芯片。在最新的**GB200 NVL72**系统架构中，72块Blackwell架构的GPU，通过内部的铜缆网络，被物理连接成了一个逻辑上的巨大GPU。比尔·达利指出，在这个机柜内部，完全采用电信号也就是铜缆进行通信，是经过深思熟虑的工程决策。这是因为，尽管光纤通信在长距离传输上具有优势，但是在机柜内部如此短的距离内，光电转换模块的成本是铜缆的十倍，而能耗更是高达三倍，并且光模块的故障率相对较高。这对于要求极高稳定性的AI计算集群来说是致命的。 当我们需要连接几十个甚至上百个这样的机柜，构建包含十万张GPU的超级数据中心时，就需要依赖向外扩展技术。在这个层面上，InfiniBand或者高速以太网，成为了跨机架数据传输的骨干网络。正是这种通过高速网络编织起来的庞大算力网，才撑起了今天大语言模型那不可思议的泛化能力。 ### 未来挑战与前沿探索：Agent推理的瓶颈与新的计算范式 然而，技术的发展永远是解决了一个问题，又会迎来新的挑战。随着深度学习应用的大规模落地，我们正面临着全新的架构危机。过去，我们认为大模型的运行就是简单的一问一答。但如今，随着**Agent**（AI Agent: 能够自主感知、决策并执行任务的AI系统）概念的兴起，以及模型被赋予了**思维链（Chain of Thought）**甚至**思维树**的能力，推理的计算模式发生了根本性的改变。 比如在一个名为El Agente的内部项目中，当你向模型询问咖啡因的活化能时，大模型不再是直接吐出一个答案。相反，它会像一个物理系的研究生一样，在内部调用多种外部工具，编写分子输入文件，调用超级计算机运行**密度泛函理论**（Density Functional Theory: 量子力学计算方法）的物理模拟，然后解读计算结果，再编写代码验证，最终才给你反馈。这就意味着，对于用户的一个简单请求，大模型在后台可能要自问自答、反复推演成百上千次，这对推理系统提出了极其苛刻的吞吐量和延迟要求。 更糟糕的是，大语言模型推理阶段内在的物理矛盾，也就是**预填充阶段**（Prefill Stage: Transformer模型处理输入提示词（prompt）的阶段，高度并行）与**解码阶段**（Decode Stage: Transformer模型生成输出文本的阶段，自回归、串行化，易受内存带宽限制）的计算特性严重割裂。当你把一段长长的提示词输入给模型时，进入的是预填充阶段。此时，系统一次性获取了所有的Token，硬件可以进行高度并行的矩阵乘法计算，这个阶段是计算密集型的，GPU内部强大的算力可以得到充分释放。在这个阶段，模型还会顺便计算并存储一个极其重要的中间状态，这就是所谓的**KV缓存**（KV Cache: 存储Transformer模型注意力机制中键（Key）和值（Value）的中间状态，用于加速生成过程），用来记录上下文的上下文语义信息。 但是，当模型开始生成回复时，进入了解码阶段，噩梦就开始了。大语言模型生成文字是自回归的过程，也就是必须一个词一个词地往外蹦。每生成一个新的token，系统都必须将这个新token喂回模型，并把之前所有历史token的庞大KV缓存，从内存中完整地读取出来，参与新一轮的注意力计算。由于每次只能生成一个词，计算量变得极小，但是为了这极其微小的计算量，系统却需要搬运整个模型的数百GB的权重数据以及数十GB的KV缓存数据。这就导致解码阶段变成了严重的**内存带宽**（Memory Bandwidth: 内存与处理器之间数据传输的速率）受限型。GPU内部成千上万的计算核心，只能无所事事地干等着，苦苦期盼着龟速的内存将数据搬运过来。比尔·达利指出，如果要在解码阶段实现每秒一千个token的生成速度，以现在的模型规模计算，系统将需要高达每秒四百多TB的内存带宽，而目前最顶级的单块GPU内存带宽，也仅仅只有每秒8TB左右。这中间横亘着巨大的技术鸿沟。 面对如此严峻的挑战，未来的破局之路在哪里呢？传统的思维方式已经见顶，我们需要从更基础的数字科学和物理学中寻找答案。 第一个令人兴奋的探索方向是**对数数字表示法**（Logarithmic Number Representation: 使用对数来表示数字，可将乘法转为加法）。前面我们提到过，乘法器不仅占据了大量的芯片面积，还消耗了极大的能量。如果我们能把乘法变成加法，那将会是怎样的降维打击？在高中数学中我们都学过一个基础定理：同底数的幂相乘，等于底数不变，指数相加。如果我们放弃传统的浮点数格式，转而将神经网络的权重和激活值，全都以对数的形式存储和计算，那么在进行极其频繁的乘法运算时，硬件只需要执行简单的加法操作即可。根据比尔·达利团队的研究，这种对数表示法不仅极大简化了乘法逻辑，而且相比于同等位数的整数，它在实数轴上的数值分布更加均匀，拥有更宽广的动态范围，能够显著降低量化带来的误差。 当然，天下没有免费的午餐。对数表示法在乘法时如鱼得水，但是在神经网络还必须要做的累加操作时，却遇到了大麻烦。两个对数相加是无法直接用简单的硬件逻辑实现的。为了解决这个难题，工程师们提出了一种巧妙的混合架构：在计算乘法时使用对数加法，然后在累加阶段，通过一个专门的硬件查找表，将对数转换回传统的线性数字格式进行累加。这种精妙的平衡，极有可能成为未来几年AI芯片架构的标配。 除了对数表示法，另一种被广泛研究的技术是**符号表示法**（Symbolic Representation: 一种通过查找表或字典来表示数值的方法），或者称为基于**编码簿（Codebook）的量化**（Codebook Quantization: 将大量参数映射到少量基准值，以压缩模型大小）。它的原理更为极端，类似于我们熟悉的文件压缩。在一层神经网络中，可能有几百万个权重参数，我们使用**K-means聚类**（K-means Clustering: 一种无监督机器学习算法，用于聚类）等算法，在宏观层面上找出这几百万个参数中，最具代表性的两百五十六个基准值，把它们存入一个编码簿中。这样一来，每个权重在内存中只需要用8个比特，来表示它指向字典中的哪个基准值。当硬件需要计算时，先读取索引，然后去字典里查出真实的浮点数值再进行计算。虽然这种方法在计算时增加了查找的步骤，但是它极大地压缩了模型在内存中的体积，直击内存带宽的痛点。 既然传统的**CMOS**（Complementary Metal-Oxide-Semiconductor: 互补金属氧化物半导体，是现代集成电路的基础技术）数字电路面临着重重瓶颈，那么学术界一直热炒的**脉冲神经网络**（Spiking Neural Network: 模拟生物神经元发放脉冲的神经网络模型）或者**模拟计算**（Analog Computing: 使用连续的物理量（如电压）来执行计算的计算范式），是否会成为救命稻草呢？对此，比尔·达利给出了非常客观且残酷的判断：在现代的高级半导体工艺下，这些技术往往是个伪命题。他从最底层的能量物理学角度解释了原因。在CMOS电路中，消耗能量的主要动作是将导线上的电压状态从零翻转到一，或者从一翻转到零。这个翻转能量正比于电容乘以电压的平方。当我们用一个8位的数字信号去代表一个数值时，哪怕这个数值发生变化，平均也只有大约4个比特的导线状态会发生翻转。但是，如果我们采用模拟生物大脑的脉冲神经网络，用特定时间窗口内脉冲发出的次数来代表数值，那么为了传递同样的信息，导线上的电压状态需要发生上百次的剧烈翻转。这就意味着，脉冲网络在通信时消耗的能量，可能是传统数字表示法的几十倍以上。 至于模拟计算，它试图利用电压和电阻的物理特性，直接通过欧姆定律完成乘法和加法。虽然在计算这个特定环节确实几乎不耗费能量，但是，真实世界的系统是复杂的。你需要使用**数模转换器**（Digital-to-Analog Converter, DAC: 将数字信号转换为模拟信号的设备），将数字信号转化为模拟电压，然后经过计算后，再用**模数转换器**（Analog-to-Digital Converter, ADC: 将模拟信号转换为数字信号的设备），把模拟电流转换回数字信号。这些转换器自身的能量消耗、占据的庞大芯片面积，以及模拟信号在长距离传输时极其脆弱的抗干扰能力，导致将模拟计算推向大规模商用几乎是一条死胡同。 在算力进化的尽头，一切技术比拼终将回归到一个最基础的物理单位：焦耳。比尔·达利指出，设计未来AI加速器的心法，就是要拿着放大镜，去抠每一个皮焦耳的去向。把最频繁交互的数据，尽可能地留在离计算单元最近的**静态随机存取存储器SRAM**（Static Random-Access Memory: 速度快但成本高、容量小）里。因为从SRAM读一个字（word）只要5皮焦耳，而跑去远端的**动态随机存取存储器DRAM**（Dynamic Random-Access Memory: 速度慢但成本低、容量大）读取，则需要极其惊人的640皮焦耳。这种高达上百倍的能耗惩罚，逼迫着芯片设计者不断在芯片内部堆叠更大的缓存，甚至在未来考虑将DRAM内存，直接三维堆叠覆盖在计算芯片的上方，以此将数据搬运的物理距离缩短到极致。 最后，在这个算法一日千里的时代，硬件架构绝对不能把路走死。今天最火的是Transformer，明天可能就会被全新的**状态空间模型**（State Space Model: 一类能够描述系统动态演化的模型），或者我们尚未见过的变体所取代。因此，无论硬件在底层做了多少专用加速模块，它必须保留足够的可编程性。如果硬件工程师为了追求极端的能效比，把架构彻底写死在硅片里，那么当几个月后全新的算法横空出世时，这块昂贵的芯片就会瞬间沦为毫无用处的电子垃圾。 总而言之，深度学习深刻地改变了人类的生产生活体验，但这背后是一场由硬件主导的、极其惨烈的物理学与工程学战役。过去十年，我们通过无情剥削数字精度、彻底粉碎指令开销、以及巧妙榨干稀疏性，硬生生地从沙子中提炼出了一千万倍的算力。面对未来更大规模的模型和更复杂的智能体应用，摩尔定律的红利已经所剩无几。硬件工程师们正在数字的底层逻辑、光电互连的边界，以及微观架构的能量账本中，寻找着下一次突破的密钥。这是一场没有终点的算力远征。 感谢收看本期视频，我们下期再见。