英伟达Rubin CPX：AI推理硬件的新范式

在9月9日的AI基础设施峰会上，英伟达（NVIDIA）发布了一款名为Rubin CPX（Rubin CPX: 英伟达新一代GPU型号）的GPU（Graphics Processing Unit: 图形处理器），号称专门为处理超过100万个Token（Token: 文本处理中的最小单位，可以是单词、字符或子词）的长上下文推理而设计。次日，知名行业分析机构Semianalysis（Semianalysis: 一家专注于半导体行业分析的机构）发布了一篇由迪伦·帕特尔（Dylan Patel）等7位行业分析师联合撰写的专题报告，其中数据详实，甚至包含了机架的BOM（Bill of Materials: 物料清单）和功率预算。本文将结合这份报告，详细拆解Rubin CPX的技术价值和行业影响，探讨其为何被称为“AI推理基础设施的又一次巨大飞跃”。

大语言模型推理的挑战与Rubin CPX的诞生

英伟达推出Rubin CPX，旨在解决大语言模型推理中的核心痛点。大模型处理一个请求通常分为两个关键阶段：预填充阶段（Prefill Phase: 大语言模型推理中，根据用户输入提示词生成第一个Token的阶段）和解码阶段（Decode Phase: 大语言模型推理中，模型从KV缓存中加载已生成的Token，并生成新Token的阶段）。

在预填充阶段，模型根据用户输入的提示词生成第一个Token，该阶段高度依赖计算资源，即浮点运算能力（FLOPS: Floating-point Operations Per Second，每秒浮点运算次数），但对内存带宽的需求相对较低。而解码阶段，模型需要从KV缓存（KV Cache: 大语言模型推理中存储Key和Value向量的缓存，用于加速Token生成）中加载之前生成的Token，再生成新的Token。此阶段对内存带宽的需求极高，但计算资源的利用率反而不那么充分。

过去，行业普遍使用同一套硬件（例如配备HBM（High Bandwidth Memory: 高带宽内存）的GPU）同时处理这两个阶段的任务。然而，这种“一站式处理”模式存在效率问题：预填充阶段用不上HBM的高带宽，导致昂贵的HBM资源被浪费；而解码阶段又需要HBM的高带宽，一旦带宽不足，便会成为性能瓶颈。随着AI模型规模的不断扩大，HBM在BOM中的占比也越来越高，例如英伟达最新的GB300 GPU，HBM已成为BOM中成本最高的单一组件。这种模式不仅造成资源浪费，还推高了整体的TCO（Total Cost of Ownership: 总拥有成本）。

正是基于这一痛点，英伟达有针对性地推出了Rubin CPX。这款加速器的核心设计思路是专门为预填充阶段进行优化，在保证足够计算能力的同时，降低对内存带宽的要求，从而大幅降低成本。

Rubin CPX的核心参数与设计理念

Rubin CPX的参数直观地体现了其设计思路：

• 芯片架构与计算能力： Rubin CPX是一款单片SoC（System on a Chip: 片上系统），采用传统的倒装BGA封装（Flip-Chip Ball Grid Array Packaging: 一种集成电路封装技术，通过芯片底部的锡球与电路板连接）。其计算能力强劲，支持FP4精度（Floating Point 4: 4位浮点数，一种极低精度的数据格式，用于AI计算以提高效率和降低内存占用）的密集计算，能达到20 PFLOPS（Peta Floating-point Operations Per Second: 千万亿次浮点运算每秒）；如果是稀疏计算，更能达到30 PFLOPS。作为对比，英伟达另一款用于推理的GPU R200采用双芯片设计，其FP4密集计算能力为33.3 PFLOPS，稀疏计算为50 PFLOPS。这意味着单芯片的Rubin CPX，其计算能力已达到双芯片R200的六成左右，对于一款专门针对预填充阶段的芯片来说，表现非常出色。
• 内存配置： Rubin CPX并未采用昂贵的HBM，而是选择了GDDR7内存（Graphics Double Data Rate 7: 第七代图形双倍数据速率，一种高性能显存标准），容量为128GB，内存带宽为2TB/s。尽管2TB/s的带宽显著低于R200的20.5TB/s，但这正是Rubin CPX的设计初衷，因为预填充阶段不需要极高的带宽。此外，GDDR7的成本远低于HBM，按每GB计算，GDDR7的成本还不到HBM的一半，从而大幅降低了硬件的整体成本。英伟达在此次发布中还提到，R200的HBM4内存速度也从最初公布的6.4Gbps提升到了10Gbps，使其内存带宽达到20.5TB/s，相比之前的13TB/s有了显著进步。
• 网络连接： Rubin CPX没有采用英伟达传统的NVLink技术（NVLink: 英伟达开发的一种高速互连技术，用于GPU之间或GPU与CPU之间的数据传输）来实现横向扩展，而是选择了PCIe Gen6接口（PCIe Gen6: Peripheral Component Interconnect Express Generation 6，第六代外围组件互连高速），通过CX-9网卡（CX-9 Network Card: 英伟达Mellanox系列的高性能网络接口卡）与其他GPU进行通信。NVLink的带宽确实很高（R200的NVLink带宽能达到14.4TB/s），但对于预填充阶段的任务来说，PCIe Gen6的带宽已足够使用。同时，移除NVLink还能进一步降低硬件成本和设计复杂度，因为NVLink相关的组件，包括NVSwitch（NVSwitch: 英伟达的互连交换机，用于连接多个GPU，提供高带宽的NVLink通信）和背板，成本不菲。据估算，每块GPU对应的NVLink扩展成本大约在8000美元左右，占每块GPU集群总成本的10%以上。因此，Rubin CPX在网络连接上的选择同样是出于成本和实用性的考量。

Rubin CPX机架系统：多样化与高密度

英伟达同步推出了基于Rubin CPX的VR200系列机架级服务器（VR200 Series Rack-level Server: 基于Rubin CPX的机架级服务器系列），共有三种类型：VR200 NVL144、VR200 NVL144 CPX和Vera Rubin CPX双机架。这些设计充分考虑了不同用户的需求，既有一体化解决方案，也有灵活扩展的选项。

1. VR200 NVL144： 主要搭载R200 GPU。一个机架包含18个计算托盘（Compute Tray: 机架服务器中的一个模块化单元，通常包含多个GPU或其他计算组件），每个托盘有4个R200 GPU组件，总计72个GPU组件，主要用于处理对内存带宽要求较高的解码阶段任务。
2. VR200 NVL144 CPX： 这种机架采用“混合配置”，同样有18个计算托盘，但每个托盘除了4个R200 GPU组件外，还额外增加了8个Rubin CPX GPU组件。一个机架内包含72个R200 GPU组件和144个Rubin CPX GPU组件。这种配置的优势在于一个机架就能同时处理预填充和解码任务，R200负责解码，Rubin CPX负责预填充，实现“一机两用”。两者可以协同工作，减少数据在不同机架之间传输的延迟。然而，由于组件数量增加，VR200 NVL144 CPX的功率预算（约370kW）远高于VR200 NVL144（约190kW），因此VR200 NVL144 CPX采用了液冷（Liquid Cooling: 使用液体作为冷却介质，将电子元件产生的热量带走）方案以应对更高的散热需求。
3. Vera Rubin CPX双机架： 由两个独立的机架组成，一个是专门用于解码的VR200 NVL144机架，另一个是专门用于预填充的VR CPX机架。VR CPX机架同样有18个计算托盘，每个托盘有8个Rubin CPX GPU组件，总计144个。这种双机架设计最大的优势是灵活性高，用户可以根据业务需求调整预填充和解码的比例。VR CPX机架无需与VR200 NVL144机架物理相邻，它可以通过InfiniBand（InfiniBand: 一种高速、低延迟的计算机网络通信标准，主要用于高性能计算）或以太网（Ethernet: 一种广泛使用的计算机局域网技术）连接到集群中，方便用户根据数据中心的布局灵活安排。此外，双机架设计还具有故障影响范围小的优点，如果其中一个机架出现问题，另一个机架仍能继续工作，不会导致整个服务中断。

机架设计的技术细节

Rubin CPX机架的设计体现了英伟达在硬件设计上的深厚积累，有几个技术细节值得关注：

1. 无电缆设计： 过去的GB200/GB300机架使用了大量飞跨电缆连接各个组件，这些电缆不仅在组装过程中容易损坏，在高密度设计的机架中布线也十分困难。在VR200系列机架中，英伟达去掉了这些电缆，转而采用安费诺（Amphenol: 一家全球领先的互连产品制造商）的Paladin板对板连接器（Paladin Board-to-Board Connector: 安费诺公司的一种高速板对板连接器产品）和PCB中板（PCB Mid-plane: 印刷电路板中板，用于连接机架中不同子板或模块的中央电路板）来传输信号。信号从HPM（Host Processing Module: 主机处理模块，指代英伟达的“Bianca”板），也称“Bianca板”（Bianca Board: 英伟达内部对特定计算板的代号），通过Paladin连接器传输到PCB中板，再从PCB中板传输到各个子卡。这种设计不仅减少了故障点，还节省了空间，提高了机架密度。
2. 模块化设计： 尤其是计算托盘中的子卡模块。VR200 NVL144 CPX的计算托盘前端采用了7个子卡模块设计。其中4个子卡模块用于安装Rubin CPX和CX-9网卡，每个这样的子卡模块内包含两个Rubin CPX、两个800G CX-9网卡、一个1.6T OSFP插槽（OSFP slot: Octal Small Form-factor Pluggable slot，八通道小型可插拔插槽，一种用于光模块或铜缆连接的高速网络接口）和一个E1.S SSD NVMe模块（E1.S SSD NVMe Module: Enterprise and Datacenter SSD Form Factor E1.S NVMe module，企业和数据中心固态硬盘E1.S NVMe模块）。中间有一个子卡模块安装的是Bluefield-4模块（Bluefield-4 Module: 英伟达的DPU系列产品，集成了CPU和网络功能），其中包含一个Grace CPU（Grace CPU: 英伟达专为AI和高性能计算设计的CPU）和一个CX-9网卡。还有一个子卡模块是电源分配板PDB（Power Distribution Board, PDB: 电源分配板），负责将从后部汇流条连接器进来的48-54V电压降到12-13.5V，为其他组件供电。最后一个小的子卡模块是实用程序管理模块，其中包含BMC（Baseboard Management Controller: 基板管理控制器）、HMC（Host Management Controller: 主机管理控制器）、DC-SCM（Data Center-Secure Control Module: 数据中心安全控制模块）等管理组件，负责机架的日常管理和监控。这种模块化设计不仅方便组装，后续维护也很简单，某个子卡出现问题可直接更换，无需拆开整个托盘。
3. 冷却设计： 前文提到，VR200 NVL144 CPX的功率很高，尤其是前端的Rubin CPX模块。每个Rubin CPX芯片的TDP（Thermal Design Power: 散热设计功耗）大约是800W，如果算上GDDR7内存，整个模块的功耗可达880W。18个计算托盘前端的Rubin CPX模块总功耗高达7040W。如此巨大的热量，传统风冷显然不足以应对。因此，英伟达借鉴了2009年GTX 295显卡的设计，将Rubin CPX和CX-9子卡采用夹层式设计，中间夹着一个共享的液冷冷板。此外，在PCB的外侧还设计了热管和均热器（Vapor Chamber: 一种高效传热装置，能将热量从一个点快速均匀地传递到整个表面），能将GDDR7内存模块背面的热量也传递到冷板上，确保所有发热组件都能得到有效冷却。同时，这种夹层设计充分利用了1U的托盘高度，将容纳这些GPU所需的空间减少了一半，进一步提高了机架密度。

Rubin CPX对AI推理领域的影响

Rubin CPX的发布给AI推理领域带来了深远影响，尤其是在分布式服务方面的突破，这也是其被称为“巨大飞跃”的核心原因。

1. 解决资源浪费问题： 使用Rubin CPX处理预填充任务，无需昂贵的HBM，而是采用成本更低的GDDR7，并且去除了不必要的NVLink，大幅降低了硬件成本。据估算，同样是处理预填充任务，使用R200因内存带宽利用率低造成的每小时TCO浪费大约是0.9美元；而使用Rubin CPX，虽然内存带宽利用率也不高，但由于GDDR7成本低，浪费的TCO要少得多。从整个系统来看，使用Rubin CPX的机架，HBM在总系统成本中的占比也会下降。对于用户而言，同样的预算能获得更多的计算资源，性价比更高。
2. 提升性能和稳定性： 传统上用同一套硬件处理预填充和解码，两个阶段的任务会相互干扰。例如，预填充任务占用过多计算资源会导致解码阶段的Token生成延迟增加；反之，若优先保证解码，则预填充的首Token生成时间（Time to First Token, TTFT: 大语言模型生成第一个输出Token所需的时间）又会变长。有了Rubin CPX后，预填充和解码用不同的硬件处理，相互之间没有干扰。用户可以根据SLA（Service Level Agreement: 服务等级协议）要求，分别优化两个阶段的性能。例如，对于需要快速响应的场景，可以优化Rubin CPX的预填充速度，减少TTFT；对于需要高吞吐量的场景，可以优化R200的解码速度，提高每秒生成Token的数量。这样一来，整个推理服务的性能更稳定，也更容易满足不同用户的需求。
3. 流水线并行（PP）优势： Rubin CPX在流水线并行（Pipeline Parallelism, PP: 一种模型并行技术，将模型的不同层分配到不同的设备上，数据依次流经这些设备）方面具有独特优势。对于一些大型的MoE模型（Mixture of Experts Model: 专家混合模型），例如DeepSeek V3（DeepSeek V3: 一种大型语言模型），其模型权重很大，用NVFP4格式（NVFP4: 英伟达的4位浮点数格式）加载需要335GB内存，而单个Rubin CPX仅有128GB内存，无法直接装载。此时便需要流水线并行，将模型的不同层拆分到多个GPU上，每个GPU处理一部分层，然后将激活值沿着流水线传递下去。流水线并行的通信需求相对简单，仅是简单的发送和接收操作，不需要像专家并行（Expert Parallelism, EP: 一种模型并行技术，在MoE模型中，将不同的专家分配到不同的设备上）那样进行全对全的集体通信，因此PCIe Gen6的带宽就已足够使用。尽管流水线并行的首Token生成时间会稍长一些，但其Token吞吐量更高，对于预填充阶段而言，这是一个值得的权衡。
4. 灵活性挑战： 硬件专用化的分布式服务也存在缺点，最主要的是灵活性问题。不同的模型、不同的业务场景对预填充和解码的比例（PD比例）要求不一。例如，有些场景预填充任务多，有些场景解码任务多。而像VR200 NVL144 CPX这种机架，Rubin CPX和R200的数量比例是固定的2:1。如果用户的PD比例发生变化（例如预填充任务减少），那么Rubin CPX可能会出现闲置；反之，如果解码任务减少，R200又会闲置。尽管双机架设计在这方面更为灵活，但也需要用户提前规划资源，否则仍可能出现资源浪费的情况。

对竞争对手的市场影响

Rubin CPX的发布使得AMD（AMD: 超微半导体公司，英伟达的主要竞争对手之一）、谷歌（Google: 科技巨头）、AWS（Amazon Web Services: 亚马逊网络服务）、Meta（Meta: Facebook的母公司）等企业都面临调整路线图的压力，预计将采取一系列应对行动。

• AMD： 凭借MI400系列机架级系统（MI400 Series Rack-level System: AMD的Instinct系列加速器产品）在内存带宽上已接近英伟达的VR200 NVL144，且MI400的FP4 FLOPS TCO略低于VR200 NVL144，原本看到了追赶的希望。但现在，英伟达不仅将VR200的内存带宽提升到20.5TB/s，还推出了Rubin CPX，AMD的优势瞬间消失。更关键的是，AMD缺乏强大的内部需求支撑。开发预填充专用芯片需要大量资金和人力投入，若无内部需求作为“试金石”，芯片迭代速度将非常缓慢。根据行业消息，AMD可能会推迟MI500系列（MI500 Series: AMD的Instinct系列加速器产品）的发布，优先启动预填充专用芯片的研发，预计最早要到2027年才能推出类似Rubin CPX的产品。这意味着在未来两年内，AMD在AI推理机架级市场上将一直处于被动追赶的状态。
• 谷歌： 谷歌的TPU（Google TPU: Tensor Processing Unit，谷歌专门为机器学习工作负载设计的专用集成电路ASIC）具有独特的3D环形扩展网络（3D Torus Interconnect Network: 谷歌TPU集群特有的互连拓扑结构）优势，最大Pod规模（Pod: 谷歌TPU集群的部署单元）能达到9216个TPU，且每个加速器的扩展网络成本很低，支持更多并行方案。谷歌拥有大量的内部业务场景，如搜索（Google Search: 谷歌的搜索引擎）、YouTube（YouTube: 谷歌旗下的视频分享平台）、Gemini大模型（Gemini: 谷歌开发的多模态大语言模型）等，这些都为预填充专用芯片提供了稳定的需求。因此，谷歌很可能会在未来1-2年内推出一款预填充专用TPU，与现有TPU配合使用，进一步降低内部AI推理的TCO。此外，谷歌TPU的拓扑结构特殊，在某些模型上的性能甚至能超过英伟达的系统。如果再加上预填充专用芯片，谷歌在内部AI基础设施上的优势将更加明显，甚至可能将这种专用芯片开放给谷歌云的客户，与英伟达争夺企业客户市场。
• AWS： AWS的Trainium3 Max NVL72机架（Trainium3 Max NVL72 Rack: AWS的AI训练加速器）在设计上模仿了英伟达的NVL72，拥有72个逻辑GPU。AWS与Anthropic（Anthropic: 一家AI安全研究公司，开发Claude大模型）等合作伙伴能提供稳定的推理需求。然而，AWS面临一个问题：其1U计算托盘已非常紧凑，搭载4个大型Rubin GPU封装和8个CPX GPU封装后，就没有空间容纳AWS自己的EFA网卡（Elastic Fabric Adapter Network Card: AWS为EC2实例提供的高性能网络接口）了。因此，AWS很可能会采取“sidecar方案”（Sidecar Solution: 在计算资源旁边附加一个辅助服务或硬件的架构模式），将EFA网卡单独放在一个机架中，通过外部PCIe AEC线缆（PCIe Active Electrical Cable: PCIe有源电缆，一种带信号放大和整形功能的PCIe连接线缆）与VR 144 CPX机架连接，同时还需要使用Astera Labs（Astera Labs: 一家提供数据中心互连解决方案的公司）的专用PCIe交换机来连接各个组件。这种方案虽然能解决兼容性问题，但会增加一定的成本和延迟。不过，AWS拥有足够的技术实力来优化这些问题，预计在2026年下半年能推出配套的预填充专用芯片。
• Meta： Meta的MTIAv4 SUE72机架（MTIAv4 SUE72 Rack: Meta的AI加速器）同样模仿了NVL72的设计，拥有72个逻辑GPU。Meta内部有大量的模型推理需求，如WhatsApp（WhatsApp: Meta旗下的即时通讯应用）、Facebook（Facebook: Meta旗下的社交媒体平台）的AI助手等，这些都能支撑预填充专用芯片的研发。Meta之前的MTIAv3因只有16个GPU的规模，竞争力不足。因此，Meta很可能会跳过MTIAv4的预填充优化，直接开发一款专门的预填充芯片，与MTIAv4 SUE72配合使用，预计在2026年就能推出相关产品。Meta在AI硬件上一直比较开放，未来甚至可能将这种专用芯片对外授权，成为英伟达的另一个竞争对手。

对内存市场的影响与黄氏定律的新动力

Rubin CPX的推出对内存市场产生了双重影响。

• GDDR7需求增加： 之前，GDDR7主要用于消费级显卡，例如英伟达的RTX Pro 6000，速度为28Gbps。而Rubin CPX使用的GDDR7速度更高，达到了32Gbps。英伟达已向三星（Samsung: 韩国跨国企业，主要生产电子产品和半导体）下了大量的RTX Pro系列订单，原本计划用这些显卡替代H20（H20: 英伟达针对中国市场推出的定制GPU）进入中国市场。Rubin CPX的推出将进一步增加GDDR7的需求量。由于三星在GDDR7的供应上有一定优势，拥有足够的晶圆产能来满足英伟达的订单，而SK海力士（SK Hynix: 韩国半导体公司，主要生产内存芯片）和美光（Micron: 美国内存和存储解决方案提供商）因将更多产能投入HBM生产，可能暂时无法满足GDDR7的激增需求。因此，三星可能会从Rubin CPX的发布中获得更多收益。
• HBM整体需求： 尽管Rubin CPX减少了对HBM的需求比例，但这并不意味着HBM的整体需求会下降。因为Rubin CPX降低了预填充的成本，将促使更多企业部署AI推理服务，从而增加对整个AI推理系统的需求。而解码阶段仍然需要大量的HBM。正如许多技术创新一样，成本的降低会刺激需求的增长，最终HBM的整体需求量可能不仅不会减少，反而会因为AI推理市场的扩大而增加。

此外，英伟达创始人兼CEO黄仁勋曾提出一个“黄氏定律”（Huang's Law: 英伟达创始人黄仁勋提出的关于AI计算性能每三年增长10倍的观察）。之前，推动黄氏定律的主要是两个因素：一是降低数据精度，从FP32（Floating Point 32: 32位浮点数）到FP16（Floating Point 16: 16位浮点数），再到FP8（Floating Point 8: 8位浮点数）、FP4，每一次精度的降低都能带来显著的性能提升；二是稀疏性技术，通过忽略一部分不重要的数据来提高计算效率。然而，目前数据精度已降至FP4，再往下降低的空间已很小；而稀疏性技术在营销中虽被频繁提及，但实际带来的性能提升并未达到预期的2倍。这也使得黄氏定律的推进面临新的挑战。Rubin CPX的出现为黄氏定律提供了新的推动力。它不是通过提升单芯片的性能，而是通过硬件专用化和分布式服务，从系统层面提高了整体的AI推理效率。这种“系统级优化”的思路，可能成为未来推动AI计算性能持续增长的重要方向。

解码专用芯片：未来展望

英伟达目前只推出了预填充专用芯片，而未推出解码专用芯片。这并非没有考虑，而是目前推出解码专用芯片的时机尚不成熟。

首先，解码阶段的需求比预填充更复杂。不同模型、不同批次大小对内存带宽的需求差异很大，且解码阶段需要频繁访问KV缓存，对内存延迟也有一定要求。设计一款能适配所有场景的解码专用芯片，难度远高于预填充专用芯片。

其次，现有的R200在解码阶段的表现已非常出色，20.5TB/s的内存带宽和288GB的HBM容量能满足目前绝大多数模型的解码需求，短期内无需专门的芯片来替代。

然而，从长期来看，解码专用芯片是必然的趋势。一款解码专用芯片可能会采用与Rubin CPX相反的设计思路：计算能力较弱，但内存带宽极高。因此，它可能会保留R200的I/O芯片组，以保证内存和封装外I/O的性能，但会缩小主计算芯片的面积，同时在每个芯片边缘保留足够的HBM位点。这样既能保证高带宽，又能降低计算芯片的成本。此外，简化的计算单元能提高芯片的参数良率，降低TDP，进一步减少电源和冷却的成本。如果英伟达推出解码专用芯片，那么整个AI推理系统将形成“预填充芯片+解码芯片”的完全专用化架构，TCO还能再降低15%-20%，且性能会更稳定。不过，这个过程可能需要2-3年的时间，因为英伟达需要先观察Rubin CPX的市场反馈，再根据用户需求来优化解码专用芯片的设计。

总结

Rubin CPX不仅是一款硬件产品的更新，更标志着AI推理硬件从“通用化”向“专用化”的转型。它通过针对性的设计，解决了预填充阶段HBM资源浪费的问题，大幅降低了TCO；同时，其机架架构设计为分布式服务提供了灵活的解决方案，进一步提升了系统的效率和稳定性。对于竞争对手而言，Rubin CPX的出现打乱了他们的路线图，迫使他们投入更多资源来开发预填充专用芯片，这在短期内会拉大与英伟达的差距。而对于整个AI行业来说，Rubin CPX的创新思路也为未来AI硬件的发展提供了新的方向，即从单芯片的性能提升转向系统级的专业化优化，这可能成为推动AI推理技术持续进步的关键动力。