AI 推理芯片技术深度解析：从训练到推理的架构演进与存储介质权衡

播客开场与 Alignment 2026 年度大会

欢迎来到《硅谷101》，我是泓君。过去几年里，我们持续通过播客与视频，记录并呈现那些最值得关注的公司、技术以及身处其中的人。今年，我们希望继续把这些深度的讨论带到线下，把真正身处在行业变化中心的核心从业者带到大家的面前。

在今年的10月10号到11号，《硅谷101》将在硅谷的 Sunnyvale 举办我们的第三届 Alignment 2026 年度大会。届时，我们也会在现场和大家聊一聊日常节目创作过程中的一些幕后花絮，非常期待能与大家在线下相聚。大会的报名链接已经放置在本期节目的 Shownotes 中，感兴趣的听众朋友欢迎通过 Shownotes 里的链接进行报名。

今天我们要深入探讨的主题是 AI 推理芯片。随着 Token 经济的爆发式发展，整个行业在推理侧所消耗的 Token 数量在过去几年里增长了数个数量级。在这一集节目中，我们将全面拆解推理芯片到底是什么，以及业内代表性公司 Groq 和 Cerebras 分别采用了怎样的技术路径，它们各自的优缺点又分别体现在哪里。

我们这期节目的录制时间是在今年的6月24号。非常巧合的是，就在录制当天，OpenAI 正式发布了他们的第一颗自研推理芯片，而 OpenAI 在芯片存储架构上的技术路线选择，与我们今天两位嘉宾的行业判断存在着一些不太一样的地方，关于这一点的对比和思考，我们也会在节目最后专门进行详细的拆解。

今天做客节目的两位嘉宾，他们自己目前也正在进行 AI 推理芯片领域的创业，项目尚处于偏早期的阶段。因此，今天节目中所探讨的这些芯片公司与技术架构，对他们两位而言既是日常深入研究的对象，也是他们自身创业与技术演进过程中的重要参照系。其中嘉宾 Mark 是英伟达（NVIDIA）首席科学家 Bill Dally 的学生。Bill Dally 作为现代 GPU 并行计算架构最重要的奠基者之一，在芯片体系结构领域具有深远的影响力，我们今天也会透过 Mark 的一线视角，来聊一聊这位芯片大师平时是如何看待技术问题以及如何拆解核心架构难题的。

嘉宾背景与芯片研发经历

今天参与对谈的两位嘉宾，一位是负责推理芯片硬件与系统架构设计的 Mark，另一位是负责软件和编译器技术方向的子扬。

关于各自的专业背景以及过往与芯片行业的渊源，Mark 首先介绍了自己的经历。Mark 于2017年前往斯坦福大学（Stanford University）攻读电子工程（EE）方向的博士学位，当时的导师正是英伟达首席科学家 Bill Dally。Bill Dally 在英伟达从早期的传统图形显示显卡 GPU 转型到现代 AI 计算芯片的整个漫长演进过程中，深度参与了非常多关键的技术方向把控与重大架构决策。因此，Mark 在攻读博士学位期间，便对整个 AI 计算领域，特别是 GPU 的底层工作原理与设计逻辑建立了相当深入的理解。

不过，Mark 在斯坦福读博期间的研究重心，更多聚焦于面向超大型 CPU 集群的系统级架构设计，专门钻研其中的内存语义调度、系统控制以及节点间通信等深层次系统架构问题。博士毕业之后，Mark 曾在国内的芯片头部大厂工作了三年左右的时间，主要从事偏向通用 GPU 类芯片的核心研发工作。Mark 过往的研发重心主要落在硬件层面，具体涵盖从单颗芯片本身的微架构设计，一直到由几百颗芯片互联构成的超节点（Supernode）系统级硬件工程。

随后，子扬也详细介绍了自己过往的工作与学术研究背景。子扬在上一段工作经历中供职于亚马逊的 Annapurna Labs，以科学家的角色参与亚马逊自研 AI 芯片 Trainium 上的底层软件栈研发，因此工作视角会更偏向前瞻性技术的探索。在亚马逊期间，子扬的工作贯穿了整个计算软件栈：从最底层的算子编译优化，一直到最上层的算法模型切分，即研究如何把庞大的神经网络模型确定性地切分并部署映射到超大规模的高性能计算集群之上。

在此之前，子扬在本科阶段正值上一波基于语音和图像识别的深度学习浪潮，当时他便致力于云端与边侧协同加速的研究，本科毕业论文的核心课题正是端侧与边侧语音识别的计算加速。在本科前往英国爱丁堡大学交换期间，子扬还开展过语言模型领域的一些早期探索工作，不过彼时的语言模型形态与当下基于 Transformer 的大语言模型还存在较大区别。后来在普林斯顿大学攻读博士学位期间，子扬进行了一段与 AI 相对没有直接关联但底层高度相通的研究——多核处理器的并行计算，核心是研究如何把原本运行在单线程上的程序自动化并行切分到由500多个 CPU 核心组成的系统上高效执行。这虽然处理的是传统的 CPU 工作负载，但其底层关于并行度挖掘与系统加速的逻辑，与当前 AI 系统所需要解决的很多系统加速问题有着深刻的内在联系。

总体而言，Mark 的技术路径侧重于芯片硬件架构本身的设计，特别是计算、内存介质以及芯片间通信网络的系统级搭建；而子扬的经历则主要从芯片紧密结合的软件栈、编译器以及模型分布式并行切分的维度切入。

训练芯片与推理芯片的本质差异与商业模式

在探讨大模型算力时，大众通常习惯泛指“大模型需要 GPU”，但实际上 GPU 和 AI 芯片有着明确的功能细分。例如在行业早期大家高度关注训练芯片，而当前行业关注的重心则逐渐迁移到了推理芯片上。训练和推理对底层芯片的要求之所以截然不同，需要从商业模式与技术底层两个维度来剖析。

首先从商业模式的角度来看，用户或企业需要这个计算系统来完成什么样的事情，决定了系统设计的核心诉求。这主要体现为大家对“成本”的敏感度截然不同。在纯粹的模型训练时代，企业是没有办法依靠模型训练这一动作本身直接获得商业回报的。训练本质上是一项资本开支巨大的前期研发投入，并不具备直接的现金流回收能力。因此在做训练集群规划时，训练的边际成本往往很难精确量化并与直接收入挂钩。当时整个行业的核心诉求与商业期望在于“下注”，即倾尽资源赌一个规模最庞大、性能最强悍的训练集群，以此炼出参数量最大、能力最先进的模型。大家寄希望于未来模型进入实际应用与推理场景后，能够凭借强大的性能将此前在训练阶段投入的数以亿计的研发与硬件成本全部收回。

但是当进入到模型推理阶段后，从商业闭环的角度来看，这就变成了一笔账目极其清晰、可以严格按单元经济效益（Unit Economics）精确计算的生意。终端用户或企业客户愿意为每生成一百万个 Token 支付确定的金额，而模型服务商的推理系统在吐出这一百万个 Token 时，底层需要付出多少实际成本也是可以精确核算的。这里的综合成本既包含了采购 GPU 或专用加速卡的硬件摊销折旧成本，也包含了数据中心运行推理时的电费与散热等能耗开销。因此在推理场景下，商业模式的驱动力从训练时代的“不惜代价追求极致性能”转变成了“在满足一定延迟要求的前提下极度追求性价比”，系统设计必须把单 Token 的处理成本放在极其核心的位置去考量。

其次从技术指标的角度来看，这两者的核心差异在于：系统到底是更渴求绝对算力（Compute），还是更渴求内存带宽（Memory Bandwidth）。这在学术和工程上被称为计算密度，英文是 Arithmetic Intensity，简写同样是 AI。

在模型训练阶段，工程师拥有海量的数据集，可以提供极其充沛的数据并行度，从而把芯片硬件上堆叠的海量计算核心（如 Tensor Core 等矩阵运算单元）全部填满。只要数据并行度足够大，硬件在从存储介质中完成一次数据读取之后，就可以在计算单元内部连续进行大量的浮点矩阵乘加运算，从而把芯片的算力峰值完全发挥出来。

然而在模型推理阶段，大语言模型的工作机制本质上是强逻辑的自回归展开过程。人类的语言逻辑具有严格的时间顺序，例如一个人在表达观点时，必须先说第一点，接着基于第一点的内容展开说第二点，层层递进。当前主流大语言模型在生成 Token 的推理机制上是严格线性的自回归模式（Autoregressive Generation）：系统必须完整计算出当前位置的这一个 Token 是什么，然后将这个新生成的 Token 作为后续的输入重新喂回给模型，模型才能计算并预测出接下来的下一个 Token 应该是什么。

这种自回归特性导致大模型在实际推理时被切分成了两个计算特征截然不同的阶段：预填充阶段（Prefill）和解码阶段（Decode）。在 Prefill 阶段，由于输入 Prompt 中的所有 Token 是已知的，系统可以并发处理；但是在真正一个接一个产生新 Token 的 Decode 阶段，计算模式被迫退化成了严格串行的单步计算。由于模型参数量极为庞大（例如一个1.6T参数的大模型），每生成一个哪怕最简单的 Token，计算单元在理论上都必须把这1.6T规模的模型所有权重参数，从底层存储介质中完整地搬运并读取到芯片的计算核心里过一遍。这就导致在 Decode 阶段，芯片对高算力密度的需求大幅下降，转而对存储介质的读取带宽产生了极度饥渴的需求，导致算力和带宽的需求比例发生了根本性的逆转。

大模型推理的 Prefill 与 Decode 阶段访存机制

为了更具象化地理解大模型在输入与输出过程中的硬件工作状态，可以结合一个具体的日常提问场景来进行推演。假设用户向大模型输入了一个提示词：“你出一个今天我们的采访提纲”。当大模型接收到这段 Prompt 并开始进行推理计算直到完整输出提纲的过程中，底层的 GPU 或专用推理芯片究竟经历了怎样的计算与访存过程？

当用户把包含十几个字的提问输入给模型后，系统首先进入的是 Prefill（预填充）阶段。在 Prefill 阶段，模型可以并发处理这一整句话中的所有输入词元。系统能够将整段文字提示词一次性喂给神经网络，让模型去理解上下文并计算出输出内容的首个词，比如回答的第一个词是“好的”。这个“好的”就是大模型在完整消化并理解了全部输入文本信息之后，所吐出的第一个 Token。

在 Prefill 这个环节中，由于输入端包含完整的输入序列（在实际应用中甚至可能是用户附带的长篇参考文档或多轮对话历史），这为系统提供了非常充沛的并行度。硬件只需要将模型的所有权重参数从 GPU 搭载的 HBM（高带宽存储器）中读取到计算核心一次，就能够一口气将这篇输入的文章或者这句话里的十几个 Token 统统并发处理完毕。充足的数据输入能够充分喂饱 GPU 上庞大的计算流水线，让 GPU 的峰值算力得到极其充分的利用。

然而，一旦首字吐出、系统进入到持续生成回复内容的 Decode（解码）阶段时，整个底层的访存逻辑就发生了剧烈的变化。比如模型接下来要连续输出：“好的，下面是我为你准备的一份采访提纲”。在输出这句话的过程中，后续出现的每一个字、每一个 Token、每一个词汇，都意味着底层的硬件系统必须把整个大模型的全部权重参数，从存储介质中重新完整读取上来一遍。

这就极其直观地展现了两者在模型参数读取频次上的巨大鸿沟：在 Prefill 阶段处理一整句话只需要读取一次全量模型参数，而在 Decode 阶段每输出一个词，就必须完整读取一次全量模型参数。无论是一次性读一句话还是逐字读取，每一次读取的数据吞吐量都是整整一个模型的庞大权重。

GPU 批处理机制与推理芯片的异构探索

在实际的数据中心服务运行过程中，由于通用 GPU 拥有极为庞大的矩阵算力规模，硬件本身在经济性上绝对无法容忍“把庞大的模型参数从 HBM 读取到计算核心里仅仅只为了服务某一个单独用户的单个 Token”这种极度奢侈且低效的做法。因为如果只为一个用户服务，GPU 的绝大部分计算单元在绝大多数时间里都将处于空转等待数据的饥饿状态。

为了解决这个问题并在商业上实现可行的吞吐量，传统的 GPU 软件栈与推理引擎采取了 Batching（批处理）的操作策略。具体而言，系统会在服务端汇聚比如10,000个不同用户的并发推理请求。尽管对于每一个具体的用户而言，其自身生成的回答必须严格按照上下文逻辑一个词接着一个词顺序推理，但是 GPU 可以在同一个批次内，高度并发地将这10,000个用户各自的第一个词、第二个词或者第三个词同时计算出来。

这种批处理模式直接造成了终端用户在交互体验上的延迟感知差异。很多用户在使用大模型时会明显感知到大模型吐字速度偏慢，如果底层完全依赖 GPU 采用大 Batching 方式来处理推理任务，用户在等待系统吐出属于自己的下一个 Token 时，本质上不仅是在等待 GPU 完成自身这一道计算，而是在被迫等待 GPU 同时算完与自己打包在同一个 Batch 里的其余9,999个用户的 Token。

由于通用 GPU 原本是为高计算密度场景设计的，搭配的是虽然带宽极高但造价极其昂贵的 HBM 存储介质，导致在面对新型的 AI Agent（智能体长时间多轮思考交互）或者复杂 Reasoning（大模型自发进行长链条深度思考展开）等极度依赖快速反馈、低单流延迟的场景时，GPU 传统的架构体系在单 Token 吐字速度上显露出了非常大的局限性。

这正是业界开始探索专用 AI 推理芯片的动力所在。不过“推理芯片”在当下是一个定义非常宽泛的词汇。因为推理任务本身就具备极高的系统复杂度：它不仅清晰地拆分为 Prefill 和 Decode 两个特征完全不同的阶段，而且在模型内部的微结构上还区分为 Attention（注意力机制）层与 FFN（前馈神经网络）层等不同算子。理想的下一代推理系统，其内部大概率不是单一形态的芯片，而是会整合多种不同架构特性的异构芯片组合。其核心使命就是打破传统 GPU 单一架构的束缚，通过更加定制化的架构设计以及引入有别于 HBM 的全新存储介质，把实际 Decode 产生 Token 的过程做到足够便宜且足够快速。

从目前市面上已经公开亮相的推理芯片创新企业来看，Groq 和 Cerebras 都准确地捕捉到了大模型推理面临的真正核心瓶颈。特别是 Groq 与英伟达 GPU 之间展现出的协同配合关系，非常符合业界设想中理想的异构推理系统形态：让 GPU 去专门承担其最为擅长的算力密集型任务（如 Prefill），而让专门针对低延迟访存优化的芯片去处理 Decode 任务。尤其在英伟达对 Groq 完成技术授权及人才收购（Aqui-hire）之后，这种构建异构推理系统的技术路线更具代表性。

三种存储介质对比：DRAM、HBM 与 SRAM 的优劣势

要想彻底解决推理系统的高性价比带宽问题，核心不在于存储介质的物理化学材料本身有多么神秘，而在于体系结构设计中如何处理“局部性（Locality）”的问题。芯片设计者必须提供比 HBM 更高一个物理层次的局部性。

要理解这一点，必须将当前 AI 硬件中最频繁提及的三种主流存储介质——SRAM、DRAM 和 HBM 进行系统性的横向对比。从最通俗的角度来理解，它们全部是用来存放数据的物理介质，但最根本的区别在于它们距离真正干活的计算核心物理位置有多远：

DRAM（动态随机存取存储器）：最典型的形态就是日常电脑与服务器里的独立内存条。它的最大优势在于存储容量非常大、成本相对低廉，但致命缺陷是它距离计算芯片的物理距离非常远。处理器需要通过主板上的长距离 PCB 走线来回搬运和读取数据，导致数据访问的延迟很高、传输带宽相对较低，整体表现为“便宜但是慢”。
HBM（高带宽存储器）：HBM 的本质其实是把多层 DRAM 颗粒通过先进的三维堆叠（3D Stacking）技术直接搬到了计算芯片裸晶（Die）的旁边，并共同放置在一个硅中介层（Silicon Interposer）基板上，封装在同一个芯片外壳内部。通过在极近的物理封装距离内开辟出成千上万条高密度的微型互联物理通道，HBM 实现了远超传统内存条的超大容量与极高带宽。目前英伟达的高端训练与推理 GPU（如 H100、B200 等）全部标配 HBM。但其代价在于制造工艺极其复杂、制造成本极为高昂，且长期面临全球先进封装产能严重紧缺、供不应求甚至有价无市的局面，整体表现为“速度快、容量大，但极贵且难以抢到产能”。
SRAM（静态随机存取存储器）：与前两者不同，SRAM 可以直接通过半导体光刻工艺直接刻在计算芯片的硅片内部（On-chip Memory）。由于存储直接与计算逻辑单元原生集成在同一块硅晶圆内部，这使得 SRAM 成为了物理上访问速度最快、延迟最低的方案，其性能表现远超前两者。但 SRAM 存在一个极其致命的物理短板——单位存储面积占用过大。在半导体底层物理结构上，DRAM 只需要一个晶体管加上一个电容（1T1C）就可以存储 1 个比特（bit）的信息；而标准的 SRAM 存储单比特数据在本质上需要使用整整六个晶体管（6T）。这意味着存储相同数据量时，SRAM 所需要消耗的硅片物理面积是 DRAM 的几十倍甚至上百倍。整体表现为“速度最快、延迟极低，但单芯片容量极小，很难装下大模型”。

总而言之，DRAM 的路线是容量大且便宜但速度慢；HBM 速度快但极其昂贵且产能受限；SRAM 速度最快、带宽最高，但因物理面积限制而面临单芯片容量严重装不下的困境。

云端推理芯片趋势与 SRAM 路线的权衡

在端侧与云端两个截然不同的场景下，芯片设计者对存储介质的权衡取舍完全不同。在手机、智能耳机等端侧设备上，由于面临极度严苛的物理空间尺寸限制与电池功耗墙，端侧硬件无法塞入高功耗的大规模内存总线与高带宽介质，因此端侧会衍生出如 3D DRAM 等致力于在微小体积与低功耗下提升带宽的新思路。

然而在云端数据中心场景下，工程设计对整个计算系统的物理铺展体积和设备规模并没有那么苛刻的限制。在云端，只要系统能够持续提供足够高、足够弹性的单 Token 吞吐率并维持合理的 TCO（总体拥有成本），系统规模做大完全是可以接受的。因此在云端推理芯片的设计中，核心命题就变成了：在现有的半导体物理边界下，究竟寻找什么样的物理介质能够为计算系统提供物理密度最高、成本最具优势的微观连线与超高带宽？

带宽在物理本质上只有两个决定要素：连线的物理密度与信号的传输频率。HBM 的高带宽是通过在芯片封装内部的中介层上走线实现的；而如果将存储介质直接集成进计算芯片内部，原先封装级别的金属微凸块（Micro-bumps）走线就彻底进化成了计算芯片内部由纳米级光刻工艺直接刻出的多层金属互联导线。这两种物理连线在连线密度、传输能耗以及单比特传输成本上存在着质的飞跃。因此，将模型权重直接放在距离计算单元零距离的片上存储中，是解决访存带宽瓶颈最彻底的技术手段。在现阶段的半导体工艺成熟度下，SRAM 恰恰是唯一一个最成熟、最可靠、能够直接将高带宽存储直接大面积刻在计算芯片内部的物理载体。

事实上，不仅 Groq 和 Cerebras 的超高推理速度与带宽性价比本质上完全构建在 SRAM 之上，美国当前的一批 AI 推理芯片初创公司（如 d-Matrix、MatX 等）也都在坚定地走向大容量片上 SRAM 路线。甚至科技巨头自研的芯片（如谷歌的 TPU、亚马逊的 Trainium），在其代际演进中每一代单芯片上搭载的片上 SRAM 容量都在呈现显著扩张的趋势。

不过在具体的云端推理落地架构上，各大厂商对 SRAM 的运用方式各有侧重。例如谷歌在其技术博客中披露，其 TPU 会更多倾向于将庞大的 SRAM 用来高速缓存动态变化的 KV Cache；而其他公司则倾向于直接将静态模型参数锁定在 SRAM 之中。但不论具体战术如何，整个行业都在形成共识：从单位美元所能购买到的绝对物理带宽来看，SRAM 相比现有的所有离片存储介质，在带宽性价比上具备多达两到三个数量级的绝对优势。

Cerebras 晶圆级芯片与 Groq 确定性编译的技术路线分歧

为了跳出通用 GPU 依赖 HBM 所带来的局部最优解（Local Minimum），采纳 SRAM 必然需要做出巨大的系统级权衡与代价交换（Trade-off）。SRAM 带来的巨大代价就是极低的单芯片存储容量。因为 6 个晶体管存 1 比特的物理限制，单颗芯片上能够容纳的 SRAM 容量通常只有几百兆字节（MB），比主流 HBM 芯片数十上百吉字节（GB）的容量足足低了两个数量级以上。

面对容量严重不足的物理现实，无论是 Groq 还是 Cerebras，两家公司在 Transformer 诞生之前就推演出了相同的逻辑起点：既然单颗芯片放不下，最直接暴力的解决方式就是把整个系统做大，通过互联成百上千颗芯片，单凭纯粹的规模堆叠把原本属于大模型的数百 GB 甚至 TB 级的权重参数，硬生生全部装进基于 6 个晶体管构建的片上 SRAM 阵列里。

然而，仅仅在物理上把模型参数“塞进”大规模分布式 SRAM 只是第一步。如果参数只是静态地躺在存储单元中是无法自发产生 Token 的，系统必须以极高的吞吐率把数据提取出来并完成庞大的协同矩阵计算。当整个系统扩展到由成百上千个独立单元构成时，计算本身不再是系统瓶颈，真正的核心瓶颈全面转移到了整个超大集群内部的通信开销与多节点协同调度上。

在这个关键的技术岔路口，Cerebras 和 Groq 做出了截然不同的两条技术路线选择：

Groq 的静态编译与确定性调度路线：Groq 认为，如果将大规模芯片集群的通信协调与动态负载均衡放在程序运行时（Runtime）由硬件或动态调度器去处理，其产生的握手开销、仲裁延迟与不确定性将极其巨大并迅速吞噬性能。因此 Groq 的核心哲学是把全部的调度复杂度前置——完全依靠强大的离线编译器（Compiler），在程序运行之前就把未来整个硬件网络中每一个时钟周期需要执行的计算指令、数据流向以及芯片间的点对点通信时机全部精准排布规划好。由于在编译期就已经完成了确定性的时钟级流水排布，硬件在实际运行推理时完全不需要任何运行时的动态调度机制，从而消除了运行时的通信仲裁开销。
Cerebras 的晶圆级计算（Wafer-Scale Engine）硬件路线：Cerebras 的解决思路更加激进和直接。它认为传统多芯片集群之所以在通信上产生巨大代价与延迟，是因为原本属于一个系统的成百上千个计算单元被物理分散在不同的芯片封装、板卡乃至数个服务器机柜之中，节点之间天然存在漫长的物理距离与线缆延迟。为了彻底消除物理距离带来的通信损耗，Cerebras 选择打破半导体传统切割 Die 的工艺规则，直接将整整一整块直径达 300 毫米的硅晶圆不做切割，完整加工成一块单一的巨大晶圆级芯片。它把原本需要分散在几百个独立芯片和一个完整机柜里的计算核心与片上 SRAM 全部集成在同一张连续的晶圆上，利用晶圆表面原生的超高密度片上金属走线，直接提供无与伦比的超大互联带宽与超低通信延迟。

MoE 动态性与 Groq 静态调度的冲突

在回顾这两家公司的技术选型时可以发现，由于两家公司创立并确立底层核心技术架构的时间节点都在 Transformer 架构乃至生成式大模型全面爆发之前，因此它们不可避免地带有时期的技术局限性，在当年缺乏足够的前瞻信息来预判今天大语言模型演进的具体形态。

Cerebras 后来面临的核心挑战主要集中在超大晶圆级芯片制造过程中的良品率（Yield）控制与制造成本上。而 Groq 坚决依赖编译器进行全静态调度与编译的底层设计，在遭遇现代以 MoE（混合专家模型，Mixture of Experts）为代表的动态模型架构时，遭遇了体系结构上的不匹配。

MoE 架构（如当前在开源与闭源领域均成为主流的各类前沿模型架构）的工作机制与传统稠密（Dense）模型大相径庭。在 MoE 网络中，系统设计了数量众多的前馈网络专家（例如包含128个候选专家网络），但是在每一个具体的 Token 进行推理计算时，门控路由算法只会动态选择并激活其中的一小部分专家（例如从128个专家中只动态激活8个）。极其关键的一点在于：究竟激活哪8个专家，是完全根据当前 Token 在运行时的语义表征动态计算决定的，在离线编译阶段根本无法提前预知。

由于单颗 Groq 芯片上集成的 SRAM 容量极其有限，绝不可能把整个庞大的 MoE 模型完整装入单颗芯片中，模型中的不同专家网络必然会被物理切分并分散存放在集群中不同的物理芯片节点上。这就带来了一个必须在运行时进行动态决策的路由调度难题：系统在实时运行中必须根据刚刚计算出的 Token 动态决定将其数据包分发路由到哪一颗存放了对应专家的具体芯片上去。

这种运行时的强动态性，与 Groq 基于完全静态预排布的编译哲学产生了直接的结构性冲突。如果坚持在静态编译框架下处理这种动态选择，通常只有两种极端路径：

一种是采取极度保守的静态广播策略，把 Token 数据机械地广播分发给所有承载专家的芯片，但这意味着那些在当前步骤中未被激活的专家所在的芯片全部处于算力空转与资源浪费状态；
另一条路径则是彻底放弃按专家维度进行模型切分，强行改用张量并行等其他维度来切分网络。但深入的工程推演表明，面对当今动辄数千亿参数规模的超大模型，脱离了专家维度的切分很难在保持切分干净利落的同时兼顾系统的高效流水。因此，模型架构演进中迸发出的运行时动态性，成为了 Groq 纯静态编译调度体系不得不面对的棘手难题。

低延迟溢价与 SRAM 的带宽性价比优势

尽管存在静态调度与 MoE 动态路由之间的冲突并会导致部分芯片出现空转，但这并未阻碍英伟达在2025年底做出收购 Groq 的关键商业决策，其背后的技术与商业逻辑非常清晰。

首先，即使静态调度在处理 MoE 时会因为保守策略导致部分计算芯片空转，这仅仅只会折损一部分硬件的利用率与性价比上限，但它丝毫不会削弱基于全片上 SRAM 架构所带来的极致“低延迟”优势。在当下的 AI 推理市场上，Groq 与 Cerebras 最核心的产品定位就是极速响应，即超低延迟。

在当前大模型商业化落地的真实逻辑中，“低延迟”本身具备极高的商业溢价能力。如果市场上常规的 GPU 推理服务吞吐速度是每秒生成 100 个 Token，而利用基于 SRAM 体系的芯片（如 Cerebras 等）能够将生成速度推向每秒 750 个甚至 2000 个 Token 的极致水平，那么在金融高频决策、即时语音交互以及复杂 Agent 推理链等高端应用场景中，客户愿意为了数倍的吐字速度支付非常高昂的溢价。在这种场景下，极致的低延迟本身就是核心卖点，具体的硬件性价比反而不会被推到最前台作为首要瓶颈来苛求。

其次，从底层物理存储特性的数学账本来看，SRAM 相比于 HBM 在单位成本所能换取的访存带宽上，天生具备多达两到三个数量级（即100倍到1000倍）的巨大初始代际优势。因此，即便在构建整个分布式 SRAM 推理系统的过程中，为了妥协并解决 MoE 的动态路由调度问题而被迫在硬件效率上浪费掉整整一个数量级（10倍）的利用率，整个系统最终所呈现出的有效带宽性价比，依然稳稳地比传统的 HBM 方案高出一个数量级以上。

从商业策略的角度来看，当一家技术公司凭借架构突破做出了一款速度远超竞争对手、且底层物理真实成本其实更低的产品时，在商业定价上并不会主动向外界强调其底层成本究竟有多低廉。只要市场上有大量高价值客户极度渴望更快的生成速度并愿意为极速买单，企业就可以在维持高溢价获取超额利润的同时，享有巨大的技术与成本安全垫。

Jonathan Ross 的编译器驱动理念与确定性硬件设计

Groq 展现出的独特架构风格，与其创始人 Jonathan Ross 的技术背景有着密不可分的血缘关系。Jonathan Ross 此前是谷歌初代自研 AI 芯片 TPU（Tensor Processing Unit）的核心奠基人与关键创始人之一。

在谷歌主导初代 TPU 研发期间，Jonathan Ross 本身长期带领编译器团队。当他离开谷歌创立 Groq 并从零设计一套全新的 AI 加速架构时，其核心思考路径是彻底颠覆传统的“先做硬件、再由软件团队去适配补锅”的常规芯片研发模式，转而坚定地推行“围绕确定性编译器去逆向定制专属硬件”的设计理念。

Groq 硬件微架构的每一个设计细节，都是严格为了配合完全确定性的离线静态编译而量身打造的。除了前面提到的完全静态调度之外，Groq 硬件最核心的特征就是将“确定性（Determinism）”推向了极致：在传统的计算硬件中，当计算单元试图从外置存储介质（特别是 DRAM 类介质）中调取数据时，受制于总线竞争、刷新周期以及复杂的缓存一致性协议，数据从发出读取请求到真正返回计算核心的时间存在显著的波动抖动——可能是100纳秒后返回，也可能是300纳秒后才返回。这种在 DRAM 中极为普遍的访存时延抖动，使得离线编译器根本无法准确预判未来的微观执行状态。

为了彻底消灭这种运行时抖动，Groq 选用了延迟完全固定的全片上 SRAM，并在整个硅片微架构上大动干戈，将硬件内部的确定性与所有处理单元之间的静态时钟级硬同步做到了极限。整颗芯片所有运算流水线与数据流向在时间轴上的推演完全透明且分秒不差，所有的硬件物理行为都被精准映射到了离线编译器的全局视野之中，编译器能够像调度交响乐团一样为整个系统的每一个时钟周期做绝对精确的时空排列。

在 Groq 成立的2016年，深度学习业界关注的核心工作负载主要是图像分类卷积网络与语音识别模型。在那个时代，模型内部的数据流图几乎全部是完全静态且规则的，并没有今天大语言模型中如此复杂的注意力动态掩码与 MoE 动态路由机制。在当时的时代背景下，选择以编译器为绝对核心来大刀阔斧地重构确定性硬件，是一项极具前瞻性且极具工程美感的优雅思路。虽然在今天面对新型大模型架构时，这种纯静态架构需要引入新的软件与异构工程手段来修补其动态性短板，但在整个计算机体系结构演进史上，它依然是一个极其惊艳且富有启发性的经典探索分支。

Cerebras 晶圆级芯片的良率控制与制造成本拆解

在谈及 Cerebras 这家同样以 SRAM 和超大算力著称的晶圆级芯片巨头时，其在商业与技术上面临的一个长期质疑就是：为什么它的实际制造成本会显著高于 Groq 等其他多芯片互联方案？

Mark 深入拆解了这背后由半导体物理规律所决定的晶圆良品率（Yield）与成本构成机制。半导体芯片在生产制造过程中，其最终成本主要受制于一个极具杀伤力的核心物理参数——良率。

在传统的芯片设计与制造流程中，单颗芯片裸晶（Die）的物理尺寸存在一个行业公认的光罩极限（Reticle Limit），通常最大极限就在 800 平方毫米左右。在一张标准直径为 12 英寸（300毫米）的完整晶圆上，采用这种常规尺寸通常可以完整切割出 30 到 50 颗独立的芯片。在传统切割模式下，半导体制造中的微观瑕疵与缺陷是随机分布在晶圆各个角落的。如果整张晶圆的整体制造良率是 50%，这意味着代工厂在完成切割和封装测试之后，依然能够从这张晶圆上稳定切出 20 颗左右完全健康完好的独立合格芯片供商业销售，其余存在缺陷的坏芯片直接在物理上切除抛弃即可。

然而，Cerebras 产品的物理形态完全颠覆了这一常理——它的单颗芯片产品尺寸，就是一整张完整的 300 毫米硅晶圆本身。这就使得其良率机制发生质的变化：由于整块晶圆不进行任何物理切割，晶圆上任何一个区域的严重缺陷都无法通过简单的物理切除来解决。为了让晶圆级芯片在现实中具备可用性，Cerebras 在工程上投入了巨大的技术力量构建了极具容错能力的冗余设计体系（Partial Good 设计）。依靠其底层极为强大的容错微架构，Cerebras 能够容忍整张晶圆上存在高达 30% 左右的微观坏点，并通过片上路由绕过这些损坏的计算核心，仍然确保整张晶圆级芯片作为一个整体能够正常点亮并投入使用。

但这种对 30% 缺陷率的工程容忍度，并不能完全抵消整张晶圆面临的良率风险。在真实的半导体先进制程制造中，整张晶圆的物理缺陷分布往往难以控制，一旦某张晶圆在制造过程中出现的物理瑕疵比例超过了其系统容错所能承受的极端上限（例如坏点率达到了 40% 或 50%），或者晶圆的全局供电、主时钟树网络等不可冗余的核心主干区域遭遇了致命缺陷，那么整整一张造价极其高昂的晶圆就彻底全盘报废，没有任何切出部分小芯片挽回损失的可能性。这就意味着，要想成功制造出一张能够达到出厂可用标准的大型晶圆级芯片，其背后的综合废品率与筛选成本极其惊人。

在此需要严格厘清芯片行业中两项本质不同的成本构成：一次性研发流片成本与单颗芯片的实际生产制造成本。对于常规芯片而言，首次流片时制作光罩掩模（Mask）的成本虽然极其昂贵（高达数千万甚至上亿美元），但这是一次性固定研发投入，其性质类似于传统制造业中生产塑料玩具之前的“开模”费用。只要后续芯片的商业出货量足够庞大，这一笔前期开模成本就会被海量的芯片出货量迅速摊薄到极低的水平，并不会对每一颗量产芯片的边际硬件制造成本构成决定性影响。

但是 Cerebras 面临的真正致命痛点根本不在于前期的开模费用，而在于“模具开好之后、进入实际批量生产阶段时的边际制造良率极低”。这好比开好了生产玩具的模具，但是因为工艺过于极端，在实际流水线上每生产 10 个产品，其中可能有 9 个由于无法满足整体严苛的容错标准而直接报废。这种在实际量产交付中极高的物理报废率，直接导致其每一颗能够最终走向市场的可用晶圆级芯片，背负了难以想象的边际生产制造成本。

晶圆级芯片的良率、系统改造与 Token 成本逻辑

晶圆级芯片除了良率和具体怎么使用的问题，还有一个关键挑战在于整个系统层面。面对这样一种与其他芯片截然不同的设计，整个配套系统都必须做出针对性的改变。比如在软件层面上，整块晶圆上可能集成了几十万个小核心（Core），系统需要判断并处理哪些部分坏掉了是可以绕过去的；如果坏掉的部分恰好位于某些相对关键的区域，又该如何应对。这些工程与系统问题在之前从来没有针对这种规模的系统进行过深入研究，因此研发团队首先必须在软件层面解决这些问题。此外，在硬件集成方面，这样一套庞大的系统究竟该如何安装、插入到标准的机柜当中，其中涉及的各种额外工程细节也都需要厂商自行摸索并解决，因为这可能是目前业界唯一一家比较知名的晶圆级芯片生产商。

从成本角度来看，这一问题非常复杂，需要理清其中的内在逻辑。在讨论实际成本时，大家最关心的指标本质上是 Token 的成本。而 Token 的成本在很大程度上就是前面反复强调的带宽成本，因为每生成并推理一次 Token，都意味着必须把整个模型从存储介质（例如 SRAM）中完整地读取一遍。但最终大家所关心的 Token 成本，回归到数据中心的本质成本结构上，主要由两部分构成：一部分是采购整套硬件系统的资本支出成本，另一部分则是实际运行过程中的电费与能源消耗成本。

在实际的成本计算方式中，通常的逻辑是：假设部署了一款新芯片并建立了一个新的数据中心，计划让该数据中心在例如 3 年或 5 年的服务周期内运行，测算在这段时间内总共能够推理出多少数量级的 Token，然后用这个庞大的 Token 总量，去除以整个生命周期内所需要消耗的硬件采购成本以及能源运营成本。

对于 Cerebras 而言，由于晶圆制造良率问题所导致的高昂成本，全部集中反映在其硬件采购成本部分。这部分高昂的制造成本在某种程度上大幅摊薄了它原本在实际带宽上所能获得的收益。举例来说，如果是一款结构相对简单、没有这类良率困扰的芯片，单颗芯片的成本可能做到英伟达 GPU 的十分之一，同时带宽还能做到英伟达的 10 倍，就像 Groq 展现出的形态；但由于晶圆级芯片在制造端的成本过于高昂，最终呈现出来的结果很可能是：虽然获得了 10 倍于英伟达的带宽，但同时付出了 3 倍于 HBM 的制造成本。这导致其实际带宽的性价比大打折扣。这就类似于 Groq 需要为其确定性架构在某些方面做出折衷与让步，而 Cerebras 则必须为其复杂的良率成本付出代价，最终这些折扣都会直接反映在每一个 Token 的实际生产成本上。

研发芯片的新时代红利：经济性摊薄与软件栈门槛降低

早在 20 世纪 80 年代，业界就曾有人尝试制造晶圆级芯片，但最终以失败告终。回顾历史，以往进行各种特殊芯片的探索与实验（包括英特尔推出的安腾 Itanium 芯片，最终被证明是一个灾难性并被放弃的芯片架构），在尝试做异构、全新芯片架构或者需要建立全新软件栈依赖时，往往面临巨大的阻碍。而在当下这个时代做芯片之所以是一个好时机，主要得益于两方面的根本变化：

第一是经济性层面的变化。研发一款新芯片所投入的研发成本以及新的生产设计成本，必须能够通过足够大的市场规模来进行摊薄。在以往的时代，行业中并没有出现任何一个单一的大型应用，能够像今天的 AI 一样，能够如此清晰、容易地通过庞大的计算需求把成本摊薄的逻辑讲通。在如今 AI 系统的整体开销体量面前，流片一次所需的几百万美金，乃至上亿美金的研发投入，在整体市场需求面前已经不再是一个难以承受的庞大数字。因此在今天研发一款全新芯片，经济层面的门槛和难度已经大大降低。

第二是软件栈构建的门槛大幅降低，尤其是在推理芯片领域。一方面，当前面对的是高度统一的单一大型应用。以往在英特尔的时代，可能需要适配几百家重点公司的几千款软件应用，每一款新 CPU 在设计制造出来之后，都必须在这几千款应用中逐一运行基准测试（Benchmarking）；测试结果要求与上一代芯片相比，任何一家公司、任何一款应用的性能都不能出现明显的掉队，否则就会影响芯片的商业推广。因此以往做芯片和配套软件优化时，必须兼顾这几千个应用的兼容与性能。而今天在 AI 领域，实际上只有单一的大型应用场景，甚至在这一大应用内部，主流模型分类基本集中在 Transformer 架构上。Transformer 本身是一种“大力出奇迹”的架构，其内部结构相对简单规整，模型通常由几十层结构几乎完全一致的网络层堆叠而成。从应用分解的角度来看，软件需要支持的算子和结构变得非常简洁。

另一方面，随着 AI 自身的代码编写（Coding）能力不断提高，针对推理 Kernel（算子）的软件优化工作，实际上可以被 AI 大大加速。当新的模型架构推出并带来新需求时，只要这些新需求与以往模型相比差异不是特别巨大，AI 自身就能够辅助解决算子优化与软件适配的问题。因此，构建专用软件栈的准入门槛在当前被显著降低了。

英伟达收购 Groq 的逻辑与大公司架构创新困境

针对英伟达花费 200 亿美元 Acqui-hire（人才与技术收购）Groq 这一事件，其核心看重的技术诉求非常明确。从技术需求的角度来看，当前的大模型推理带来了一系列 GPU 架构本身无法很好解决的超大带宽需求。从英伟达自身的角度来看，它拥有极为深厚的技术护城河，尤其是 CUDA 生态体系；但 CUDA 对于英伟达而言既是极其强大的护城河，在某种程度上也是技术架构颠覆式创新的包袱。英伟达 CEO 黄仁勋（Jensen）非常清晰地意识到了这一趋势：在未来的推理场景中，单纯的算力并不再是唯一的决定性指标，英伟达必须补充超高带宽这部分技术能力。综合各方面的战略考量，通过 Acqui-hire 的方式直接收购一家具备该项核心技术能力的公司，是一项非常明智的决策。

英伟达自身具备极强的行业洞察力，能够看清技术趋势，也清楚自身的短板所在，按理说完全具备从内部自主研发的能力。但大公司内部创新的实际阻力往往非常巨大。例如在英伟达研究院（NVIDIA Research）内部，研究团队很早就在架构层面开展了大量前沿创新工作，包括针对 CGRA（粗粒度可重构架构）等方向发表了大量的学术论文。然而在一个成熟的大型商业公司内部，要想把一个处于 Research Idea（研究构想）阶段的前沿方案颠覆性地推向核心产品团队并落地量产，其面临的组织阻力与技术惯性是极其巨大的。即使是英伟达这样技术实力顶尖的公司，与其在内部打破既有体系进行艰难重构，不如直接 Acqui-hire 一个与原有成熟团队没有历史包袱的新技术团队。

推理时代绕过 CUDA 的必然性与性价比天平

对于当前研发推理芯片是否能够绕过 CUDA、或者能否建立一套全行业通用软件体系的问题，从推理芯片的发展趋势来看，绕过 CUDA 是百分之百会发生的事情。事实上，观察当前各大科技巨头自研的推理芯片，例如谷歌的 TPU 以及亚马逊的 Trainium，其设计初衷与软件体系完全没有考虑过要去兼容 CUDA。

尽管如此，很多开发者依然会觉得 TPU 的软件系统比较难用。例如 Anthropic 之所以能够大规模采购并高效使用 TPU，很大程度上是因为其团队中吸纳了大量来自谷歌的工程师，这部分人员深谙 JAX 框架在 TPU 上的使用与调优之道；但如果让一个没有从事过软件编译器研发的普通工程师去上手，依然会觉得门槛很高，TPU 在软件层面上对外界而言依然像是一个黑盒，除非是非常精通底层机制的技术人员或谷歌内部团队才能驾驭。

然而，软件本身的开发难度问题在当下并不构成不可逾越的障碍。只要面对的不是成百上千个分散复杂的难题，而是一个边界清晰的问题，集中精力攻克之后事情就能迎刃而解：只要把 Transformer 架构中所涉及的全部算子在新的芯片平台上实现并优化，Transformer 模型就能顺利跑通，商业逻辑在闭环上就完全成立；加之在 AI 工具的加持下，针对算子以及整个 Runtime（运行时）的开发效率已经得到了极大的加速。

推理芯片绕过 CUDA 之所以是必然趋势，其底层原理在于训练时代与推理时代客户价值取向的本质转变。核心差异在于：在训练时代，用户更看重开发生态的易用性并愿意为此买单；而在推理时代，用户更愿意为了每 Token 绝对成本的降低而买单。虽然某些专用芯片的软件系统确实存在上手门槛和易用性不足的问题，但只要这种难用能够换来实质上更高的性能以及显著更优的性价比，在推理时代，客户的天平就会坚定地向极致的性能与性价比倾斜。这一点在行业现状中已有明确体现，例如 DeepSeek 虽然依然运行在 GPU 之上，但为了榨干性能，团队宁愿深入到底层直接手写 PTX 汇编代码来进行极致的底层优化。这种对底层效能的极致追求，正是推理时代必然会绕过 CUDA 生态绑定的根本原因。

基于 SRAM 的异构推理架构与阿姆达尔定律

在对比 Groq、Cerebras 以及自研新型推理芯片的性能与性价比时，如果刨除具体技术实现路径的优缺点，从纯粹的原理分析来看，未来理想的推理系统在速度上相较于目前主流的通用 GPU 配合 HBM 架构，有机会在推理速度上实现至少两到三个数量级的提升——即单用户推理速度从每秒几十个 Token，跃升到每秒 1,000 个甚至 10,000 个 Token，同时在系统整体性价比上实现 10 倍左右的提升。

基于 SRAM 的推理芯片解决方案的核心在于处理 SRAM 的固有特性与权衡取舍：SRAM 具备极高的性能，在芯片层面上相较于 HBM 拥有两到三个数量级的性价比提升，但其核心的权衡点在于容量极小。单颗芯片上能够容纳的 SRAM 容量通常只有几百兆字节（MB）。而目前主流大模型的参数量在采用 FP8 量化后大约为 1TB 量级。将 1TB 的模型容量除以单颗芯片几百 MB 的容量，大约需要上千颗芯片才能在纯 SRAM 内存中完整放下整个模型以支持推理。

因此，研发方案的核心任务在于：如何通过特定的网络拓扑结构将这上千颗芯片高效互联，确保芯片与芯片之间的通信带宽不会成为推理过程中的传输瓶颈，从而将每颗芯片上的 SRAM 内部带宽充分发挥出来。尽管在多芯片互联与跨芯片通信中必然会产生一定的损耗，但在扣除损耗之后，整套系统最终仍要实现 10 倍的性价比提升。

在具体技术实现上，单颗芯片承载大约 500MB 的模型参数，Token 的隐藏状态（Hidden State）在芯片互联网络中逐步传递，从一端流动到另一端，最终输出推理结果。与此同时，整个系统深度践行了异构计算的理念，不会试图用专用芯片包揽大模型推理的所有计算环节，而是主张使用最匹配的硬件去执行对应特征的计算任务。模型被明确划分为 Attention（注意力机制）部分与非 Attention 的 FFN（前馈神经网络）部分，方案类似于 Groq 但并不完全相同，主要专注于处理后半段非 Attention 的部分。

至于为什么芯片层面两到三个数量级的性价比提升，折算到整套系统后最终表现为 10 倍左右的提升，其根本原因在于阿姆达尔定律（Amdahl's Law）。在一个异构计算系统当中，即使以 1,000 倍的极致效率解决了系统中 90% 的计算瓶颈问题，但剩下的 10% 的问题依然留给传统的 GPU 来处理，那么根据阿姆达尔定律，整套系统最终所能获得的整体性能与性价比提升上限就是 10 倍左右。

研发迭代周期与架构层面的颠覆式创新

当前无论是模型训练还是推理，芯片供给都处于严重的供不应求状态。从启动研发到芯片最终量产成型，所需的研发周期也在随着技术手段的发展而演变。传统芯片研发从前端需求反推、架构设计、具体电路设计到流片与封装测试，整个周期通常需要一年半到两年的时间。然而，近期 OpenAI 在发布其自研芯片规划时宣称实现了 9 个月完成流片。在研发目标足够聚焦且充分利用 AI 工具进行全流程赋能的情况下，流片的迭代节奏可以大幅加快。尽管物理层面的后端设计与晶圆制造流片周期依然受客观物理规律约束，但在前端架构设计与软件系统适配层面，芯片公司的研发节奏正在越来越向敏捷的软件公司靠拢。

从技术创新属性来看，采用全新架构不仅是为了顺带解决上游供应链的卡脖子问题，更根本的目的在于解决 Token 的生成速度与单位成本问题。这种创新并非传统制造工艺层面的微创新，而是在芯片设计与系统架构层次上的颠覆式创新。芯片制造从物理层面可以划分为不同维度，例如光刻工艺的推进，或是英伟达等国内外厂商积极探索的 3D 堆叠先进封装技术；而作为 AI 芯片设计公司，核心发力点在于芯片架构与集群系统设计维度实现真正的颠覆式突破，从而在最终产品上建立起强大的代际竞争力。

云端推理芯片的评价框架与中美能耗差异

在衡量一款推理芯片优劣的评价框架中，通常涉及多个维度：单 Token 产出成本、推理速度、单 Token 耗电量、芯片算力实际利用率，以及软件与编译器的成熟度。在推理时代，前三项指标（成本、速度、耗电量）最为关键。第四项算力利用率的高低会直接作用并体现在成本指标上，但市场最终考核的核心依然是综合成本。由于未来的推理基础设施必然走向异构化，因此不能再单纯从单颗芯片的峰值算力、内存带宽或存储容量来评价其优劣，衡量芯片的好坏必须上升到整套系统级维度来综合评估。

在评价体系中还必须严格区分云端 AI 推理芯片与端侧芯片的差异。如果是一款面向端侧设备（如本地计算盒子或智能手机）的芯片，单 Token 的生产成本并非首要决定因素；端侧设备的首要约束是固定硬件预算（例如整颗芯片的成本控制在 100 美元以内），在限定的 100 美元成本约束下若能达到可接受的推理速度，产品就能获得市场认可。而云端推理芯片面向大规模服务部署，最终的商业成本会被直接拆解为每个 Token 的生产成本，因此首要考量指标是单 Token 的产出成本；第二优先级是推理速度，速度是未来极为关键的核心 AI Infra（基础设施）指标；而耗电量在云端的总体持有成本（TCO）中目前所占比例相对较低。

在能源成本占比方面，中美两国的数据中心存在明显的国情差异。美国由于局部电网承载力不足和能源紧张，能源成本在 TCO 中的占比较高；而在国内，电费在 TCO 中的占比相对较低。以数据中心 TCO 的构成为例，主要包含两部分：

CAPEX（资本性支出）：购买芯片、服务器硬件及机房基础设施的一次性固定投入；
OPEX（运营性支出）：数据中心在规划运营周期内（例如 5 年）持续产生的能耗与电费支出（功耗乘以运行时间再乘以电价），以及配套制冷散热所需的能源消耗。

在国内市场，电费等 OPEX 大约占总成本的三分之一，硬件 CAPEX 占三分之二；而在美国市场，这一比例可能反过来，能源成本占比高达三分之二。这一结构性差异导致不同区域的关注点有所分化：英伟达黄仁勋在北美演讲中频繁强调 Tokens per watt（每瓦特生成的 Token 数量），而国内市场则更聚焦于 Tokens per dollar（每美元生成的 Token 数量）。虽然从长远来看电力与能源是整个 AI 产业演进的终极物理瓶颈，但在国内当前的商业落地中，客户对于纯耗电量的敏感度相对次于直接的硬件采购与 Token 采购成本。

因此，如果要用最核心的标准去判断一家推理芯片公司的真实水平，并不在于其理论层面的参数指标，而在于能否直接回答两个关键问题：其系统能够达到的 Tokens per second（每秒单用户推理速度）有多快，以及每个 Token 的综合成本有多便宜。许多脱离实际系统视角、仅从单芯片参数自嗨的公司，往往根本无法给出这两个关键数据。

推理速度的本质意义：思维链、Agent 与时间约束

针对“当前大模型推理速度是否已经足够、单纯把速度做快有多大实际意义”这一问题，其背后有着深刻的技术与商业逻辑。从人类直觉来看，当单用户生成速度达到每秒 100 个 Token 时，其输出速度就已经超过了普通人类的文本阅读极限，因此现有的许多 GPU 推理系统在优化时往往以每秒 50 到 100 个 Token 作为目标基准。但随着 AI 技术的发展，推理速度的需求逻辑发生了根本性转变：

第一，随着 Agent（智能体）系统的爆发式增长以及思维链（Chain of Thought, CoT）技术的普及，语言模型生成的大量 Token 实际上并不是直接输出给人类阅读的。思维链所生成的中间推理步骤，是模型在自我思考、推导最终高智能结论时消耗的内在计算过程；而多 Agent 系统中产生的大量通信 Token，也是供其他 Agent 接收、解析并执行进一步任务的。对于这种无需人类介入的机器间交互与内在思考过程，Token 生成速度在理论上是没有上限的，速度越快越好。

第二，推理速度的提升并不单纯是为了缩短用户的等待时间，其核心本质在于：在给定的时间约束内，通过消耗更多的 Token 来换取更高层次的智能。以用户交互为例，用户通常无法容忍一个问题需要等待数小时甚至数天才能返回结果，普遍期望在例如 1 分钟之内得到答案。在 1 分钟这一固定的交互时间窗口内，如果推理速度极慢，模型只能生成少量 Token，进行极其粗浅的思考；而如果推理速度提升 10 倍甚至 100 倍，模型就能够在相同的 1 分钟之内生成多出 10 倍的 Token，进行深度的多路径推理、自我纠错、思维链验证，甚至驱动多个 Agent 进行模拟实验并汇总结论。

因此，更快的推理芯片带来的不是将原本需要思考 1 分钟的任务压缩至 1 秒钟草率输出，而是在维持 1 分钟响应时间的前提下，让模型拥有进行 10 倍于以往深度的思考空间，从而输出远比以往更聪明、更精确的答案。这正是黄仁勋在演讲 PPT 中将纵轴定义为单位能耗成本（Tokens per watt）、而将横轴推理速度直接标注为“Smarter AI”（更聪明的 AI）的底层逻辑所在——推理速度的提升等价于智能水平的跃迁。

此外，时间是客观世界的刚性物理约束。对于许多真实世界的关键决策任务（例如预测次日金融市场走势、突发事件应急响应），必须在严格的 Deadline（截止时间点）之前得出结论。如果一个系统需要耗费两天甚至数年才能计算出完美答案，其输出将毫无实用价值。在确定的时间卡点内获取最大化的智能，这一需求直接倒逼底层 AI 推理芯片必须具备极致的生成速度。

模型算法演进对芯片架构的影响及确定性选择

当前在大模型领域，从预训练方法、强化学习（RL）、递归自我提升（RSI）、思维链推理机制，到多模态图像/视频生成 Diffusion（扩散）模型及世界模型等，算法创新层出不穷。面对快速迭代的算法，芯片在设计时必须向前预判 2 到 3 年的发展趋势，抓住底层最本质的规律：

首先，针对不同模型结构需要做出清晰的异构选择。例如在图像和视频生成领域广泛应用的 Diffusion 扩散模型，其计算特征与自回归的 Transformer 存在本质差异，Diffusion 模型在计算特征上属于高度密集的计算密集型任务，其适配的硬件架构完全属于另一种范式。面对这种差异，芯片设计必须做出取舍：要么明确放弃该场景，交给更适合的计算架构处理；要么在专用架构上探索差异化支持方案。

其次，在核心瞄准的 Transformer 架构内部，需要区分算法中“尚未收敛的易变部分”与“已经收敛的相对不变部分”。芯片架构应当优先去固化并加速已经收敛的部分：

Attention（注意力机制）部分：目前各大研究机构依然在持续推出新的算法变种与改进论文，算法层面尚未完全收敛；
FFN（前馈网络）部分：自从全面转向 MoE（混合专家模型）架构之后，FFN 在计算逻辑与数据流结构上已经演变成了一个相对稳定的不变量；
强化学习与后训练（RL / Post-training）：虽然在训练策略上不断演进，但并没有从根本上改变模型本身的底层网络拓扑与推理结构。

因此，芯片设计的核心目标是寻找最贴合当前大模型超大访存带宽需求的架构解决方案，而非死板地绑定在某一个具体算法细节上。如果未来图像、视频等多模态生成算法也全面转向自回归范式，该推理架构同样能够提供良好的支持；而对于天生属于不同计算特征的任务，则交由异构系统中的其他专用计算单元去解决。

算力未跑满的原因：Roofline 模型、细碎算子与 MFU/MBU 分析

针对当前无论国产芯片还是英伟达 GPU 在实际应用中普遍存在的“纸面峰值算力很高，但实际运行中利用率极低、甚至达不到标称算力一半”的现象，其算力浪费与未跑满的原因主要由硬件、软件以及应用负载三方面的共同作用所导致：

第一，计算与访存比（Compute-to-Memory Ratio）不匹配。在经典计算机体系结构的 Roofline 模型（屋顶模型）中，如果特定工作负载（Workload，包括很多注意力机制及单用户推理任务）的计算访存比没有落在 GPU 架构的最优“甜点区”（Sweet Spot），系统就会严重受制于内存带宽瓶颈。当芯片处于带宽受限（Memory Bound）状态时，硬件的理论算力自然无法被充分利用。

第二，推理任务算子过于细碎带来的调度损耗。与大模型预训练阶段整齐划一、大规模的密集矩阵乘法不同，大模型推理是一个高频、快速且由大量微小算子组成的执行过程。在每秒生成数百个 Token 的高并发场景下，每个 Token 对应的计算任务被高度碎片化，这种细碎的算子调用会在软件框架和硬件调度层面造成显著的调度开销与时间摩擦损耗。

第三，数据互联阻塞导致计算单元空转。在分布式系统中，计算单元常常因为等待数据传输而陷入闲置状态。无论是因为本地 HBM 访存带宽不足导致数据读取过慢，还是跨芯片网络互联延迟导致数据未按时送达，都会导致负责矩阵乘法的核心计算单元空转。由于目前衡量芯片有效利用率的核心指标 MFU（Model Flops Utilization，模型算力利用率）主要基于矩阵乘法的有效计算量进行统计，一旦矩阵乘法计算单元频繁陷入等待与空转，最终测算出的 MFU 就会非常低。

第四，MBU 与 MFU 的权衡关系。在追求极致单用户生成速度的推理场景中，除了关注算力利用率 MFU 之外，另一个关键指标是 MBU（Memory Bandwidth Utilization，内存带宽利用率），即访存带宽被实际利用的百分比。如果硬件在设计时配置了过小的内存带宽和过大的理论算力，那么在实际运行中即使访存带宽已经被 100% 吃满（MBU 达到极限），大量的计算核心依然会因为无数据可算而处于闲置状态，导致整体芯片算力利用率依然低下。因此，在自研推理芯片的设计中，必须在架构层面深度优化访存与计算的配比，最大限度消除实际执行过程中的调度摩擦与等待损耗。

芯片设计全流程的起点：需求梳理与系统架构拆解

在芯片设计的完整工程流程中，最初始的第一步是需求分析与高层架构设计。研发团队必须首先清晰界定芯片的核心市场定位：该芯片究竟要解决哪些具体的核心问题，其中哪些属于纯技术维度的性能与架构瓶颈，哪些属于客户在实际落地中的定制化需求（例如特定的安全性要求等）。

在理清上述需求之后，团队将围绕这些目标展开具体的高层架构设计。这一阶段所规划的架构往往不仅局限于单颗芯片本身的设计，还必须将最终交付形态（如整机服务器乃至超大规模计算集群）纳入统一考量，将顶层需求逐级拆解为对整套系统的技术指标要求，包括芯片内部的模块划分、芯片间的高速互联带宽需求，以及服务器与服务器之间的集群网络互联需求等。

芯片研发流程：从架构定义到流片与量产

从系统架构层面出发，首先需要拆解并明确未来要支持的应用场景，并推导到对具体每一颗芯片的具体需求，围绕真实场景进行实际芯片架构的定义。在芯片架构定义清晰之后，便会进入更细致的微架构定义阶段。在这个阶段，需要规划芯片内部的计算单元盒（box）如何设计，包括盒内的矩阵单元、向量单元如何设计，选用何种指令集，以及存储模块的具体位置与布局。例如若选用 SRAM 方案，SRAM 应当布置在什么位置。当这些细节全部确定后，就会形成一份非常详尽的特性列表（Feature list），用以具体指导实际 RTL（寄存器传输级）编码时每一个模块的具体实现。

通常外界认为做一颗芯片需要一到两年的周期，但实际编写 RTL 编码的时间通常只需两到三个月，大部分时间与精力主要耗费在前期需求分析与架构设计上。完成 RTL 编码之后，便进入验证工作阶段。在传统芯片工程中，制造大芯片的流片成本极为昂贵，因此必须在流片前做极其充分的验证，以确保芯片功能不出现差错与 bug。验证手段一方面依赖于规模庞大且复杂的测试用例，另一方面则依托形式化验证（formal verification）从数学层面进行逻辑证明。

当验证工作充分完成后，研发便转入后端阶段。此前的内容基本属于芯片前端范畴。当每个晶体管的连接关系确定后，后端需要将其尝试排布在可行的物理空间上，进行芯片的布局布线（Place and Route）：规划线路走向、布置不同计算单元的具体位置，以及确定存储单元的长宽高比例等。后端产出的具体图纸将转化为实际光刻数据，明确需要在晶圆哪一块物理区域刻蚀怎样的晶体管。在此过程中，还需要依据晶圆厂（Fab）提供的信息与设计约束进行大量重复的 SDC（设计约束检查），确保流片过程不出现重大缺陷。

全部前端与后端设计完成后即可进入流片（Tape-out）环节。流片动作的核心是由晶圆厂制造对应的光刻模具/掩模（Mask）。制作掩模主要发生在第一次流片；若初次流片功能没有问题，后续进入量产阶段时该模具一般无需大幅修改。第一代芯片制造出来后，会涉及封装与测试环节。以英伟达的芯片为例，外观体积较大（接近半个手机大小），但实际内部光刻出的核心硅片（die）占比相对较小，大部分体积是在较大的封装体内解决如何将极细的光刻引线引出到实际产品电路板（PCB）走线上。测试工作的核心在于应对良率挑战，必须建立一套体系化测试方案以准确筛分出良品与不良品。若最终要交付一套完整的复杂计算系统，还需要设计外围 PCB 板卡，考虑主芯片与控制芯片、Switch（交换）芯片、网口及其他接口的协同布局，并整体规划服务器集群层面的供电、散热与公网互联架构。

硬件创业门槛、国内供应链优势与开源生态机遇

芯片创业具有极高的行业壁垒与资金门槛，不仅每个技术环节都充满挑战，流片与量产成本极为昂贵，还要承担流片失败的风险以及控制量产良率的压力。同时，硬件创业面临极其严苛的供应链考验，即便是谷歌或英伟达这样的巨头，在自研芯片时也常常遭遇供应链各环节缺货的困境。然而，这一赛道的潜在商业回报（赔率）也极为巨大。

许多在英伟达拥有多年资深经验的科学家没有选择独立创业，核心原因之一在于做芯片需要撬动的产业链规模极其庞大。在实际操作中，团队无法仅靠单打独斗完成所有工作，尤其在后端与工程落地阶段，必须与大量外部合作方及供应商紧密协同。团队首先需要把用户需求、模型特征以及芯片设计架构梳理清晰，后续则伴随大量与供应链上下游的沟通与合作。

关于供应链挑战，国内芯片市场在未来两到三年内可能长期处于供小于求的状态。因此，企业未来能否成功，关键不仅在于芯片设计本身有多优秀，还在于能否实际制造并供应出足够数量的芯片。在这方面，架构创新带来了独特的结构性优势：通过大胆的架构设计创新，可以降低对全球最先进制程工艺的绝对依赖。团队有机会利用被外界视作成熟甚至“淘汰”的成熟工艺制程，制造出在核心指标（如每秒 Token 产出 Tokens per second、每美元 Token 产出 Tokens per dollar）上匹敌甚至超越先进工艺系统的解决方案。

谈及回国创业的背景，并非单纯因创业这一件事而回国，而是博士毕业后国内有良好的工作机会，且已在国内工作了三年左右。在此期间，因导师与许多博士同门仍在北美，每年仍会多次前往硅谷与学术界及工业界保持交流。尽管国内在先进制程上存在现实的技术限制与客观约束，但从长远来看，在控制成本、追求性价比以及供应链综合配套能力方面，国内环境具备显著优势：供应链完善、供应商聚集度高，便于深入硬件各环节进行高效协作。

更本质的优势在于构建基础设施的综合能力。团队所做的是 AI 推理基础设施，核心要素包括数据中心的选址与建设，而中国在电力与水力等能源供给及基建成本方面拥有极强的优势，且国内本身具备足以自我循环的大规模市场空间。此外，从开源生态角度对比，美国芯片初创公司如 Groq 和 Cerebras 推进相对艰难的原因之一，在于美国最主流的大模型多为闭源商业模型。对于一款全新架构的芯片，既不现实让不了解芯片硬件特性的外部闭源模型团队专门做深度适配，硬件团队自身也无法强行去深度适配一个完全不了解内部细节的闭源模型；做新芯片更希望有成熟的开源模型可供直接部署并跑出实际加速效果。然而当时海外的开源模型（如 Llama 等）在美国并非最主流、使用量最大的绝对核心。因此海外硬件初创公司在商业化初期往往受限于相对小众（niche）的开源市场。国内情况则截然相反：国内最强大的代表性模型（如 DeepSeek、智谱等）在架构层面均更为开放，国内市场上能够稳定获取并被广泛采用的优质大模型 API 大多依托开源或开放架构，这为定制化硬件的适配与推广提供了坚实的市场基础。

模型厂商造芯与专业芯片公司的分工边界

针对“大模型厂商（如通义千问等）自研芯片是否会对独立芯片创业团队构成竞争威胁”的问题，从本质来看，在面对开源模型架构时，模型厂商做芯片相比专业芯片设计公司并不具备绝对的底层优势。构建一套完整的计算基础设施，必须把整个系统的各层级全盘设计清楚，这并非模型算法团队的核心长项。

分析模型厂商自研芯片的现状，主要可以分为两类情况：

一类是传统互联网大厂。当大厂自研芯片时，其内部不仅有多种模型的训练需求，还涵盖多元化的业务形态（例如字节跳动的 Seedance 模型需求，以及海量的图像生成、AIGC 与 Transformer 推理任务）。当大厂投入海量资源做芯片时，往往要求该芯片具备高度的通用性，能够兼顾内部所有对 AI 有需求的业务线，而非针对某单一特定场景做极端定制。因此，大厂自研芯片的实际定位往往偏向于替代通用的 AI 芯片，更偏向训练或通用计算，即便用于推理也是兼顾 Prefill 阶段与图像生成等多种负载。

另一类是纯粹的模型算法初创厂商（如 DeepSeek、智谱、Kimi 等）。设计一个顶尖的算法模型所需要的能力模型，与设计一款优秀的芯片所需要的能力模型是截然不同的。若将两种完全不同的组织基因与能力强行整合进同一家公司，并不一定能带来正面收益，组织内部同样需要“异构”。适合算法创新的公司应当保持专注于算法设计的组织氛围，而适合硬件研发的公司则专注于芯片与系统架构设计，盲目融合反而可能带来内耗。

师从 Bill Dally：局部性哲学、权衡取舍与研究本质

在斯坦福大学攻读博士学位期间，导师为英伟达首席科学家、GPU 领域奠基人之一 Bill Dally。Bill Dally 早在 2000 年之前便在斯坦福开展了关于流处理（Stream Processing）的开创性研究，后续英伟达成功将其进行了工业级商业化落地；随着他与英伟达的深度合作，他又在产业界持续主导了诸多重要技术方向。

进入 Bill Dally 课题组的机缘始于本科大四学期，当时即将毕业的师兄韩松（后创立多家成功企业并任教于 MIT）邀请其担任研究助理。当时的研究围绕韩松提出的神经网络剪枝与量化（Pruning & Quantization）展开，探索如何从算法层面让模型更高效地运行在硬件上。在此期间，每周均会与 Bill Dally 进行课题例会交流。Bill Dally 展现出的特质是极其聪明，且在学术研究上始终聚焦于非常本质的底层问题，从不耗费精力去解决那些唾手可得但影响有限的“低垂果实”（low hanging fruit）。由于已是极具声望的资深教授，他没有任何短期发论文的晋升压力，因而能够纯粹从技术本质与个人兴趣出发，专门攻坚那些难度极高、但一旦突破便会对学术界与工业界产生深远影响的重大课题。

在 2017 年博士阶段开启时，Bill Dally 敏锐地关注到一个当时极少有人涉足的方向：针对强逻辑 AI 的专用硬件加速。回顾人工智能的发展史，主要存在两条技术路线：一条是基于神经网络与深度学习的感知路线；另一条则是注重形式化逻辑、知识图谱与定理证明的强逻辑路线（在当前体现为利用 AI 进行数学定理证明等应用）。强逻辑 AI 在学术界已发展了三四十年，并在数学原理证明、EDA 芯片后端布局布线算法中发挥着关键作用。2017 年前后，英伟达已经在感知类的神经网络加速上取得了巨大成功，但在 Bill Dally 看来，未来的通用人工智能应当是“强感知 + 强逻辑”的结合体。由于当时业界针对强逻辑计算几乎全停留在软件层面、缺乏专用加速硬件，Bill 带领团队从底层从头设计了一套全新的加速器芯片架构，与传统的 CPU、GPU 及常规 AI 芯片均截然不同。当前硅谷许多创业公司正在探索利用 Transformer 语言模型辅助求解数学与物理问题（即 AI for Science），其底层求解强逻辑问题的固定算法正是 SAT（布尔可满足性）问题。目前该领域在算法层面尚未完全收敛，但若未来科学探索的瓶颈演变为如何更快速地求解复杂的逻辑命题，对底层强逻辑硬件加速的需求将会变得极其确定。

Bill Dally 带来的核心启发并不局限于具体的学术方向，而在于其思考方式、系统架构哲学与方法论。Bill 本人虽然被誉为 GPU 奠基人，但他从未将自己与 GPU 这一特定硬件形态绑定；GPU 只是他作为顶级架构师在发现最重要问题后、以最优解法实现出来的产物。在系统架构层面，Bill 传授的一个最核心认知是“局部性”（Locality）。Bill 曾提出一个经典比喻：“计算机体系结构就像房地产，一切的关键都在于位置、位置还是位置（Location, location, location）。”传统体系结构设计主要利用两类局部性：

时间局部性（Temporal Locality）：如果程序访问了一段数据，在未来短时间内大概率会再次重复访问该数据。
空间局部性（Spatial Locality）：如果程序访问了一段数据，大概率很快会访问其物理邻近区域的数据。

CPU 中的 Cache（多级缓存）设计正是利用时间与空间局部性的典范。而在当前的 AI 推理（尤其是生成式模型的 Decode 阶段）过程中，算法层面的时间与空间局部性几乎被完全抹平，导致传统缓存机制失效。这也正是团队选择采用大容量 SRAM 架构的核心逻辑——通过在硬件物理层面直接构建高带宽、低延迟的极致数据局部性，来弥补算法端局部性的缺失。

在方法论层面，Bill Dally 强调做研究必须抓核心矛盾与关键权衡（Trade-off）。如果要追求数量级（而非渐进式）的性能飞跃，就不能只做微创新，而是必须从全局视角出发，想清楚系统可以放弃什么、必须保全什么；只有跳出局部最优（Local minimum），才能找到全局最优解。这一探索过程必然伴随极高的试错成本与失败概率，但问题的价值本身并不会因为具体解法的暂时失败而被否定。

在回国创业时，Bill Dally 针对技术细节提供了大量指导（包括利用 SRAM 架构的理论可行性与精确测算），而在工程与创业层面，Bill 给出的最深刻建议是：“千万不要直接在商业产品中使用 PhD 写的代码。”这是源于他过往创业经历的教训。在 Bill 看来，学术研究的本质是“用最小的代价获取最多的知识”，因此在科研阶段无需为了验证而盲目耗费巨资去流片，因为流片前通过仿真与分析已经获取了 99% 的核心知识；但在商业创业中，剩下的 1% 属于工程实现细节（如供电、散热、可靠性等），却往往需要团队投入 99% 的精力去扎实攻坚。

亚马逊软硬件协同设计哲学：以终为始与从系统反推芯片

在亚马逊从事自研 AI 芯片（包括编译器与底层软件栈开发）的工程实践中，其核心设计哲学与上述系统观高度一致。软件位于整个计算系统的最顶层，直接面向最终用户。亚马逊的技术体系主要贯彻两大核心哲学：一是“从系统需求自顶向下反推硬件设计”，二是“客户至上（Customer Obsession）”与“以终为始”。

在定义一款 AI 加速器时，不能从孤立的底层硬件参数出发，而是必须首先清晰界定该芯片未来要承载的核心工作负载（Workload）：明确目标运行哪些具体类型或哪一类模型结构，是专注于模型训练、模型推理，还是两者兼顾。工作负载的定义将自顶向下直接决定系统层、软件栈直至芯片底层的各项微架构指标。

在芯片设计中，一个极其关键的核心物理参数是“计算带宽与访存带宽的比值”（Compute-to-Memory-Bandwidth Ratio，即算力与带宽比 / 计算强度阈值）。该比值决定了一次数据读取操作后需要配套执行多少次计算操作，才能使计算单元与访存带宽同时达到饱和利用。这一参数直接决定了哪类模型与算子能在该芯片上获得最高的硬件利用率与执行效率。因此，在规划下一代芯片时，工程团队会首先推演未来两到三年后真实的工作负载形态，评估由多少个节点构成物理可容纳的完整集群系统，进而层层解耦反推，最终锁定硬件的计算与访存带宽比值。硬件规格一旦固化，后续软件栈与编译器的优化方向也将随之确定。由于芯片研发具有较长的开发周期，所有架构推演必须前瞻性地面向未来两到三年后用户的实际需求。

补录讨论：OpenAI 首颗自研推理芯片 Jalapeño 深度解析

在节目发布前的补录环节中，讨论重点聚焦于 OpenAI 于 2026 年 6 月 24 日联合博通（Broadcom）公开的首颗自研 AI 推理芯片——Jalapeño（代号），并结合其在 HotChips 等公开渠道披露的信息与技术方案展开了对比分析。

1. Jalapeño 芯片的核心定位与技术特征

Jalapeño 在定性上是一颗面向 AI 推理的“通用型”芯片，其整体架构与通用 GPU 相对接近，能够运行各类复杂模型甚至支持图形/游戏 demo 演示。其核心侧重点表现为：

极致的能源效率（Tokens per Watt / Tokens per MegaWatt）：在美国当前的数据中心建设中，核心瓶颈已不再是纯粹的资本预算或物理空间，而是极度紧缺的电力供给。OpenAI 对电能转换效率高度敏感，要求在受限的确定供电容量下产出最大化数量的 Token 与智能。Jalapeño 在底层功耗优化上做了大量工作，其单瓦特（或每兆瓦）的 Token 产出效率超越了英伟达对应的 Rubin 架构。
功能全包与通用性设计：与 Groq、Cerebras 以及当前创业团队所采用的“系统级异构分工”（例如将 Prefill 与 Decode 分离，或将 Attention 与 FFN 分离）不同，Jalapeño 采用单芯片全包方案，单颗芯片兼顾 Prefill 与 Decode、Attention 与 FFN 等全部计算环节。微架构上针对小维度矩阵乘法进行了专门支持，使得在小 Batch Size 条件下依然能保持出色的计算性能；公开资料显示其后续演进版本甚至计划支持模型训练。
AI 辅助芯片与软件全流程研发：OpenAI 深度利用 AI 工具加速研发全流程。在软件栈方面，采用 Gluon 编写的底层计算 Kernel（算子）大量依赖 Codex 进行自动优化；在硬件层面，AI 辅助设计显著压缩了上市时间（Time to Market），项目从正式启动到完成流片仅耗时 9 个月，研发迭代速度远超传统芯片项目周期。

2. 存储路径分歧：HBM4 vs. SRAM 的经济与能源权衡

针对 Jalapeño 为何没有采用大容量 SRAM 路线，而是选择了堆叠 HBM4、将单封装存储带宽推至 15.4 TB/s 的高成本路线，背后反映了中美两地在能源结构、业务形态及架构权衡上的深刻差异：

电力供给瓶颈 vs. 资本支出敏感度：HBM4 方案虽然单颗芯片采购与制造成本极其昂贵，但 OpenAI 面临的最核心硬约束是美国数据中心的“电力配额与新增产能供给上限”。中美两地的数据中心运营成本结构差异显著：中国数据中心电费占总成本比例相对较低（约占三分之一甚至更少），而美国数据中心电费及电力供给成本占比高达三分之二以上。在总电力供给上限受限的前提下，OpenAI 宁愿承担更高的芯片与存储资本开销，也要优先最大化“单位电力所能转换出的 Token 总量”。
架构通用性与单芯片诉求：SRAM 的核心优势在于“每单位资金所能购买到的访存带宽”比 HBM 高出数个数量级，若以芯片制造成本或芯片产能来衡量，SRAM 方案能换取更高的单位美元 Token 产出。然而，SRAM 的物理缺陷在于存储密度与容量极其受限。对于 OpenAI 这类业务极度多元（涵盖多模态、语音、图像、复杂推理及潜在训练需求）的模型巨头而言，芯片必须具备承载各类多样化模型与动态计算图的能力。高带宽需求与大容量通用需求的并存，促使其选择在单芯片上采用性能全能但造价昂贵的 HBM4 方案。

3. 长上下文与 KV Cache 的存储分配考量

关于在长上下文（Long Context）场景下 HBM 与 SRAM 的优劣对比，核心仍取决于系统的异构划分方式。在系统级异构设计中（如 Groq 结合 GPU 的方案，或团队自身的架构），通常会将 Attention 计算及 KV Cache 分流至其他专门负责大容量存储的芯片节点上，而非强行放在片上大 SRAM 中。

此外，长上下文对 KV Cache 的实际物理容量需求正处于动态技术变革之中。例如 DeepSeek 推出新一代模型架构后，单 Token 所需的 KV Cache 占用量每代都在大幅缩减（最新版本已压缩至原来的四分之一至八分之一）。但由于实际线上服务中并发用户数与上下文长度具有极强的动态伸缩性，随着并发与上下文规模扩大，对存储容量的绝对需求与性价比提出了严苛要求。由于 SRAM 的存储密度低、单位容量成本极高，处理海量动态膨胀的 KV Cache 处于 SRAM 的非舒适区间；因此在架构设计上，通常不会优先考虑使用昂贵的片上 SRAM 来作为海量长上下文 KV Cache 的主要承载介质。

HBM 带宽增长瓶颈与 SRAM 的带宽优势

关于这个窗口期会不会在两三年之后就关上，其实芯片的研发与迭代周期还是非常快的，行业内通常在一到两年左右，而 OpenAI 这一款芯片更是用 9 个月就造出来了。但是如果我们去看 HBM 的带宽增长，虽然现在已经达到一个很不错的数字，但它后续的带宽增长其实并没有大家想象的那么乐观，包括在这一代技术之后，未来的带宽增长究竟从何而来，业内其实也不是很确定。

如果从第一性原理去思考，HBM 的连线依然是通过走某种线路连接，它不一定是传统的铜线，但它并不是在一个 die（晶圆裸片）内部通过光刻直接做出来的线，而是在带内通过封装走线，因此在走线密度上存在天然的物理瓶颈。现在可以看到，HBM 在一定程度上走到极限之后，类似于业内还有一些厂家在研发 3D DRAM，尝试把边缘走线转变为面上的立体走线。这些方向固然都是未来解决存储问题非常乐观的探索路径，但最终它们都会落在整个 trade-off（权衡）空间的不同点位上。而在当前带宽这一个点位上，无论是 HBM 还是其他的 HBF 方案，都很难在带宽的绝对值以及性价比上达到 SRAM 的水平。

SRAM 的容量瓶颈与适用场景权衡

谈到 SRAM 相比于其他方案的缺点，它最大的缺点其实就是容量维度的性价比。因为 SRAM 需要使用 6 个晶体管（transistor）来锁定一个 bit 的数据；而且一般来说，为了达到极致的高带宽，SRAM 必须放置在同一个 die 上。如果对 SRAM 进行立体堆叠，实际上会直接降低它所能输出的有效带宽。所以在容量性价比这一点上，SRAM 是非常低的。如果我们对存储有着非常庞大的容量需求，需要存放海量的数据，那么 SRAM 可能并不是一个最优的选择。

不过这个问题其实需要拆分成两种不同的场景来讨论：第一种情况是，你需要存储的数据量可能确实很大，但它是一个固定的量。比如我们要把整个大模型的权重参数全部存放在 SRAM 里面，那么我们可以通过使用很多颗芯片组成一个集群去承载，这种模式依然处于 SRAM 可以接受的合理空间之内。第二种情况是，如果你需要存储的数据具有高度动态的变化，并且在未来会持续不断地增长——比如前面提到的 KV cache，那么 SRAM 在容量受限上的缺点就会被急剧放大，从而使得它非常不适合这种数据量动态膨胀的场景。

芯片内异构与系统级异构：Dark Silicon 的代价与能效

关于业界推理芯片方案是否仍在向 SRAM 收敛，在一定程度上，在大型系统级异构这个大方向中，为了提高每 token 的性价比，依然会有很多公司在向 SRAM 方案收敛。但是 OpenAI 提出的思路确实有非常亮眼和有意思的地方：它实际上是将异构做进了一颗芯片内部，在同一颗芯片里面集成了许多不同的异构模块。

OpenAI 在这里提出了 Dark silicon（暗硅）的概念。当然暗硅这个概念在半导体领域一直都存在，只是 OpenAI 认为自身比较容易接受由此带来的成本代价。具体而言，就是用这一颗芯片去承担不同的任务，在执行某些特定计算时，可以把芯片中不需要的部分模块关掉，或者降低它们的功耗。这种芯片内的异构，与我们通常所设想的系统级异构相比，最大的区别在于：它是付出了更高的硬件采购成本去购买这样一颗复杂的芯片，但换取了更高的用电效率。

所以如果纯粹从 per dollar（单位美元成本）的角度来看，这个方案其实并不是很划算。这实际上取决于在不同市场环境下的限制条件差异：如果应用场景对内存带宽以及带宽性价比的要求极高，方案依然会收敛到 SRAM；但如果电力消耗（电）成为了数据中心的第一限制因素，那么 OpenAI 这种通过暗硅优化能效的方案也是一个非常优秀的解法。

OpenAI 方案的行业启发与异构演进路径

在研究 OpenAI 这一套方案的过程中，对芯片设计思路也带来了不少启发。在 AI 工具的使用层面，它部分验证了团队此前的设想，包括软件栈可以通过 AI 技术实现快速提升，以及如何借助 AI 来辅助芯片的设计与架构优化，这些都带来了一定的启发。

关于异构的实现路径，究竟是发生在系统级——即用不同的专用芯片去组建异构系统，还是发生在芯片内部——在单颗芯片内部集成不同的功能单元来实现异构，核心在于不同市场环境下的约束条件不同，因而会走出完全不同的技术路径。在把这个逻辑看清楚之后，团队认为自身此前的很多判断与构想依然是完全成立的。

目前在业界，把异构明确做进单颗芯片内部并公开展示出来的主要是 OpenAI。虽然原先英伟达的 GPU 也可以在广义上理解为芯片内异构，但 GPU 本质上是一颗通用的芯片，更强调通用计算能力，并没有像 OpenAI 这样明确将不同的差异化需求整合在一起，并通过主动关闭或降频部分单元来大幅提升电能效率，这是业内第一次看到这样独特的解决方案。

与此同时，异构发生在系统级也是一条重要主线。包括此前讨论到的 Groq、Cerebras 以及当前很多新型 AI 芯片，实际上都在沿着系统级异构的方向推进，由不同的专用芯片相互配合来完成不同的计算环节。例如在当前 Prefill 与 Decode（PD）分离的大场景下，以及训练集群与推理集群分离的架构中，本质上都是异构发生在系统级维度的体现。

推理芯片市场格局展望与播客结语

关于未来整个推理芯片市场是否依然会是英伟达的天下、整体市场格局将如何演变，这是一个很难给出定论的问题。作为从业者，大家当然不希望整个市场完全由英伟达一家垄断，因为如果真的是那样，就意味着这么多正在做前沿创新和有趣探索的芯片初创公司——包括团队自身在内——都将无法生存下去。

目前可以看到，英伟达作为以通用 GPU 为核心的巨头，在探索某些其他的硬件架构路线时，在迭代速度以及方案选择上可能会受到既有体系的一定限制。因此业内也涌现出了许多不从英伟达传统路径出发的全新探索方案，比如 Groq，以及英伟达后续对其进行的 acqui-hire（人才收购）等动作。虽然无法直接给出确切的预判，但业内普遍希望整个 AI 芯片领域能够变得更加丰富多彩，涌现出更多元化的技术架构与解决方案，这也完全符合大家对计算异构化发展的长期认知。

今天的技术讨论到这里就告一段落。这一期节目的技术硬核度较高，理解起来确实存在一定的门槛，如果大家不在芯片或 AI 硬件行业，听不懂也没有关系，主持人自己也花了不少时间去理解和消化。但能够与芯片行业里这么多有想法、有冲劲的年轻人交流是非常开心的，不仅能够探讨前沿的技术方向，每当聊到像 Bill Dally 这样能够凭借学术与工业造诣带动起整个产业的大咖时，也总能从中汲取到很多前行的力量。

听完本期节目后大家有什么样的感受，欢迎在评论区留言与我们分享。听众朋友们可以通过苹果播客、小宇宙、Spotify 收听订阅本节目；视频观众也可以在 B站和 YouTube 搜索“硅谷101播客”找到我们。我是泓君，感谢大家的收听。