大家好，这里是最佳拍档，我是大飞。
上周，豆包在App Store的官方产品页面正式上线了三档付费订阅方案，定价区间从每月68元覆盖至每月500元。这个看似简单的定价背后，其实藏着整个AI产业最核心的经济逻辑。而同一时间，来自科技播客德瓦凯什·帕特尔（Dwarkesh Patel）的一期硬核节目，恰好完整解答了Token定价、大模型训练与推理成本的所有底层逻辑。这期节目采用了全新的黑板工作室形式，而第一期邀请到的嘉宾是AI芯片创业圈的重量级人物——莱纳·波普（Reiner Pope）。他用7个数学方程，为我们清晰计算出了一个Token从生成到计费的完整报价单。
GPU上的Token生成：计算与内存的博弈
我们先来简单介绍一下莱纳·波普。他是AI芯片创业公司MatX的联合创始人兼首席执行官。在创办MatX之前，他在谷歌工作多年，担任过PaLM大模型的推理效率负责人，并且深度参与了TPU v5e的设计工作，个人拥有11项AI芯片相关专利。2026年2月，MatX宣布完成了5亿美元的B轮融资，由量化交易公司Jane Street和前OpenAI研究员利奥波德·阿申布伦纳（Leopold Aschenbrenner）创办的态势感知（Situational Awareness）基金联合领投，其首款芯片MatX One计划与台积电合作生产，预计2027年正式出货。值得一提的是，德瓦凯什·帕特尔（Dwarkesh Patel）本人也是MatX的天使投资人。
在这期两小时的黑板课程中，莱纳·波普坚持用一套极简的方法论，只从两个最基础的硬件参数出发，通过Roofline分析模型，推导出了关于AI产业的一系列核心结论。今天我们就来大家梳理一下。
我们先进入第一个问题：当你向Claude或者GPT这类大模型发送一条消息之后，GPU到底在执行什么操作？生成一个Token的过程中，硬件层面都发生了什么呢？我们知道，所有主流大模型生成回复的方式，都是一个Token一个Token依次输出的。这个过程在技术上被称为自回归解码（Autoregressive Decoding）。简单来说，模型每生成一个新的Token，都要完整运行一次前向传播（Forward Pass），参考此前已经生成的所有Token内容，再判断下一个Token的概率分布，最终选出最优的输出。因此，一次500个Token的回复，GPU就需要完整运行500次推理流程。
那么模型每运行一次推理、生成一个Token，需要多长时间呢？莱纳·波普掏出了Roofline分析框架。这个框架的核心思想可以浓缩成第一个方程： T ≥ max(T_内存, T_计算) 公式里的T代表生成一个Token的总耗时，T_内存是从内存中读取全部所需数据的时间，T_计算是芯片完成矩阵乘法的计算时间。这个公式的核心逻辑是，生成单个Token的总耗时，由计算时间和内存时间中更慢的那一个决定，两者不是相加关系，而是取最大值。这就意味着，只要计算和内存中有一个环节成为瓶颈，另一个环节即便性能再强，也无法提升整体效率。这是大模型推理最核心的硬件约束。
我们先来说计算瓶颈。大模型的核心运算本质是海量矩阵乘法。但是这里有一个极易被误解的知识点，那就是每生成一个Token，芯片其实并不需要调用模型的全部参数。以DeepSeek V3这类稀疏模型为例，模型总参数量为671亿，但是处理单个Token时，实际只激活调用了大约37亿的参数。模型内置的256个专家模块中，只有极少数会被激活。行业内把每次推理实际调用的参数称为活跃参数（Active Parameters），模型的全部参数称为总参数（Total Parameters）。两者的比值就是稀疏度（Sparsity）。DeepSeek V3的稀疏度约为8。基于这个逻辑，我们得到第二个方程： T_计算 = batch × 活跃参数 / FLOPS 公式中的batch代表同时处理的用户数量，也就是批次大小。活跃参数是单个Token实际调用的参数量。FLOPS是芯片每秒浮点运算次数。这个公式说明，同时处理的用户越多、活跃参数量越大，整体的计算量就越大，再除以芯片的理论算力，就能得到精准的计算耗时。
再来看内存瓶颈。GPU上速度最快的存储单元是高带宽内存（High Bandwidth Memory: HBM），它紧贴GPU芯片，读写速度远高于其他普通内存。但是即便如此，把模型参数从HBM读入计算单元，依然会产生耗时。这是内存时间的第一部分：读取模型权重。而且无论同时服务1个用户还是1000个用户，模型权重都需要完整读取一遍，属于固定开销。内存时间的第二部分是读取KV缓存（KV Cache）。每生成一个新的Token，模型都需要通过注意力机制，关注此前所有历史Token的内部表示。这一步主要是在读内存里的KV缓存，计算量反而不大。基于这两部分，我们得到第三个方程： T_内存 = 总参数/带宽 + batch × 上下文长度 × 每Token字节数/带宽 其中的总参数是模型全部参数量，带宽是HBM的读取速度，上下文长度是对话历史的Token数量，每Token字节数是单个Token在KV缓存中占用的存储空间。方程的第一项是读取权重的固定开销，和用户数量无关。第二项是读取KV缓存的可变开销，会随着用户数量和上下文长度线性增长。
如果我们把方程二和方程三绘制成关于批次大小（batch）的曲线，两条线会在一个临界点交汇。临界点左侧，内存读取速度更慢，是推理的核心瓶颈；临界点右侧，芯片计算速度更慢，计算成为新瓶颈。而推理延迟的绝对下限，就是把模型全部参数从HBM完整读取一遍的时间。以英伟达最新的Vera Rubin GPU为例，288GB的HBM容量除以大约每秒20TB的读取带宽，计算得出的权重读取时间约为15毫秒。而实际运行中，生成单个Token的耗时通常在20毫秒左右。莱纳·波普用了一个非常形象的比喻来解释这个延迟：GPU就像一个定时发车的火车站一样，每20分钟发一班列车，无论列车上有没有坐满乘客，到点就会准时发车。新到达的用户请求只能搭乘下一班列车。最差的情况是请求刚在上一班列车发车后到达，这样就需要等待完整的发车间隔加一次执行时间，总耗时约40毫秒。
批次大小：平衡成本与延迟的关键杠杆
理解了单个Token的推理逻辑，我们就能找到背后的关键：批次大小（Batch Size）。在大模型推理场景中，批次大小的字面意思是批次处理的样本数量，对应到实际服务中，就是一次前向传播同时处理的用户请求数量，也就是并发的用户数。当你调用Claude或GPT的API时，你的请求绝不会独占一块GPU，而是和成百上千个其他用户的请求打包在一起，共同完成一次推理。因此，批次大小越大，同一批次处理的用户越多，硬件的利用率就越高。
莱纳·波普明确指出，影响大模型推理延迟与成本权衡的核心杠杆有两个：一个就是这个批次大小，另一个是推测解码（speculative decoding），也就是通过模型一次预测多个Token，再进行验证，相当于用更多的计算量来换取更低延迟。由此我们得到第四个方程： 单Token成本 = T / batch 其中T是一步推理的总耗时，batch是当前批次处理的用户数量。这个方程的逻辑是，一次推理的总耗时，由当前批次的所有用户共同分摊。批次大小越大，单个用户承担的成本就越低。我们已经知道，权重读取是固定开销，无论1个用户还是2000个用户，GPU都要完整读取一遍权重。因此，1个用户需要独自承担全部的权重读取成本，而2000个用户可以均摊这笔开销，两者的成本差距直接达到2000倍。但是这里有一个硬性的约束，那就是计算时间和KV缓存读取是每个用户独享的。你的对话历史对应的KV缓存，其他用户是无法共用的，所以这部分开销无法被分摊，也就构成了单Token成本的绝对下限。
综合来看，批次大小为1时，单Token成本趋近于极高值；而随着批次大小的增大，成本会急剧下降，最终收敛到成本下界。那么批次大小到底要多大，才能实现计算瓶颈与内存瓶颈的平衡呢？我们得到第五个方程： 临界批次大小 ≈ FLOPS/内存带宽 × 总参数/活跃参数 ≈ 300 × 稀疏度 这里有一个关键的硬件常数，那就是FLOPS/内存带宽。在FP4精度下大约等于300。FP4是当前主流的大模型推理精度格式，每个数字仅占用0.5个字节。这个比值从英伟达A100到B100多代GPU都保持稳定。而前面我们也说了，总参数/活跃参数就是模型的稀疏度。以DeepSeek V3的稀疏度8为例，临界批次大小就约为300×8=2400。当然，在实际工业部署中，通常会再放大2到3倍，确保成本可以达到下界。
这里有一个颠覆行业认知的结论是：临界批次大小和模型的大小完全无关，只取决于芯片的硬件特性和模型的稀疏度。2400个并发序列换算成吞吐量，每秒大约64步推理，合计每秒大约15万Token。而Gemini去年公开的全球流量是每秒数亿Token，所以一个这样的推理单元，大概只对应Gemini全球流量的千分之一。这个结论也直接解释了Claude Code、Cursor这类工具的定价逻辑。像Claude Code的快速模式之所以贵了6倍，是因为通过更小的批次大小来换取更低的延迟，权重读取成本无法被充分摊薄。而慢模式无法大幅降价，是因为一旦批次大小太大，计算就会成为瓶颈，继续增大批次或者延长等待时间，都无法降低每个用户独享的计算与KV缓存开销，成本已经触及硬性的下界了。
那么，稀疏模型的稀疏度是不是越高越划算呢？答案是，稀疏度的提升存在着收益递减，并非可以无限优化。前面的推导已经证明，模型稀疏度越高，临界批次大小就越大，权重读取的成本被摊薄得越充分。但是稀疏度是无法无限提升的。莱纳·波普引用了论文《路由语言模型的统一缩放法则》（Unified Scaling Laws for Routed Language Models）中的实验数据，结论是保持活跃参数不变、持续增加专家模块的数量，模型效果确实会持续提升，但是提升的幅度会快速递减。一个拥有3700万活跃参数、64个专家的稀疏模型，效果仅与13亿参数的稠密模型持平。也就是说，总参数量膨胀了64倍，只换来等效于4倍活跃参数的效果收益。但是从推理经济学的角度来看，稀疏模型依然是划算的，因为稀疏模型增加的总参数，只会提升权重的读取时间，而权重读取恰好是能被批次大小摊薄的开销。但是从硬件内存容量来看，更多的参数量会占用机架上宝贵的HBM空间。
MoE模型的物理部署边界与内存悖论
这就引出了下一个问题：MoE的参数和KV缓存，在物理硬件上到底该如何部署呢？所以接下来，我们就来讲讲MoE模型的物理部署边界，这也是GPT-4发布三年后，参数量没有大幅暴涨的核心原因。混合专家MoE模型的核心工作方式，就是我们前面提到的多专家稀疏激活。模型内置的路由器会根据Token的内容，决定激活哪几个专家模块，其余专家不参与计算。
以DeepSeek的256个专家模型为例，英伟达Blackwell NVL72机架拥有72块GPU，我们选取64块方便整除，每块GPU放置4个专家。路由器为Token分配专家时，专家可能分布在任意的GPU上，因此会产生all-to-all的通信模式，也就是任意一块GPU都可能向其他GPU发送数据。Blackwell机架的内部通信采用的是Scale-up网络，也就是同一机架内GPU的高速互连网络。72块GPU全部连接到机架中间的NV Switch交换机，任意两块GPU之间只需要两跳即可完成通信。而离开单个机架后，采用的是Scale-out网络，也就是机架之间的数据中心网络，带宽仅为Scale-up网络的八分之一。如果将MoE层跨两个机架部署，那么平均一半的Token都需要通过机架间的低速链路传输。因此行业内的共识是，单个机架就是MoE层的物理部署边界。
这也解释了英伟达为何持续扩大Scale-up域的规模。Hopper一代只能支持8块GPU在一个Scale-up域内，总HBM大约为640GB；Blackwell一代扩大到了72块GPU，总HBM大约13.5TB；Vera Rubin一代计划推出NVL144甚至NVL576，让576块GPU通过铜缆加光互连组成一个超大域。莱纳·波普强调，Scale-up域扩大的核心不是提升内存容量，而是提升总带宽。因为权重读取时间等于总参数量除以整个Scale-up域的总带宽，而域内的所有GPU可以并行读取权重。因此从8块扩到72块，总带宽可以提升9倍，权重读取时间直接缩短到原来的九分之一。也就是说，内存容量问题可以通过流水线并行来解决，但是带宽问题只有扩大Scale-up域才能解决。
而GPT-4在2023年发布时，据传已经达到了万亿参数，但是之后三年参数量并没有大幅暴涨，核心原因之一就是，更大的稀疏模型需要更大的Scale-up域来提供带宽支撑，否则权重的读取速度过慢，推理延迟会达到无法接受的水平。但是扩大Scale-up域面临物理工程的极限。从8块到72块GPU已经属于是产品形态的切换了，需要从小型计算托盘升级为整柜式机架；而扩大到576块GPU，则需要全新的硬件设计，包括线缆弯曲半径、连接器密度、机架承重和散热空间。现代AI机架在这四个维度已经推到了物理极限。此外，谷歌的TPU很早就实现了大尺寸的Scale-up域，这也是Gemini在预训练阶段更具有优势的原因之一。
在这种情况下，全球AI行业反而出现了一下看似矛盾的现象：虽然全球都在缺HBM内存，但是单个AI机架的内存却处于过剩的状态。根据SemiAnalysis在2026年4月的估算，内存在超大规模数据中心资本开支中的占比，已经从2023-2024年的大约8%，暴涨到了2026年的30%。2026年全球四大超大规模运营商（包括谷歌、亚马逊、微软、Meta）的资本开支合计，预计将达到6000亿至7250亿美元，其中内存相关开支高达数千亿美元。微软首席财务官更是在2026年第一季度财报电话会上，直接将250亿美元的资本开支增长归因于HBM内存芯片涨价。行业普遍预计，HBM供应紧张的局面至少要到2027年才会缓解。但是与之矛盾的是，单个Blackwell NVL72机架拥有13.5TB HBM，而万亿参数的模型只需要大约1TB的存储权重，显然单机架的内存容量是富余的。这个矛盾的核心在于，内存紧缺不是单机架的问题，而是全球需求的问题。单块GPU的HBM容量是足够甚至过剩的，但是全球需要几百万块这样的GPU，HBM的总产能无法满足需求。所以当前AI产业的内存瓶颈，不在单机架硬件设计，而在半导体供应链的产能限制。
并行策略与KV缓存的挑战
当单个机架已经成为MoE层的物理边界，而上百层的模型需要跨机架部署时，就引出了其他一些问题，比如跨越机架边界的并行策略，以及KV缓存无法解决的顽疾。跨机架部署的核心方案是流水线并行（Pipeline Parallelism）。简单来说，就是把模型的不同层分段放在不同机架上，数据像工厂流水线一样依次通过各个分段。流水线并行的通信效率很高，机架间的通信量远小于机架内的全对全通信。因为专家并行的数据量是batch×激活专家数×层数×2，而流水线并行只需要传输一份激活值，数据量等于batch大小。两者的比值超过8，恰好对应了Scale-up与Scale-out的带宽比。因此跨机架通信本身不是瓶颈。
莱纳·波普给出的一个关键结论是：最优的并行策略与模型结构是一一对应的。专家模块分布在不同的GPU上，模型层分布在不同机架上。过去常用的张量并行（Tensor Parallelism）是把单个专家的矩阵拆分到多块GPU，但是随着MoE模型中单个专家的规模越来越小，张量并行已经不再具备成本优势。
流水线并行在训练和推理中的表现则完全不同。训练阶段分为前向传播和反向传播，需要先完成所有样本的前向传播，再统一执行反向传播。流水线并行会将全局批次拆分为更小的微批次，前向和反向传播之间会出现空闲期，被称为流水线气泡（Pipeline Bubble）。这也是伊利亚·苏茨克维尔所说的，如今不应该做流水线并行的核心原因。除了气泡带来的效率损失，还会损失模型架构的自由度，比如Kimi模型的跨层残差连接，在流水线切分下难以实现。
而推理阶段没有前向与反向传播的约束，一个批次完成后下一个批次立刻进入，不会出现空转。从吞吐量来看，流水线并行对推理没有正向或负向影响，但是会增加延迟，因为每跨一次机架，数据都需要经过从GPU到网卡、到机架顶交换机、再到目标机架的过程，增加几毫秒延迟。而4个流水线阶段可能将单Token延迟从20毫秒提升至30毫秒，增幅可以达到50%。
而KV缓存是莱纳·波普最核心的推导结论之一，它是唯一无法被任何并行策略分摊的开销。虽然增加流水线的阶段数，权重的单GPU内存占用会按阶段数等比例下降，但是KV缓存的单GPU占用完全不变。原因在于，4个流水线阶段需要同时维护4个微批次来避免空转，每个微批次对应不同的用户，都携带独立的KV缓存，阶段数翻倍，微批次数也翻倍了，所以KV缓存的总量保持不变。再结合前面的结论，KV缓存在批次维度也无法分摊。这就是DeepSeek的推理方案主要依赖专家并行、几乎不做流水线并行的核心原因。
API定价：硬件约束下的经济学映射
有了前面所有的硬件与成本推导，我们就能像读资产负债表一样，读懂大模型的API报价单。从公开定价反推模型的核心参数，莱纳·波普用各家公开的API定价，反向推导出了模型的内部架构参数。其中最典型的就是长上下文涨价与KV缓存的关联。实际数据显示，Gemini 2.5 Pro在上下文长度超过200K Token时，输入价格从每百万Token 1.25美元涨到了每百万Token 2.5美元，直接翻倍；输出价格则从每百万Token 10美元涨到了每百万Token 15美元，涨幅50%。Gemini 3.1 Pro的输出定价也呈现出了相同的涨幅规律。
200K Token就是计算瓶颈与内存瓶颈的交叉点。短于200K时，计算是瓶颈；超过200K时，KV缓存的内存读取耗时超过计算，成为新的瓶颈。基于这个交叉点，我们可以联立第二和第三方程，得到第六个方程： 每Token字节数 = 活跃参数 / (FLOPS/带宽 × 上下文长度) 如果我们代入行业的通用参数，比如活跃参数大约1000亿、上下文长度200K、FLOPS/带宽比值约300，从而可以计算得出，每个Token在KV缓存中大约占用空间为2KB。这个2KB的占用量，对应两种主流的注意力架构：一种是Character AI和Gemma采用的层间共享方案，注意力头维度128，搭配8个KV头，K和V各一份，所有层共享KV缓存，合计8×128×2=2048字节，相当2KB；另一种是稀疏注意力方案，每层拥有独立KV缓存，但是仅关注部分的历史Token，总占用量也在2KB这个量级。
API定价之所以能泄露模型的参数，核心原因是定价必须高于成本，否则就会被市场套利。由于价格紧贴成本，成本的变化曲线就会直接映射到价格曲线上。而输出Token比输入Token贵几倍，也是成本导致的。处理输入的过程叫预填充（Prefill），整段文本一次性送入模型，上万的Token分摊一次权重和KV缓存读取，单Token的成本极低。生成输出的过程叫解码（Decode），每一步只生成一个Token，却要完整读取权重和KV缓存，内存读取的效率极低。Gemini 2.5 Pro的输出价格是输入的8倍，直接说明解码阶段的GPU大部分时间在等待HBM数据，而不是在执行计算。
此外，API的缓存分档定价，也对应着不同的物理存储层级。对话中断后，KV缓存有三种处理方式：分别是完全丢弃重新计算、存入高速存储，以及存入低速存储。HBM的排空时间（也就是完整读取存储的时间）大约为15毫秒，DDR5内存大约为3秒，企业级SSD大约几分钟，机械硬盘HDD大约几小时。所以，行业内常见的5分钟和1小时的档位，与SSD和HDD的排空时间完全匹配，背后其实是存储持有成本与取回成本的平衡。
而所有大模型的上下文长度都卡在200K左右，这也不是人为设计的参数，而是硬件决定的物理交叉点。在当前FLOPS/带宽比值为300、活跃参数1000亿、单Token KV缓存2KB的条件下，内存读取时间会在200K Token的地方追上计算时间。超过这个长度，成本会加速上升。因此，想要突破这个限制，只有三条路：一是让HBM带宽增速超过算力增速，压低FLOPS/带宽比值，但是这个比值在多代GPU中都保持稳定；二是缩小单Token KV缓存，稀疏注意力能实现但是会损失模型效果；三是减少活跃参数，这种方式会直接降低模型能力。目前三条路都存在硬性的天花板。莱纳·波普也直言没有完美的解决方案。
训练成本与过度训练的经济学考量
前面我们说的这些内容全部聚焦于推理，也就是模型上线后的服务成本。而完整的AI模型成本，还包括训练阶段。因此莱纳·波普从经济学方向倒推了一下训练规模，解答了为什么前沿模型会出现100倍的过度训练。莱纳·波普首先提出了一个问题：在固定的总预算下，如何分配预训练、强化学习和推理的成本呢？他采用了经济学与物理学通用的启发式法则，那就是总成本由多项构成时，最优解会出现在各项成本相等的位置。
预训练成本遵循经典的6ND公式，也就是6×N×D，N是活跃参数，D是训练数据的Token总量。系数6来自前向传播与反向传播的6次浮点运算。强化学习的成本结构类似，但是效率更低。生成推理轨只需要前向传播，对应2ND；但是强化学习只选用了部分轨迹训练，加上解码阶段硬件利用率低，综合效率因子大约只有0.2。推理成本为2×N×D_推理。我们也由此得到第七个方程： D_预训练 ≈ D_强化学习 ≈ D_推理 其中的D_预训练是预训练的Token总量，D_强化学习是强化学习生成的Token总量，D_推理是模型服务的总Token量。三者在数量级上相当。实际验证显示，Gemini级别的模型，全球流量大约为每秒5000万Token，模型生命周期大约2个月，总推理Token约200万亿。而前沿模型的预训练Token约为150万亿，与第七个方程完全吻合。
而DeepMind在2022年提出的Chinchilla缩放法则认为，最优的训练数据量约为活跃参数的20倍，那么1000亿参数模型就对应2万亿Token。但是前沿模型实际训练数据量已经达到了100-200万亿Token，超出了大约100倍，也就是所谓的100倍过度训练。为什么会出现这种情况呢？背后的原因其实也很简单：当推理流量足够大的时候，缩小模型降低单次的推理成本，同时灌入更多的训练数据来弥补效果，省下的推理成本其实远高于增加的训练成本。但是模型的迭代风险也会反向影响训练规模。如果模型只有50%的概率成为最优版本，推理Token的期望值减半，对应的训练数据量也应该减少。所以说，实验室对自身竞争力的判断，直接决定了训练规模。
密码学与神经网络的深层共鸣
在访谈的最后20分钟，莱纳·波普还分享了他的跨领域研究。他认为，密码学和神经网络会共享信息充分搅拌的底层机制，只是方向相反。密码学是将有结构的输入，搅成随机噪声实现加密；而神经网络是从杂乱输入中，提取高级结构来实现理解。两者也都存在雪崩效应。密码学中，输入的微小变化会导致输出的剧烈变化，这是安全加密的核心；而神经网络中，雪崩效应会导致对抗攻击，微小扰动会让模型分类错误，这是需要修复的漏洞。
密码学中的经典Feistel网络，能将不可逆函数转为可逆；2018年的可逆网络（Reversible Networks: RevNets）将这个结构搬进了Transformer，实现了网络的可逆性。可逆网络的核心价值是用计算换内存。正常训练需要存储每一层的激活值，而RevNets可以通过重算激活值，无需提前存储，代价是增加了计算量。两个领域最深层的共通概念是后门。密码学中的后门是设计者预埋的秘密入口，而神经网络的后门攻击是训练中植入的隐蔽触发器。两者都是在随机系统中隐藏结构化信息。密码学已经有成熟的后门检测与防御方案，而神经网络的后门防御仍处于早期阶段。
最后，莱纳·波普用一个对称逻辑收尾：KV缓存的本质是花内存省计算，而RevNets是花计算省内存。在当前内存昂贵、计算相对充裕的硬件条件下，花内存省计算显然是更划算的选择。
好了，以上就是本期视频的全部内容了。感谢收看，我们下期再见。