大模型推理的显存瓶颈与推测解码的演进逻辑

在大语言模型（Large Language Models）的实际线上生产和部署服务场景中，推理计算的效率优化一直面临着两个核心指标的严峻制约：延迟（Latency：单次生成任务从输入到响应的时间）与吞吐量（Throughput：系统在单位时间内处理并发请求的总 token 数量）。在传统的自回归（Autoregressive）解码模式下，大模型生成每一个全新的 token 都必须经历一次完整的前向传播（Forward Pass）。这意味着推理的整体延迟与最终输出的文本长度呈现出绝对的线性正比关系。更深层次的硬件痛点在于，大模型在自回归解码时的瓶颈并非 GPU 的浮点计算能力（FLOPs Limit），而是受制于极度严苛的显存带宽（Memory Bandwidth Limit）。

在自回归单 token 生成过程中，GPU 需要频繁地将数以百亿、千亿计的模型权重参数从显存（HBM）搬运到计算单元（ALU）中。搬运一次权重参数的过程耗费了绝大部分的推理时间，而实际用于计算该 token 的计算资源占用却极小。这导致 GPU 的计算效能利用率极低，用户在终端的交互体验也因为逐字吐出的速度受限而大打折扣。为了打破这一“显存带宽墙”（Memory Wall），工业界引入了连续批处理（Continuous Batching）技术，即将多个不同用户的请求 token 塞入同一个批次（Batch）内进行计算。因为对于 GPU 而言，将模型权重搬运到片上缓存后，同时为 10 个请求进行计算与仅为 1 个请求计算的耗时相差无几，这就实现了显存读取利用率的物尽其用。

然而，在面对追求极致低延迟的实时交互或单用户场景时，单纯的连续批处理依然无法解决单请求串行生成缓慢的问题。在此背景下，推测解码（Speculative Decoding：通过小模型辅助大模型进行批量校验的加速技术）作为一种极具潜力的架构方案被提出。推测解码的核心逻辑是：引入一个参数量极小、运行速度极快的辅助小模型（称为草稿模型，Draft Model）来先行尝试“猜测”接下来可能会出现的一串候选 token 序列（称为候选块）；随后，将这一整段猜测出的候选序列一次性喂给参数量巨大、计算昂贵的目标模型（Target Model）进行单次前向传播的批量验证。

在验证阶段，系统严格遵循基于数学证明的拒绝采样（Rejection Sampling: 一种确保小模型采样分布与大模型完全一致的概率验证规则）机制。目标模型从左到右逐个检查候选 token，接受最长且与目标模型概率分布相匹配的正确前缀，并在第一个出现分歧或不符合概率阈值的错误位置重新采样输出一个正确的 token，同时丢弃该位置之后的全部猜测。由于验证整段候选序列只需要目标模型运行一次前向传播，其显存读取开销与生成单个 token 几乎一致，因此只要草稿模型猜测的准确率足够高，系统每一步前向传播就能往前跃进数个 token，从而在数学上严格保证输出概率分布与原大模型完全一致（即无损，Lossless）的前提下，实现数倍的延迟缩减。

传统草稿模型的局限与后缀衰减痛点

尽管推测解码的理论框架非常优美，但在真正的工业级高并发生产环境中落地时，传统方案却长期面临着难以逾越的工程与算法权衡。目前行业内的草稿模型主要可以分为两大路线，但各自的缺陷都十分明显：

第一类是自回归草稿模型（如经典的 Eagle 系列或 MTP）。此类方案为了保证猜测的准确率，草稿模型本身依然采用自回归的方式，即在预测第 N 个候选 token 时，必须依赖第 N-1 个候选 token 的生成结果。虽然 Eagle 等方案通过引入目标模型最后一层的隐藏状态（Hidden States）作为输入，并在其上叠加轻量级的 Transformer 头部，从而实现了极高的猜测准确率，但自回归的本质决定了草稿模型自身跑得较慢。在生成较长的候选序列时，草稿模型自身的多步串行开销会逐渐累积，导致整体的加速性价比（即加速比增益扣除草稿模型耗时后的净值）随着候选长度的增加而迅速摊薄，因此无法经济地部署较长的候选验证块。

第二类是并行草稿模型（如 Medusa 或 DFlash）。为了彻底打破自回归的串行限制，此类方案借鉴了非自回归生成或扩散模型的思路，利用一个深度较深的并行骨干网络，仅通过一次前向传播就同时预测出未来 N 个位置的候选 token。虽然这种“一步到位”的生成速度极快，极大地压缩了草稿阶段的延迟，但其致命缺陷在于多模态碰撞（Multimodal Collision）与后缀衰减（Suffix Decay）。在并行预测中，各个候选位置的输出概率是独立计算的，它们之间缺乏自回归的因果依赖关系。例如，在预测短语时，位置 1 独立采样出了“of”，位置 2 独立采样出了“problem”，虽然在各自的位置上这两个词的概率都很高，但拼接在一起形成的“of problem”在语义和语法上却是不通顺的组合。这种缺乏上下文黏合度的预测，导致越往后的位置，其猜测被目标模型接受的概率（接受率）就会呈现指数级塌方。

在实际的线上高并发部署中，后缀衰减带来的后果是灾难性的。那些在候选块后半段大概率会被目标模型拒绝丢弃的无效 token，不仅白白消耗了草稿模型的计算算力，更糟糕的是，它们在送入目标模型进行批量验证时，会强行占用宝贵的 GPU 显存和批处理容量（Batch Capacity），从而导致整体系统的吞吐量崩塌，甚至比不带推测解码的原始自回归基线还要慢。

为了彻底拉动“降低草稿耗时”、“提高猜测准确率”与“减少验证算力浪费”这三根优化杠杆，DeepSeek 团队开发并开源了全新的 DSpark 推测解码方案（并在开源项目 DeepSpec 中提供了完整的训练与评估工具链）。DSpark 的核心思想不再是单一的算法调优，而是将高吞吐的并行草稿生成架构与自适应的硬件负载感知调度验证深度融合，通过算法、调度与底层的系统级协同设计，彻底推倒了阻碍推测解码大规模线上落地的技术大山。

DSpark 架构设计：半自回归生成与马尔可夫修正

DSpark 为了在保证高猜测速度的同时克服后缀衰减，创造性地设计了半自回归生成（Semi-Autoregressive Generation）架构。该架构将整个草稿生成过程优雅地解耦为两个阶段：第一阶段负责“速度”，第二阶段负责“准确”。

在第一阶段，DSpark 保留了类似 DFlash 的强力并行骨干网络。该骨干网络能够直接注入目标模型在预填充（Prefill）阶段沉淀下来的高维隐藏状态。通过共享词嵌入（Word Embedding）和语言模型头（LM Head），该并行网络仅需一次前向传播，就能在极短时间内计算出未来 $\gamma$ 个候选位置的基础 Logits。由于这一步是纯并行的，并且有目标模型高维特征的加持，它能够以极低的延迟为长达 16 个 token 甚至更长的候选块构建出一个质量极高的全局语义骨架。更重要的是，由于并行骨干网络具有较深的层数和较大的模型容量，它对首个 token（即位置 1）的预测准确率显著优于浅层的自回归草稿器。在推测解码“前缀生存”的规则下，首个 token 的对错直接决定了整段候选块是否作废，因此并行骨干网络在首位 token 上的大容量优势，为后续的高接受率奠定了坚实的基础。

在第二阶段，为了修正并行生成带来的多模态碰撞和后缀衰减，DSpark 在并行骨干之上附加了一个极其轻量级的顺序修正模块——马尔可夫头（Markov Head）。马尔可夫头的任务是在并行 Logits 已经生成的基础上，从左到右逐个位置注入前缀依赖的转移偏置（Transition Bias），从而通过自回归分解重建块内的 token 级因果关联。

具体而言，当位置 1 采样出具体的 token 之后，马尔可夫头会迅速根据该 token 的语义特征，将位置 2 候选词表中相关联词汇（如“course”）的概率分布向上推送，同时压低冲突词汇（如“problem”）的概率。这一修正过程之所以能够做到近乎零开销，是因为并行骨干已经把复杂的历史上下文信息全部编码完毕，马尔可夫头在自回归迭代时不需要再进行任何昂贵且耗时的全局自注意力（Self-Attention）计算。它仅仅需要关注前一个刚刚确定采样的 token，因此被称为马尔可夫过程。

为了进一步控制计算与显存开销，马尔可夫头在实现上采用了低秩分解（Low-Rank Factorization）的技术。即使面对大模型动辄十几万维度的海量词表（Vocabulary Size），马尔可夫头将原本庞大的转移矩阵拆解为低维空间的投影计算，使其计算开销降到了可以忽略不计的程度。根据 DeepSeek 的实测数据，当把候选草稿长度从 4 扩展到 16 时，加入马尔可夫头进行顺序修正所带来的全轮额外延迟增益仅为 0.2% 到 1.3%，而最终的平均接受长度却实现了 30% 的巨大提升。

除了默认的马尔可夫头，DSpark 还在方案中提供了一种能够追踪整个草稿块前缀历史的 RNN 头（Recurrent Neural Network Head）作为可选配置。RNN 头通过维护和更新一个隐状态（Hidden State）来累积更长距离的因果依赖，虽然在理论上建模能力更强，但在实际的消融实验中，其带来的微弱准确率提升相比于马尔可夫头而言性价比不足，且对硬件部署不够友好，因此在默认生产配置中，马尔可夫头依然是效率与效果折中的最优解。

硬件感知与置信度自适应调度机制

在工业级线上服务中，请求的输入千差万别。例如，代码生成或数学推理任务具有极强的语法结构和高度的确定性，草稿模型往往可以轻松“猜对” 8 到 16 个 token；而开放式的闲聊或创意写作则伴随着极高的信息熵和随机性，草稿模型可能猜到第 3 个 token 就会发生偏离。如果对所有请求一刀切地采用固定长度的候选块进行验证，不仅会在低熵任务中保守地浪费提速空间，更会在高熵任务中因为验证大量注定被拒绝的尾部 token 而白白抽干服务器的算力。

为了解决这一痛点，DSpark 引入了置信度调度验证（Confidence-Scheduled Verification）机制。在草稿模型输出 token 的同时，DSpark 的置信度头（Confidence Head）会针对每个候选位置输出一个介于 0 到 1 之间的标量评分。该评分代表的是累积存活概率，即在前面所有位置的 token 均被目标模型接受的前提下，当前位置 token 能够顺利通过验证的条件概率。为了让置信度头的训练更加平滑和准确，其监督信号并非简单的“对/错”硬标签（0/1），而是通过计算草稿模型预测分布与目标模型真实分布之间的总变差距离（Total Variation Distance）得到的解析接受率。

然而，深度学习模型普遍存在“过度自信”（Overconfidence）的经典缺陷，置信度头输出的原始概率值往往偏高，无法直接作为工程调度的决策依据。为此，DSpark 引入了顺序温度缩放（Sequential Temperature Scaling）算法对输出的置信度进行后处理校准。通过在验证集上针对每个候选位置独立进行一维网格搜索，寻找最优的温度校准系数，DSpark 成功将置信度预测的预期校准误差（Expected Calibration Error）从原本的 3% 到 8% 骤降至 1% 左右。由于温度缩放具有保序性，它在精确校准绝对概率值的同时，完全不会破坏置信度头对不同 token 准确度进行排序的相对能力。

在得到精准的置信度评分后，DSpark 的硬件感知前缀调度器（Hardware-Aware Prefix Scheduler）会将验证长度的选择抽象为一个全局吞吐量最大化的最优化问题。系统会提前在 GPU 上对不同批次大小（Batch Size）下的硬件吞吐速度进行基准测试，绘制出一条硬件吞吐量参考曲线。在实际推理时，调度器将所有并发请求的候选 token 按照累积存活概率从高到低进行全局排序，并模拟逐个将 token 加入验证批次的过程。在加入过程中，调度器会利用公式：

$$\text{预期总吞吐量} = \text{预期接受 token 数} \times \text{当前批次对应的硬件吞吐速度}$$

进行实时评估。只要新加入 token 能够使预期总吞吐量持续上升，调度器就继续增加验证长度；一旦预期吞吐量因硬件效率饱和或 token 存活概率过低而开始下滑，调度器便立即实行截断。

在算法理论上，全局长度选择存在一个隐蔽的“因果性陷阱”：如果调度器在做出截断决策时回溯并参考了整个候选块未来的置信度信息，就会造成未来信息的泄漏，从而引入选择偏差（Selection Bias），最终在数学上破坏推测解码的无损性。为此，理论算法必须采用严格的提前停止（Early Stopping）机制，确保决策仅依赖已处理的前缀。

然而，在实际的物理 GPU 部署中，严格的同步提前停止会带来两大灾难：首先，硬件的吞吐曲线受 Tensor Core 限制呈现出阶梯状而非平滑曲线，提前停止极易陷入局部最优；其次，同步调度要求 CPU 与 GPU 进行频繁的握手通信，这会彻底打断底层 CUDA 图回放（CUDA Graph Replay）和零开销调度（Zero-Overhead Scheduling）的流水线，造成严重的 GPU 气泡（Bubbles）。

DeepSeek 的工程团队对此给出了一个极其巧妙的异步调度适配方案：系统使用当前步骤往回推两步（$t-2$ 步）的置信度历史预测数据，来作为当前步骤（$t$ 步）截断长度的决策依据。由于这一决策完全基于历史数据，它在物理层面上天然不可能泄露当前正在生成的 token 信息，因此可以安全地在 GPU 内部跑满全局搜索以规避局部最优，同时在数学上严格闭环地保证了无损性。更重要的是，这种异步设计将调度决策的计算延迟完全隐藏在了 GPU 的计算流水线之中，实现了真正的零开销调度。

极致的工程实现与内核优化

DSpark 的加速表现能够从实验室走向大规模工业部署，离不开底层工程实现的精雕细琢。在训练阶段，针对推测草稿模型训练过程中的数据传输与计算开销，DeepSpec 框架实施了两个关键的系统级优化：

1. 隐藏状态本地投影：由于目标模型和草稿模型通常分布在不同的计算节点（Worker）上，如果在训练时直接传输全词表维度的 Logits，会给网络带宽带来难以承受的压力。DeepSpec 采用只传输目标模型 LM Head 之前的低维隐藏状态（Hidden States）的策略，将数据传输量从词表维度（通常为 10k~100k 级别）降至隐藏层维度（通常为 4k~8k 级别），待数据到达草稿模型所在的本地节点后，再由本地的共享 LM Head 进行投影计算。这一改动大幅缓解了分布式训练的节点通信瓶颈。
2. 锚定序列打包训练：在传统的推测模型训练中，由于各个预测块的实际长度不一致，通常需要使用大量填充字符（Padding）来对齐张量，这造成了极大的显存和算力浪费。DeepSpec 通过锚定序列打包（Anchor-Sequence Packing）技术，将多个独立的预测块紧密打包到单个一维密集张量中，并利用 token 级别的自定义注意力索引（Attention Mask Indexing）来精确维持因果掩码，彻底消除了 Padding 开销。

在推理部署阶段，由于引入了置信度调度，同一个批次内每个请求分配到的验证长度是动态且不相同的（即变长路由）。传统的 GPU 解码算子（Kernel）都是针对固定长度对齐的张量进行优化的，面对这种变长场景，传统的处理方式依然是强行补充 Padding，但这会导致 Tensor Core 闲置，大幅拉低 GPU 的计算利用率。

为此，DeepSeek 工程团队对底层的计算内核进行了深度重构。他们将批次内所有的待验证 token 彻底展平成一个连续的一维独立元素数组，并引入一个轻量级的标记张量（Token Tag Tensor）来在扁平化的数组中传递和识别序列内部的因果依赖关系。通过这种设计，团队仅对索引注意力（Indexed Attention）和压缩（Squeeze）两个核心底层算子进行了针对性改写，就以零额外开销的代价完美支持了动态的物理变长路由，使 GPU 能够以 100% 的饱满状态运行变长验证。

多维度性能评测与线上表现

在标准的离线基准测试中，DSpark 展示出了统治级的加速效果。在以 Qwen3-4B/8B/14B 以及 Gemma4-12B 等主流开源大模型为目标模型的测试中，DSpark 在数学推理（GSM8K、MATH）、代码生成（HumanEval、MBPP）和多轮对话（ShareGPT）等九个具有代表性的数据集上，均显著击败了 Eagle3（自回归路线代表）和 DFlash（并行路线代表）两个强劲的基线方案：

• 对比 Eagle3：DSpark 的平均接受长度（Average Accepted Length）提升了 26.7% 到 30.9%。这表明在引入并行骨干和自回归修正后，DSpark 不仅生成速度快，而且猜测的绝对准确率也大幅超越了纯自回归的 Eagle3。
• 对比 DFlash：DSpark 的平均接受长度提升了 16.3% 到 18.4%。这直接印证了马尔可夫头对后缀衰减问题的有效解决，用更少的参数层数（2 层 DSpark 对比 5 层 DFlash）实现了更高的接受效率。

为了进一步评估 DSpark 在真实商业环境中的表现，DeepSeek 将其部署于线上真实的生产流量中，并与此前采用的单 token 推测方案（MTP-1）进行对比。实验结果表明，在相同的整机吞吐量（Throughput）负载下，DSpark 方案将用户的单请求生成速度（Generation Speed）：

• 在 Flash 版本 模型上提升了 60% 到 85%；
• 在 Pro 版本 模型上提升了 57% 到 78%。

更具实用价值的是在严格的交互延迟服务等级协议（SLA: 限制首字延迟和每字延迟上限）下，传统的推测解码方案由于高并发时的尾部 token 算力浪费，其吞吐量会在流量高峰期呈断崖式下跌，甚至导致服务瘫痪。而搭载了置信度调度的 DSpark 则展现出了极强的韧性，成功稳住了吞吐量曲线。这相当于将整个大模型服务的帕累托前沿（Pareto Frontier）向外推移了 50% 以上，在保障极佳交互速度的前提下，允许服务器承载翻倍的并发用户数。

同时，随方案一同开源的 DeepSpec 框架也表现出了极高的成熟度。它将复杂的数据准备、训练和评估三大阶段完全标准化，并内置了 DSpark、DFlash 和 Eagle3 等主流算法的实现，支持对 Qwen 和 Gemma 等主流架构的一键适配。这为整个开源社区提供了一套开箱即用的推理加速基础设施。需要指出的是，由于在构建高质量的草稿数据集时需要沉淀目标模型庞大的中间特征层，训练默认的 4B 草稿模型大约需要高达 38TB 的海量存储空间，企业和研究机构在本地复现和训练时，需要提前规划并评估好自身的硬件资源配置。

技术总结与未来演进

从大模型推理加速的技术路线来看，DeepSeek DSpark 的成功并非源于某一个单一的、石破天惊的算法点子，其精髓在于算法、调度与底层的三位一体闭环。它清醒地认识到：在物理世界中，脱离了硬件特性与高并发负载实际的算法优化只能是空中楼阁。通过半自回归生成解决了算法层面的后缀衰减，通过异步置信度调度解决了系统层面的算力浪费，再通过扁平化变长算子重构解决了底层的计算对齐，DSpark 最终拼成了这块大模型商业化落地急需的性能拼图。

当然，目前的 DSpark 依然存在着进一步迭代的探索空间。由于草稿模型在初始阶段仍然需要对所有请求预先生成完整长度（如 16 个 token）的候选块，这意味着对于那些极度困难、草稿接受率注定极低的超复杂查询（Query），系统仍然会白白浪费掉一部分草稿生成算力。

展望未来，推测解码的下一个突破点大概率会走向难度感知的早退机制（Difficulty-Aware Early Exiting）。通过让草稿模型在生成的最初几个 token 时就敏锐地识别出当前任务的理解难度，并对高难度任务实行主动“放弃猜测、提前早退”，将能够进一步压榨硬件性能，把每一档算力都精准地花在刀刃上。随着 DeepSpec 框架在社区的普及，我们有理由期待更多基于算法与系统协同设计的推理加速创新在这个平台上破茧而出。