---
author: Best Partners TV
date: '2026-03-03'
guest: ''
layout: post.njk
source: https://www.youtube.com/watch?v=IXBFj_2fqBE
speaker: Best Partners TV
tags:
  - kv-cache-io-bottleneck
  - dual-path-architecture
  - storage-bandwidth-optimization
  - agent-context-scaling
title: DualPath 双路径架构：破解智能体存储带宽瓶颈
summary: DeepSeek 推出的 DualPath 通过双路径 KV 缓存加载，解决 PD 分离架构下的存储带宽墙，实现离线吞吐提升 1.87 倍、在线每秒运行次数提升 1.96 倍，为大语言模型智能体提供关键底层支撑。
insight: ''
draft: true
series: ''
category: ai-ml
area: tech-engineering
project: []
people: []
companies_orgs:
  - DeepSeek
products_models:
  - DeepSeek V4
media_books: []
status: evergreen
---
DeepSeek发布DualPath，直击智能体时代大模型最致命的瓶颈——存储带宽墙。通过双路径的KV缓存机制，这项技术有效改善了PD分离架构下的读取瓶颈和资源失衡问题，不仅让离线推理的吞吐量最高提升了1.87倍，还让在线场景下每秒智能体的运行次数提升了1.96倍。

在这篇论文中，DeepSeek将目光投向了一个正在迅速成形的新现实——大语言模型的核心形态正在从对话工具升级为智能体系统。过去，大模型主要是用来处理单轮或少量轮次的问答，用户输入提示词，模型生成结果，交互结束。但是，如今，越来越多的应用不再是一次性的问答，而是持续多轮、跨工具、跨环境的任务执行。例如，代码助手、自主任务Agent，它们会在几十甚至上百轮的交互中，不断调用浏览器、Python解释器等工具，与外部环境交互，逐步完成目标。

在这种人类、大模型和环境的三方交互模式下，大模型处理的不再是孤立的提示，而是一个持续增长的长上下文。每一轮新增的内容，虽然可能只有几百个token，但是这些内容会不断累积，从而形成极长的历史上下文。在传统的推理场景中，性能瓶颈主要集中在计算能力上，例如GPU的算力和矩阵运算效率。但是在智能体的应用场景下，情况已经发生了变化。由于是多轮对话、短内容追加的模式，大部分历史上下文都可以被复用。

技术上，这体现在KV缓存的命中率通常可以达到95%以上，也就是说，大部分计算其实不需要重新进行，只需要把已有的KV缓存重新加载进来继续使用就行了。但是，问题在于，加载这些缓存本身已经变成了瓶颈。换句话说，在智能体的工作负载下，系统越来越呈现出高IO密集型的特征，真正决定系统吞吐量的，不再是模型计算的有多快了，而是KV缓存能不能被高效的加载了。

但是，主流的PD分离，也就是预填充和解码分离的推理架构，存在着一个天生的缺陷，那就是长上下文带来海量的KV缓存，导致预填充节点的存储网卡长期跑满，成为IO瓶颈。相反，解码侧只负责逐个token的生成，存储带宽利用率极低，导致资源严重浪费。此外，传统的单路径加载KV缓存，会导致对延迟敏感的生成流量与大数据传输互相干扰，让整个集群的效率上不去。简单来说，就是强悍的GPU在苦等数据，而网卡一边堵死、一边空闲。这就是PD分离架构绕不开的性能天花板。

这种结构性上的失衡，使得系统的整体吞吐量，被预填充引擎给卡死了。虽然理论上可以为预填充引擎扩容带宽，但是在通用的集群环境中，这种扩容的成本无疑是高昂且难以落地的。因此，DeepSeek认为，真正可行的优化方向不是单点扩容，而是重新设计KV缓存的加载方式，让所有引擎的IO带宽都被有效的利用起来。

实际上，在此之前，已经有研究在尝试缓解KV缓存的加载瓶颈问题。比如，有方案将KV数据缓存在大规模的分布式DRAM集群中，并且通过亲和性调度来提升命中率。但是，这种方式对内存资源的依赖极高，在强化学习等内存紧张的场景下难以使用。而且Dram的成本也过高。也有研究尝试通过压缩或减少检索数据量，来降低KV缓存的加载开销。但是，这些方法都没有解决一个核心问题，那就是不同引擎之间存储IO负载的不均衡。

而这次DeepSeek提出的DualPath，正是通过创新的双路径KV缓存加载机制，从架构层面突破了传统的推理瓶颈。它的核心思想其实很直接，那就是KV缓存的加载，不应当只是围绕着预填充引擎进行。在传统架构中，KV缓存只能从存储直接加载到预填充引擎，而DualPath则增加了一条新的路径，KV缓存可以先加载到解码引擎中，再通过高性能RDMA网络，转发到预填充引擎。于是，系统中就出现了两条加载路径，一条是从存储到预填充引擎PE，也就是传统路径，另一条是从存储到解码引擎DE，再到预填充引擎PE，即新增的路径。

而系统可以根据实时负载动态选择路径，从而把一部分IO压力转移到解码引擎，通过重新分配网络带宽，来缓解预填充一侧的带宽瓶颈。本质上，这是一次对数据路径的重构，而非单纯的硬件堆叠。通过搭配全局的动态调度器，DualPath可以实时均衡预填充引擎与解码引擎的负载，彻底解决PD分离架构下KV缓存读取负载失衡问题，为智能体的长上下文和多轮交互推理提供底层的算力支撑，也为即将到来的DeepSeek V4模型奠定关键的技术底座。

不过，引入双路径并不简单，DeepSeek在论文中指出了两个关键挑战。第一，新增路径会引入更复杂的网络流量模式，如果管理不当，可能会干扰模型执行中对延迟敏感的通信操作，反而拉低系统的整体性能。第二，在真实生产环境中，工作负载是动态而且异构的，系统必须实时决定采用哪条加载路径，同时保证GPU和网卡资源都处于均衡状态。

为此，DualPath引入了三项关键设计。首先，优化数据路径的设计，确保在常见的预填充和解码比例下，不会产生天然拥塞。其次，引入以计算网卡为核心的流量管理机制，将KV缓存的传输流量与对延迟敏感的模型推理通信隔离开来。第三，增加动态调度策略，实现预填充与解码引擎之间计算与网络资源的联合负载均衡。

在系统实现方面，DualPath基于自研的推理框架实现，核心改动大约为5000行代码。底层使用了FlashMLA、DeepGemm、DeepEP等高性能算子，存储后端采用了3FS分布式存储，并且实现了内核旁路，提升存储的访问效率。为了验证架构本身的效果，实验环境采用了高规格GPU集群，每台服务器包括8张英伟达Hopper GPU加上双CPU，每个节点包括8张400Gbps的RDMA网卡，另外配备了1张连接3FS的存储网卡。同时，计算网络与存储网络是物理隔离的，3FS集群不设Dram缓存，可以跑满400Gbps的存储带宽。

这样配置的目的很明确，那就是排除网络瓶颈和缓存干扰，把性能差异集中到KV缓存的加载路径本身。实验选取了三类模型，覆盖了不同的规模和架构，包括MoeE架构的DeepSeek V3.2 660B，内部的27B降尺度版本，以及GQA稠密模型千问2.5 32B。两者代表大规模的稀疏MoE模型，后者为典型的稠密模型。测试目标是验证DualPath是否对不同的架构都有效。

在离线场景中，实验模拟了强化学习训练中的推演阶段，多个智能体同时运行，统计全部任务完成所需要的时间。结论很直接，批次越大、上下文越长，DualPath的优势越明显。在部分的大规模配置下，基于SGLang+Mooncake的系统，甚至无法稳定的完成任务。在660B模型上，DualPath相比原始框架，最高将作业的完成时间缩短了1.87倍，接近零IO开销的理论上限。27B与Qwen 32B也呈现出了类似的趋势。这说明，在长上下文的智能体场景中，瓶颈确实集中在KV缓存的IO上。

此外，实验还刻意放大了每轮的追加token或生成token的长度，结果显示，当追加长度增加，也就是GPU计算变重的时候，原始框架性能逐渐逼近DualPath。当生成长度增加，也就是预填充频率下降的时候，IO压力减轻，性能差距缩小。这说明，当GPU计算成为瓶颈时，DualPath不会额外拖慢系统，而当IO成为瓶颈时，DualPath的优势十分显著。在不同的追加比例下，DualPath对原系统的加速比在1.82到1.99倍之间。

研究团队还测试了1P1D、2P1D、1P2D等多种配置，观察到这样一些结果。首先，原始系统只能利用预填充节点的存储带宽，而DualPath可以利用所有节点的存储带宽。其次，在所有的比例下，DualPath都显著优于原始系统。第三，平均加速比可以达到1.64倍，最高可以达到2.46倍。这也从系统层面验证了论文的核心论点，那就是在智能体负载下，存储带宽才是主要的瓶颈，而不是算力。

研究团队还从实验结果中抽象出了一个更为宏观的判断，在长上下文智能体负载下，模型算力已经不是决定性的因素了，真正限制吞吐的，是KV缓存的加载路径，以及存储带宽在不同引擎间的分配方式。实际上，DualPath并没有减少KV缓存的数据量，也没有压缩数据，而是通过重构了加载路径，让所有节点都参与IO分担。本质上，这是一次系统资源的再分配，而不是算力扩张。

不过，研究团队也提出了在系统中实现这个架构可能会面临的几个挑战。一是KV缓存碎片化会带来细粒度的数据传输，必须确保这个过程中极低的开销，并且与计算任务无缝重叠。二是由于引入了额外的KV缓存流量，需要跟对延迟敏感的操作隔离开来。三是调度器必须能够实现动态的负载均衡，过于简单的策略可能会导致某条路径过载，从而重新产生瓶颈。

聊完论文的主要内容，我们再来看看它的意义。根据目前网络上传出的DeepSeek V4 Lite信息，这款模型将支持100万tokens的上下文窗口，采用原生多模态架构，并且在效果上显著优于当前的网页端与App端模型。如果真的是这样，那么百万级的上下文长度，就意味着KV缓存的规模将大幅膨胀，模型的运行将高度依赖缓存复用与高带宽数据的调度能力。如果将DualPath这个系统级优化，与V4 Lite的百万上下文能力结合来看，在技术逻辑上也是说的通的。更长的上下文意味着更大的KV缓存，更大的KV缓存意味着更重的IO压力，而更重的IO压力，恰恰需要通过类似DualPath的带宽重构机制来化解。

应该说，DualPath的出现，不仅仅是一项技术优化，更代表了一个信号，决定模型系统性能的关键因素，更多开始取决于整体带宽的调度能力与节点的协同效率，而不再单纯是单卡算力的绝对领先了。至于DeepSeek陆陆续续放出的这些技术优化方案，整合起来究竟能产生怎样的最终效果，就要等DeepSeek V4出来后才知道了。让我们拭目以待。