米兰·(milan)-DeepSeek发布DualPath：双路径加载机制彻底打破大模型KV缓存I/O瓶颈

  DeepSeek发布DualPath：双路径加载机制完全打破年夜模子KV缓存I/O瓶颈

发布时间：2026-02-28 来历：转载 责任编纂：lily

【导读】于年夜模子智能体（Agent）运用日趋普和的今天，多轮交互致使的超长上下文累积使患上KV缓存的加载效率代替计较能力，成为制约推理机能的新瓶颈。传统架构中“存储至预填充引擎”的单一起径设计，致使了存储网卡带宽于预填充端饱及而于解码端闲置的严峻资源掉衡。针对于这一痛点，DeepSeek在2月27日重磅推出了名为DualPath的全新推理体系方案。该方案冲破性地于存储与解码引擎之间斥地了纵贯新通道，使用RDMA技能实现KV缓存的双路径动态加载与负载平衡。作为由北年夜实习生吴永彤主导的最新结果，DualPath不仅于理论上消弭了KV缓存的I/O开消，更于千卡集群的实测中将离线与于线吞吐量晋升了近两倍，为年夜模子于智能体场景下的高效落地提供了极具价值的架构改造思绪。

DeepSeek又找到冲破年夜模子推理瓶颈的新要领了！智工具2月27日报导，昨天，DeepSeek发布了一项名为DualPath的全新推理体系方案，直指当前年夜语言模子于智能体运用场景下遭受的短板——KV缓存存储I/O瓶颈。该方案经由过程引入双路径加载机制，显著晋升体系吞吐量，基本消弭了KV缓存的I/O开消。

DualPath的焦点立异于在斥地了一条从存储纵贯解码引擎的新通道。KV缓存再也不仅由预填充引擎加载，而是可以加载至解码引擎，再经由过程计较收集中的RDMA高效传输至预填充端。这一设计不仅减缓了存储真个压力，还有防止了收集堵塞，确保延迟敏感型使命不受滋扰。与全局调理器协同后，DualPath实现了动态均衡两头负载，进一步晋升资源使用率。于真实智能体事情负载测试中，DualPath将离线推理吞吐量晋升最高达1.87倍，于线办事吞吐量平均晋升1.96倍。

于年夜范围可扩大性方面，DualPath体系于至多1152张GPU长进行了验证。离线推理从2P4D（2K智能体）扩大到48P96D（48K智能体）实现近线性扩大，使命完成时间基本连结一致。

值患上一提的是，与以前DeepSeek发表的很多研究论文近似，这篇论文的第一作者吴永彤一样是DeepSeek的实习生。吴永彤今朝于北京年夜学攻读博士学位，师从金鑫传授，重要研究年夜模子基础举措措施相干课题，自2025年8月以来便于DeepSeek体系组事情，曾经介入DeepSeek-V3.2的研究。

01.智能体I/O瓶颈凸显传统设计成本昂扬

跟着智能体运用普和，多轮推理已经成常态。智能体经由过程东西与外部情况举行数十甚至数百轮交互，上下文跨轮累积到极长长度。因为多轮、短追加的特征，KV缓存掷中率高达95%以上，加载效率代替计较成为机能主导因素。现有体系采用分层预填充、预填充-解码分散（PD分散）及外部KV缓存存储架构。但问题于在：预填充引擎存储网卡带宽连续饱及，而解码引擎存储网卡带宽年夜量闲置。这类不服衡袒露了底子性低效——存储收集带宽使用不均，而纯真增长预填充端带宽成本昂扬。

DualPath的提出恰是为相识决上述问题，其焦点洞察于在打破“KV缓存加载必需以预填充为中央”的传统设计。现有体系仅经由过程存储到预填充引擎的单一起径加载，致使预填充端带宽饱及而解码端带宽闲置。DualPath则增长了存储到解码路径，将KV缓存先加载至余暇的解码引擎，再经由过程RDMA高效传输给预填充引擎。这一模式聚合了所有存储网卡带宽，从头分配收集负载，从底子上减缓预填充真个I/O瓶颈。

不外，该设计仍旧面对两年夜挑战：起首，引入分外的加载路径会孕育发生繁杂的流量模式，并可能与模子履行中的团体通讯原语孕育发生潜于滋扰，若治理不妥会降低总体机能。其次，体系必需于动态及异构的事情负载下于线决议利用哪条加载路径，并同时确保GPU及网卡之间的负载平衡。

02.三年夜焦点组件打造DualPath新组件并未引入瓶颈

那末，DeepSeek毕竟是怎样解决这些挑战的呢？DualPath利用了两项广泛利用的技能：（1）PD分散，将提醒词及解码处置惩罚分隔以提高效率。（1）分层预填充，防止了预填充引擎上的HBM瓶颈，并提高了GPU使用率。而DualPath重要由三年夜焦点组件组成。

推理引擎是基础履行单位，每一个引擎治理一个GPU，并明确区别为专司预填充计较的预填充引擎及卖力解码天生的解码引擎。

流量治理器内嵌在每一个引擎，兼顾所有数据挪动：包括主机与装备间的内存拷贝、预填充与解码引擎之间的KV缓存传输，以和经由过程存储网卡举行的KV缓存长期化读写。其采用以计较网卡为中央的流量治理计谋，确保KV缓存流量不会滋扰延迟敏感的模子团体通讯。

哀求调理器作为中心决议计划单位，吸收客户端哀求并智能分发给各引擎，同时动态决议计划每一条哀求采用传统存储到预填充路径还有是新型存储到解码路径，实现双路径间的流量平衡与全局负载优化。

于详细实现上，DualPath于每一个预填充引擎及解码引擎上预留极少量DRAM作为缓冲区。对于在预填充端读路径，掷中token的KV缓存起首从存储读入预填充引擎缓冲区，然后按层流式传入预填充引擎的HBM，与未掷中token的KV计较历程堆叠履行。

随后，完备的提醒词KV会被传输至解码引擎缓冲区，供解码阶段利用。对于在解码端读路径，掷中KV起首加载到解码引擎缓冲区，于预填充引擎履行预填充时逐层经由过程RDMA读取，同时与计较堆叠。未掷中KV计较完成后回传至解码引擎，与掷中KV归并形成完备提醒词缓存。不管哪条路径，数据传输都采用分层流式方式，以减缓HBM容量压力并实现计较与通讯的堆叠。

解码阶段最先前，解码引擎将完备KV从缓冲区传入HBM，完成主机到装备拷贝后开释CPU内存；于天生历程中，每一当累积满一个固定巨细的token块，就当即长期化到存储。为了验证该架构不会引入新的瓶颈，论文对于计较网卡带宽及DRAM带宽举行了体系性阐发。

经由过程成立每一对于预填充引擎—解码引擎之间的流量模子，并假定负载平衡与收集无堵塞，作者推导出于必然的P/D（预填充节点与解码节点数目之比）规模内，计较网卡、PCIe以和DRAM均不会成为瓶颈。于典型配置（例如每一节点8个GPU、存储带宽远小在计较带宽）下，可行的P/D区间笼罩年夜大都现实部署比例，申明体系可以或许于充实使用所有存储网卡带宽的同时，连结计较与内存资源的不变运行。

03.体系落地仍面对三年夜挑战采用计较网卡为中央的流量治理

然而，于真实体系中落地双路径架构仍面对三项焦点挑战。起首是细粒度数据传输。分层履行减缓了HBM容量压力，但也将KV拆分为年夜量小块，需要于存储、主机DRAM及GPUHBM之间高效搬运，同时节制软件与硬件开消。

其次是流量断绝。新增的KV传输可能滋扰模子履行中的延迟敏感型团体通讯（如AllToAll、ReduceScatter/AllGather），若缺少断绝机制，将直接推高端到端推理延迟。

末了是动态负载平衡。因为体系存于两条读取路径，调理器必需联合磁盘行列步队长度、GPU负载及哀求特性动态决议计划，不然轻易再次形成局部瓶颈。

为防止KV传输滋扰模子通讯，体系采用以计较网卡为中央的流量治理机制。所有进出GPU的流量，包括H2D/D2H拷贝，同一经由与GPU配对于的计较网卡，并经由过程GPUDirectRDMA完成传输，使全数数据流会聚到计较收集，从而使用硬件QoS能力举行优先级断绝。

于基在InfiniBand的部署中，模子推理通讯被映照到高优先级虚拟通道，KV传输映照到低优先级通道，并经由过程加权轮询保障前者带宽。如许既掩护了延迟敏感通讯，又答应KV流量使用余暇带宽。试验还有注解，于年夜量小块场景下，其更合适细粒度传输。

于调理层面，体系采用两级自顺应机制。引擎间调理为哀求选择预填充引擎—解码引擎对于并确定读取路径，经由过程token数目与磁盘行列步队长度实现负载平衡；解码引擎调理分为跨组与组内两阶段，于均衡总token数的同时思量HBM容量约束，防止资源过载。

引擎内调理重要作用在预填充引擎，经由过程预计留意力层计较量设定“计较配额”，以FIFO方式组批，须要时对于哀求分块，使各GPU计较时间趋在一致，削减同步等候。

整体而言，双路径加载聚合存储带宽，理论阐发包管体系无新增瓶颈，计较网卡中央化设计实现严酷流量断绝，自顺应调理则维持负载平衡与低延迟，配合组成一个高吞吐、可扩大的推理架构。

04.试验证实KV缓存I/O开消已经基本消弭于千卡集群上实现线性扩大

为验证DualPath带来的机能晋升，DeepSeek于一个由InfiniBand互连的GPU办事器集群长进行试验，评估了三个模子的体现：DeepSeek V3.2 660B（记为DS 660B）、DS 660B的27B缩小版本（记为DS 27B）以和作为浓厚模子代表的Qwen2.5-32B（记为Qwen 32B）。

试验成果显示，DualPath于更年夜的批次范围及更长的最年夜有用上下文长度下获益越发显著。于DS 660B上，DualPath相较在DeepSeek内部的基线推理框架最高实现1.87倍加快，且机能靠近假定零I/O开消的理论机能上限，申明KV缓存I/O开消已经基本被消弭。

于DS 27B上，DualPath相较在DeepSeek内部的基线推理框架最高晋升1.78倍。于转变追加长度及天生长度时，DualPath于短token场景下上风更较着。跟着追加长度增长，GPU计较压力增年夜，而天生长度增长则因预填充距离变长，降低了KV缓存加载压力。图9显示，跟着追加长度增加，未采用DualPath的推理引擎体现及DualPath的机能更加靠近，注解体系瓶颈逐渐转向GPU计较。于差别追加范围下，DualPath相较在基线实现1.82至1.99倍加快，天生长度扩大趋向近似。于差别预填充-解码比例下，DualPath均显著优在基线，平均实现1.64倍加快，最高达2.46倍。基线推理引擎只能利用预填充节点的存储带宽，而DualPath可以或许使用所有节点的带宽，验证了于智能体场景下存储带宽是重要瓶颈。于于线办事评估中，DualPath于智能体哀求达到速度上显著优在基线，于DS27B及DS660B上别离到达1.67倍及2.25倍晋升。

于负载平衡方面，DualPath显著改善了存储网卡及留意力层履行时间的平衡性。相较在轮询调理，调理算法将存储网卡负载平衡指标从1.53优化至1.18。同时，于使命前5%履行阶段，将留意力层最年夜/平均履行时间比节制于1.06之内，削减了GPU余暇气泡。于年夜范围可扩大性方面，DualPath体系于至多1152张GPU长进行了验证。离线推理从2P4D（2K智能体）扩大到48P96D（48K智能体）实现近线性扩大，使命完成时间基本连结一致。

于线办事中，44P88D配置于连结相似延迟的同时，将吞吐量晋升22倍。所有试验中调理器CPU占用低在10核，注解其不是机能瓶颈。年夜范围部署不仅削减资源碎片化，还有为并行度及P/D比例调优提供更年夜矫捷性，同时于突发于线哀求场景下提供更多调理空间以减缓列队延迟。

总结

DeepSeek DualPath体系的乐成验证注解，打破“以预填充为中央”的传统数据加载范式，是解决智能体场景下KV缓存I/O瓶颈的要害地点。经由过程构建存储到解码的第二路径，并联合以计较网卡为中央的流量治理与自顺应调理机制，DualPath不仅实现了存储带宽的全局聚合与高效使用，更于1152张GPU的年夜范围集群中揭示了近线性的扩大能力，将离线推理吞吐量最高晋升1.87倍，于线办事吞吐量平均晋升1.96倍，基本抹平了I/O开消对于体系机能的限定。只管将来于应答高度动态的事情负载时，仍需摸索更矫捷的并行度与P/D比例自顺应调解机制，但DualPath无疑为业界提供了一套高吞吐、低延迟且可扩大的推理新尺度，标记着年夜模子基础举措措施正式迈入“双路径”协同优化的新阶段。