KV Cache Controller 深度解析:当缓存从单机优化变成集群控制问题
从 KV Cache 的生成与复用讲起,拆解 KVCC/KVCR 的分层存储、角色边界、Router Hint、数据搬运、状态机、故障恢复,以及这套架构未来能否成为通用基础设施。
从 KV Cache 的生成与复用讲起,拆解 KVCC/KVCR 的分层存储、角色边界、Router Hint、数据搬运、状态机、故障恢复,以及这套架构未来能否成为通用基础设施。
大模型推理里的 KV Cache,最初看起来只是 GPU 上的一块临时内存:Prefill 算完以后把注意力层的 Key、Value 保存下来,Decode 每生成一个 token 就复用一次,避免把整段历史上下文重复计算。
但当推理系统进入长上下文、多轮对话、跨节点调度和 Prefill/Decode 分离之后,KV Cache 就不再只是一个 Tensor,也不再只是某张 GPU 的局部优化。它会同时出现在 GPU HBM、主机 DRAM、本地 SSD、远端节点乃至对象存储里;一次请求应该被路由到哪台机器,也越来越取决于“它需要的前缀缓存现在在哪里”。
这时真正困难的问题变成了:
Dynamo KV Cache Controller 设计提案试图回答的,正是这一组问题。它在设计文档中叫 KV Cache Controller(KVCC);2026 年 8 月公开实现后,项目正式使用 KV Cache Runner(KVCR) 这个名字。本文为了便于理解,讨论设计思想时使用 KVCC,讨论现有代码和项目状态时使用 KVCR。
先给出我的结论:
KVCC 最值得关注的地方,不是“又做了一个 KV Cache 存储层”,而是它重新划分了全局路由、推理引擎、节点缓存控制器和传输层之间的权力边界。
这套边界如果成立,KV Cache 才有机会从某个引擎的私有能力,演化成可跨节点协调的集群基础设施。不过截至 2026 年 9 月,它仍是一套方向清晰、实现很早、关键闭环尚未全部完成的架构,不能把设计文档里的完整蓝图等同于当前生产能力。
Transformer 的自回归推理通常分为两个阶段。
假设输入是一段 32K token 的文档。模型首先并行处理这些 token,并在每一层注意力模块里计算 Key 和 Value。这个阶段计算量大,但并行度也高。
生成第一个 token 后,模型继续生成第二个、第三个。新 token 需要关注此前所有 token;如果每一步都把 32K 上下文重新算一遍,代价会非常高。因此系统保留 Prefill 产生的 Key、Value,Decode 时只计算新 token 对应的增量,并复用历史结果。
这份历史状态就是 KV Cache。
从数学结果看,它是避免重复计算的中间结果;从系统角度看,它又是一种非常特殊的缓存:
因此,KV Cache 管理不是简单的 key-value get/put。它同时包含数据格式、生命周期、内存所有权、调度、传输和全局路由问题。
一台服务器里,最直观的策略是把 KV 留在 GPU,HBM 不够时卸载到 CPU 内存,再不够就写入 SSD。到了集群环境,这条纵向分层还会多出横向复用:A 节点刚算过的前缀,下一条请求可能被调度到 B 节点;B 可以重新计算,也可以从 A 拉取。
KVCC 把存储层级抽象成四代:
| 层级 | 典型介质 | 特征 | 主要用途 |
|---|---|---|---|
| G1 | GPU HBM | 容量最小、访问最快、直接参与推理 | 引擎当前执行所需的 KV |
| G2 | 主机 DRAM 或控制器内存池 | 容量较大、可通过 DMA/RDMA 搬运 | 本机卸载、跨节点高速复用 |
| G3 | 本地 SSD / NVMe | 更大、更慢、具有持久化倾向 | 冷一些但仍值得保留的缓存 |
| G4 | 对象存储或可远程访问的文件层 | 集群共享、容量最大、延迟最高 | 长尾缓存和跨故障域恢复 |
这不是简单的四级 LRU。每个层级背后都有不同的所有权和成本:G1 常由推理引擎完全掌握;G2 可能一部分属于引擎,一部分属于控制器;G3/G4 更像控制器管理的外部层。远程 G2 还形成了“横向第五条路径”——它可能比本地 SSD 快,也可能因为网络拥塞而比重新 Prefill 更慢。
因此,系统不能只问“有没有这个 key”,还必须问:
这就是 KV Cache 从存储问题上升为控制问题的分界线。
许多分布式缓存设计容易掉进两个极端。
第一个极端是缓存层深度介入 GPU:它掌握 GPU block、执行布局转换、发起 GPU kernel,还要持续与引擎同步。这能带来很强的控制力,却也意味着缓存层会和推理引擎争夺 kernel launch、stream、显存管理权,并且必须追随每一种模型布局变化。
第二个极端是把缓存层做得过于被动:引擎内存满了才临时淘汰,没有准入控制,也不知道其他节点拥有什么。单机上尚可工作,放到集群里就会出现重复计算、无效复制和状态重复维护。
KVCC 的选择是“权力分拆”:
| 组件 | 拥有什么权力 | 明确不负责什么 |
|---|---|---|
| KV Router | 集群级 KV 位置摘要、请求路由、来源提示 | 不命令某个 worker 一定拉取,不管理 GPU block |
| 推理引擎 | G1 显存、执行调度、KV 规范化、取回还是重算的最终决定 | 不维护完整集群库存,不直接实现所有存储传输 |
| KVCC/KVCR | 节点本地缓存策略、控制器自有内存、驻留与淘汰、数据搬运编排 | 不替引擎接管执行内存,不复制全局 Router 状态 |
| NIXL | 跨 GPU、DRAM、NVMe、网络和对象层的数据通路抽象 | 不决定缓存策略,不决定请求路由 |
| KVCR-Guard | 可选的旁路存活、故障接管和热启动辅助 | 不参与正常请求的每次热路径决策 |
这张表就是理解 KVCC 的钥匙。下面逐个展开。
Router 的价值不只是把请求平均分配到空闲 GPU。既然它已经接收各节点的 KV 事件,就可以知道某个前缀可能位于哪些 worker,并把请求尽量送到命中更多缓存的节点。
KVCC 进一步利用这个全局视角。当 Router 仍然选择了一个没有完整前缀的目标 worker 时,它可以随请求附带一个 KV Hint:缺失 block 可能在 A 节点的 G2,目标 worker 可以尝试从那里取。
这里的“Hint”必须按字面理解——它是提示,不是命令。
Router 适合回答的是:
Router 不适合回答的是:
这些信息更靠近 worker。让 Router 强制拉取,会把一个全局调度组件变成微观执行调度器,不但状态量爆炸,也更容易因过期信息做出错误决定。
所以 KVCC 的关键原则是:全局组件提供位置线索,本地组件结合实时负载做最终动作。
KVCC 强调 non-intrusiveness,也就是不要侵入推理引擎的执行热路径。其根本原因不是礼貌,而是正确性。
只有推理引擎真正知道:
因此,KVCC 不应该成为 GPU 显存的第二个主人。框架要么自己持有 G1/G2 数据,要么显式委托缓存层提供一段不会消失的本地数据保证;任何需要引擎执行的数据,都必须保留明确的本地快速访问承诺。
这也解释了为什么 KVCC 把“规范化”留给框架。现代模型可能混合全注意力、滑动窗口、稀疏注意力和其他结构,KV 的形状与访问方式不断变化。如果缓存层自己维护所有模型转换 kernel,它会快速变成第二个推理框架。让引擎先把数据整理成传输友好的 canonical form,控制器只处理标准字节块,依赖关系会清晰得多。
KVCC 负责的不是全局真相,而是“本节点能承诺什么”。它维护本地 block 的驻留、正在进行的操作、淘汰资格以及与远端来源的连接。
从设计上,可以把它内部的状态理解为三本账。
例如某个 block 已经完整存在于控制器的 G2,或者已经落到 G3。只有完成提交的数据才能进入可命中的驻留索引;传了一半的内容不能对外宣称为 HIT。
一个 block 可能正从远端 G2 拉入本地、正从 G2 下沉到 G3、正被直接送入框架目标地址。操作状态必须独立存在,否则“尚未完成”很容易被误报成“已驻留”。
如果一次远程传输正在读取源 block,淘汰器就不能把它删掉。一次请求取回后,引擎也可能要求控制器在使用窗口内继续保留。这类临时所有权需要显式 claim,而不能只靠“最近访问过”来猜。
这三本账对应一个很通用的工程原则:
“数据存在”“操作进行中”和“有人依赖”是三种不同事实,不能压成一个布尔值。
KVCC 选择通过 NIXL 组织主机侧和跨节点传输。这里可以把 NIXL 理解为数据通路的抽象层:上层描述源、目标和操作,下层根据环境使用 GPU/CPU 内存复制、UCX、RDMA、NVMe 或对象存储插件等能力。
这层抽象带来两个好处。
第一,缓存策略不需要为“本机 DRAM 到 GPU”和“远端 DRAM 到本机 DRAM”分别维护完全不同的控制协议。目标地址由框架提供时,数据可以直接送到 G1;需要先留在节点缓存时,也可以落入 G2。
第二,传输能力可以独立演进。缓存控制器不必知道每种 NIC、存储插件和内存注册方式的细节。
但抽象不等于成本消失。注册内存、建立连接、小 block 传输、并发队列、NUMA 位置和 GPU stream 协调都会影响真实性能。KVCC 把它们从“控制权边界”里剥离出来,并不代表工程实现可以忽略它们。
正常情况下,KVCR 与推理引擎在同一进程中,原因很直接:少一次 RPC、少一层共享内存协议,也更容易读取框架本地元数据。
问题是,引擎进程一旦崩溃,控制器管理的 DRAM 元数据也可能一起丢失。KVCR-Guard 是一个可选 sidecar:它保存或接管控制器自有内存池所需的状态,使已经完整提交的 KV 不必随着 GPU worker 故障一起消失。
设计中的恢复流程大致是:
注意,这个承诺只覆盖 控制器拥有的内存。引擎自己的 G1,或引擎自行拥有的 G2,不会因为 Guard 存在就自动幸存。
这个设计很有吸引力,但也是实现难度最高的区域之一。真正可靠的 failover 需要严谨处理 fencing、代际编号、超时后的迟到写入、半完成传输、心跳误判和双主问题。当前公开讨论给出的方向是:操作开始前标记相关区域,完成后才提交状态;失败后丢弃 dirty 区域,并依靠心跳、额外探测和传输超时限制旧操作。它是否足以覆盖复杂故障,还需要代码、故障注入和长时间运行数据证明。
假设节点 A 刚完成一段公共前缀的 Prefill,并把 KV 卸载到了 A 的 G2。随后相似请求被调度到节点 B。理想流程如下。
A 上的控制器在 block 完整提交后,向 Router 发送库存增量。发布的主要是 key 和位置摘要,而不是可直接访问的内存地址。Router 获得的是最终一致的全局地图。
Router 可能因为负载、队列长度或其他调度条件仍然选择 B。它发现 B 缺少的前缀在 A 出现过,于是在请求元数据里附带 A 作为候选来源。
B 的 KVCC 记录远端来源并准备必要连接。但在当前早期设计/实现里,Hint 首先建立的是“可获取性知识”;真正的提前搬运仍是持续演进的能力,不能简单假设一收到 Hint 数据就已经在网络上传输。
B 的引擎在安排 Prefill 前询问本地控制器。控制器可能返回:
HIT:数据已经在本地可用;FETCHING:数据正在取回;FETCHABLE:知道一个本地外部层或远端来源,可以发起取回;MISS:没有可用信息,应该准备重算。最终选择应该留给 B 的引擎,因为它最清楚当前计算队列和截止时间。若拉取更划算,引擎请求 fetch 到本地控制器内存,或者请求 deliver 直接写入它提供的目标地址;若预计网络更慢,则直接 Prefill。
A 端源 block 在 NIXL 操作结束前必须保持有效;B 端目标区域在完成前不能被复用。这里需要 operation 与 claim 配合,而不是依赖某个脆弱的“正在使用”布尔值。
数据完整到达后才更新驻留状态。引擎消费完毕后释放 claim;控制器再根据水位和策略判断是否长期保留。
KVCC 的接口名称仍在演进,但设计中几个动作很能体现它的边界。
deposit:把数据交给控制器框架将已规范化的数据存入控制器管理的层级。提交成功后,控制器才拥有淘汰、下沉和发布库存的权力。
query:问状态,不替引擎做决定返回本地命中、正在取回、可远程获取或未知。未来可以附带成本估计,但控制器不应轻易越界成执行调度器。
fetch:把外部数据取到控制器本地适合希望先在 G2 驻留、随后再由引擎装载的路径。完成后数据可以服务多个后续请求。
deliver:直接送到框架提供的目标如果框架已经准备好 G1/G2 目标地址,直接投递可以减少一次中间落地。但它需要更严格的目标内存生命周期和完成通知。
release:释放的是承诺,不一定立刻删除数据调用方表示自己不再依赖相关 block。控制器随后可以保留它用于未来命中,也可以按策略淘汰。
abort:尽力取消,不是时间倒流已经进入底层传输的操作未必能立刻撤销。可靠实现必须定义:取消后回调是否仍可能到达、目标区域何时可复用、部分写入如何失效。当前实现中的 abort 仍带有 best-effort 色彩。
submit_hint:把全局线索带到本地它让 Router 的位置摘要进入 worker,但不等于 Router 获得本地执行权,也不等于数据一定会被拉取。
此外,KVCC 区分两类保留语义:
no_evict 是硬约束:在 claim 有效时绝不能淘汰;no_retain 更接近建议:调用方不要求长期保留,但控制器仍可依据策略决定是否留下。硬约束与策略提示必须分开,否则压力下最容易出现“优化逻辑破坏正确性”的事故。
这里不比较具体项目,只比较常见架构形态。
| 架构形态 | 全局感知 | GPU 所有权 | 跨节点复用 | 主要优势 | 主要代价 |
|---|---|---|---|---|---|
| 引擎内本地卸载 | 通常没有 | 引擎 | 弱或没有 | 路径短、最懂本地调度 | 节点之间容易重复计算 |
| 独立缓存中间件 | 可自建目录或发现机制 | 通常仍归引擎 | 强 | 可跨框架、可扩展多级存储 | 需要额外元数据、IPC 和一致性边界 |
| 集中式外部 KV 存储 | 中央服务掌握 | 引擎 | 强 | 统一容量和运维模型 | 热点、网络放大、访问延迟 |
| GPU 深度耦合 block manager | 可能有 | 容易形成双重控制 | 可做 | 能进行细粒度优化 | 跟随模型/引擎变化,争夺 GPU 资源 |
| Router 引导的节点控制器 | Router 持有摘要 | 明确归引擎 | 通过 Hint 定向建立 | 控制边界清楚,避免重复全局状态 | 依赖 Router 协议和最终一致性质量 |
KVCC 并没有证明其他方案都错。独立中间件可以提供更强的进程隔离、跨引擎共享和统一运维;集中式存储在容量池化和持久化上也更直观;引擎内卸载通常拥有最低的本机路径开销。
KVCC 的押注是:在大规模在线推理里,“Router 已经为了调度维护 KV 位置”是一个不可忽略的既有事实。与其让缓存层再做一套全网发现,不如把 Router 的地图转化为定向 Hint;与其让缓存层接管 GPU,不如让引擎继续做最终权威;控制器则专注节点策略和数据移动。
所以它不是单纯以“存得更多”取胜,而是希望以 少一份重复全局状态、少一个 GPU 控制者、少一次无目标广播 取胜。
无论是否采用 KVCR 代码,下面几条都值得 KV Cache 管理系统吸收。
Router Hint 不应该是某个框架的私有字典。它需要明确版本、scope、block 标识、来源、能力和兼容性。这样 Router、引擎和缓存层才能独立升级。
相比 worker 之间广播询问“谁有这个 key”,Router 定向给出候选源可以显著减少连接和元数据风暴。但提示只能缩小范围,本地实时决策仍应留在 worker。
许多缓存 bug 来自状态折叠:存在不代表完成,完成不代表无人使用,无人使用也不代表应该立刻淘汰。三层状态分开后,取消、故障和并发传输才有可验证的语义。
缓存系统可以帮助搬运和存放,但不要在未建立严格协议时成为第二个显存调度器。双重所有权可能换来局部性能,却会把正确性和演进成本推高。
控制器可以报告预计字节数、来源层级、队列深度和预计传输时间;引擎再结合 Prefill 成本与调度窗口决定取回还是重算。这样既能复用缓存层知识,也不会侵占引擎职责。
只有完整完成的 block 才能进入库存;进行中的区域必须可识别为 dirty;重启后需要 snapshot、generation 或等价机制防止旧事件污染新状态。恢复不是事后补一个 sidecar 就会自然成立。
这是系统价值能否兑现的核心。远端存在不代表应该拉取。需要比较:
预计取回完成时间
= 排队 + 连接/注册 + 网络传输 + 本地装载 + 同步
预计重算完成时间
= 调度等待 + Prefill 计算 + KV 写入
而这两个值会随前缀长度、批大小、GPU 利用率、网络拥塞和缓存目标层实时变化。初始设计有意把完整成本模型留在范围之外,这是合理的收敛方式,但也意味着早期版本可能出现“知道缓存在哪,却用不好”的阶段。
Router 维护的是最终一致摘要。A 发布了某个 block,随后在更新到达前淘汰,B 就会拿到过期 Hint。系统必须把这种情况当成常态:快速失败、回落重算,并将负反馈反馈给库存系统,而不是在超时上消耗整个请求预算。
scope 或 tenant id 写进 key,只解决了命名隔离的一部分。生产系统还需要回答:来源端是否授权目标端读取、RDMA 网络是否隔离、G3/G4 是否加密、日志与指标会不会泄露 key、旧租户内存是否被安全复用。当前设计讨论了沿用 Router 的租户隔离和可选加密 shim,但还不是一份完整的安全规范。
同一个 token 前缀不一定产生可互换的字节块。模型 revision、并行方式、KV dtype、block size、注意力布局和软件版本都可能使其不兼容。缓存 key 与 hint envelope 必须编码足够的兼容信息,否则“命中”会变成最危险的静默错误。
谁拥有 pool、如何 fencing、旧 owner 的迟到 DMA 如何阻断、generation 何时递增、snapshot 与增量事件如何对齐,都需要从实现和测试上闭环。只验证正常重启不够,还应覆盖进程暂停、网络分区、传输超时、重复回调和 crash loop。
公开代码已经展示了策略和接口方向,但 G4 等层级仍存在未实现或受限路径;基于 Hint 的真正主动 staging 也仍在演进。它们是架构最有想象力的部分,却不是当前最成熟的部分。
我的判断分成短、中、长期三段。
这是边界最清楚、收益也最容易测量的一条路径:引擎用原生能力完成 GPU 到 CPU 的规范化卸载,KVCR 通过 Router Hint 把不同节点的 CPU 层连接起来。它不要求立即解决对象存储、复杂持久化和完全自治的成本模型。
当前 vLLM 的 KVCR secondary-tier adapter 仍在公开 PR 中,其他引擎的 Hint/RFC 也处于推进阶段。因此近期看点不是功能列表,而是第一批可重复的端到端数据:真实模型、长前缀、不同命中率、网络竞争下,TTFT 和吞吐究竟改善多少。
如果多个 Router 和推理引擎接受一种带版本、类型化、可扩展的 hint envelope,那么“请求携带缓存来源线索”可能成为一条通用控制面协议。届时,后端未必只有一种实现;不同缓存控制器可以消费同一种 Hint。
这会是一个很重要的生态位置:真正成为接口标准的,常常不是最庞大的存储实现,而是组件之间那条足够小、足够稳定的协议。
第一是 决策质量:Hint 命中率高不高,拉取是否真的比重算快。第二是 故障正确性:过期目录、部分写入和 owner 切换能否安全降级。第三是 接入成本:新引擎是否只需实现规范化数据和少量接口,而不是被迫重写内存管理。
如果这三项成立,KVCR 可能从 Dynamo 生态中的组件成长为一种通用节点级 KV 控制器;如果做不到,它更可能停留为针对特定 Router、特定引擎组合优化的高性能方案。
综合来看,我会给出这样的预评判:
架构方向:强;权责划分:清楚;生态协同潜力:高;当前成熟度:早期;生产落地风险:仍高。
它真正先进的地方不是承诺管理 G1 到 G4,而是承认分布式推理中不存在一个组件能够以低成本掌握全部实时信息,于是把“全局地图、本地决定、数据通路、GPU 权威、故障存活”拆给最合适的角色。这是一个符合大规模系统规律的起点。
但好架构只是必要条件。接下来最有说服力的,不会是再增加多少 API,而是公开、可复现的端到端 benchmark、故障注入结果、跨版本兼容规范,以及真实流量下 Router Hint 的收益分布。
状态说明:本文依据 2026 年 9 月 7 日可见的公开设计、Issue、代码仓库与集成 PR 撰写。KVCR README 明确标注项目仍在积极开发、可能发生破坏性变更,尚不建议用于生产环境。