揭开 GDS 的神秘面纱:LMCache MP 文章:https://maobaolong.github.io/blog/lmcache-mp-gds-unveiled/ 源码:LMCache c9b51e424acf4d88d9c18ed95828bd234a205b5f 旁白:中文 AI 神经语音;图示中的容量、地址与 block IDs 为教学算例。 [00:00:00.000] 01 为什么需要 GDS / 算过的 KV,为什么还要再算? 一段很长的上下文,模型已经算过一次了。下一次遇到相同前缀,能不能直接复用?可以,但先要回答一个更实际的问题:这些缓存,到底放在哪儿? [00:00:14.345] 01 为什么需要 GDS / 容量不是只看一条请求 看一个量级。假设每个 token 需要一百二十八 KiB 的 KV Cache,那么十三万左右的 token,就接近十六 GiB。六十四份互不共享的上下文,合起来大约是一 TiB。 [00:00:29.267] 01 为什么需要 GDS / NVMe SSD 扩容量,GDS 改路径 显存要留给模型和正在执行的请求,主机内存也有成本和容量上限。本地 NVMe SSD 适合留住更多可能复用的缓存,而 GDS,解决的是怎样把它们高效送回 GPU。 [00:00:46.625] 01 为什么需要 GDS / 本文只沿 MP 读写路径展开 下面,我们按重构已经合入的结构,沿着缓存服务的多进程读写路径,一层一层拆开。先看硬件,再看代码,最后用 Phoenix backend 说明,这套设计怎样接入新的实现。 [00:01:02.888] 02 谁在搬数据 / 普通读取:经过主机中转 普通读取常见的路径,是先把 SSD 的数据放进主机内存,再复制到显存。这里的主机内存,是数据中转站。GDS 要省掉的,正是这一步中转。 [00:01:17.553] 02 谁在搬数据 / CPU 仍然负责组织工作 但这不意味着 CPU 消失了。用户态程序决定读什么、读多少、放到哪里;内核和驱动处理权限、文件位置与设备映射。用户态和内核态的代码,仍然都运行在 CPU 上。 [00:01:34.796] 02 谁在搬数据 / GPU 也是可编址的 PCIe 端点 GPU 也是 PCIe 总线上有地址的设备。驱动把显存范围映射成其他设备可以访问的地址窗口。不过,程序拿到的显存虚拟指针,并不等于 SSD 直接使用的 DMA 地址。 [00:01:52.399] 02 谁在搬数据 / 读取:SSD 控制器发起 DMA 真正搬运数据的是谁?在本地直达读取中,是 SSD 存储控制器里的 DMA 硬件。它发起带目标地址的 PCIe 写事务,把数据送到 GPU 端点,再落入对应显存。 [00:02:08.842] 02 谁在搬数据 / 保存:SSD 控制器读取 GPU 数据 保存时方向反过来。存储控制器向 GPU 映射地址发出读请求,接收返回的数据,再写入存储介质。这不是 CPU 逐字节复制,也不是 GPU 的计算核心运行一个读取 SSD 的程序。 [00:02:27.592] 02 谁在搬数据 / 调用了 API,不代表已走直达路径 当然,这条路径需要设备、驱动、地址映射和总线拓扑共同支持。调用了接口,不等于确认发生了直接传输。条件不足时,有些实现仍可能回退到主机内存中转。 [00:02:44.306] 03 两套地址与三个资源 / slab:先准备大空间,再分配 offset 再来看缓存怎么摆放。服务端先准备一大片存储空间,叫做 slab。每个缓存对象只占其中一段,用 offset 和 size 描述起始位置与长度。对象本身记录位置,并不是装着数据的 CPU tensor。 [00:03:03.301] 03 两套地址与三个资源 / GPU staging buffer 是另一块空间 GPU 这一边,服务端另有一块 GPU staging buffer,用来接住正在搬运的一批数据。它可以反复使用,所以即使 SSD 缓存很大,也不需要配套分配同样大的显存。 [00:03:18.687] 03 两套地址与三个资源 / R0 / R1 到底是什么? 图中的 R0 和 R1,R 表示 region,也就是注册范围。它们不是两块 GPU,也不是两个 SSD 分区,而是同一块显存分配中的两段。软件按当前实现的十六 MiB 上限,分段注册。 [00:03:36.355] 03 两套地址与三个资源 / 注册:建立映射,不是复制数据 注册,是让存储库和驱动认识这些显存范围,准备好直接传输所需的映射。它不会复制一份缓存。以后读写时,要找到所属注册区的基址,再加上区内 offset。 [00:03:52.270] 03 两套地址与三个资源 / 跨注册边界:8 MiB 拆成两笔 4 MiB 举个例子,八 MiB 的数据,从第一个注册区的十二 MiB 位置开始放。前四 MiB 还在这个区,后四 MiB 进入下一个区,于是拆成两笔读写。文件 offset 和 buffer offset,是两套不同的坐标。 [00:04:09.912] 03 两套地址与三个资源 / handle:库认识了哪份存储资源 还有三个词要分开。handle,是已经打开或注册的资源引用。操作系统的 fd,告诉进程打开了哪个文件;GDS 库的 handle,则表示这份资源已经接入它的读写机制。 [00:04:26.033] 03 两套地址与三个资源 / buffer:装数据的内存范围 buffer 才是真正放数据的内存。这里的临时 buffer 在 GPU 上,不在主机内存里。另一个叫 Submission 的对象,只保留原生调用的参数和结果位置,不装整块缓存。 [00:04:41.535] 03 两套地址与三个资源 / stream:把工作排出先后顺序 stream,可以理解成一条有顺序的工作队列。布局转换、存储读写和完成 event,都能放进同一条队列,约束谁先谁后。它不是一个应用线程,也不是一根独占的数据线。 [00:04:57.437] 04 配置与 backend / 服务端选择 GDS L1 使用时,服务端指定存储路径、缓存容量和 backend 名字,就能选择这条一级缓存路径。这时配置的容量指 slab 大小,不是同样大小的主机内存。部署前仍要准备匹配的驱动和运行库。 [00:05:16.018] 04 配置与 backend / cuFile 与 hipFile cuFile 和 hipFile,分别接 NVIDIA CUDA 和 AMD ROCm 的运行环境。除了用户态库,还要核对内核能力、驱动、文件系统和设备拓扑。安装一个 Python binding,并不能代替这些前置条件。 [00:05:34.344] 04 配置与 backend / uGDS:开源软件,不是一块硬件 再看 uGDS,它来自香港科技大学广州的 ScaleX Lab,是开源软件栈,不是一种专用 SSD。当前公开实现有 CUDA 和 HIP 两条路径,在这里使用专用原始设备,并需要内核模块配合。 [00:05:52.630] 04 配置与 backend / Phoenix:面向多种 xPU 的 I/O 栈 Phoenix 的定位有些不同。它希望在更底层,把面向多种 xPU 的存储读写统一起来。应用之下,由用户态 connector 和内核 P2P backend 适配设备。但统一是架构方向,不代表所有硬件都已经可用。 [00:06:12.720] 04 配置与 backend / auto 选择默认项,不做测速或故障转移 自动选择也很克制。当前两种运行环境,各自选择对应的默认 backend。它不会先测速,也不会在一个实现失败后,悄悄切换到 Phoenix。专用设备 backend 和 Phoenix,都需要显式选择。 [00:06:31.135] 05 初始化与延迟加载 / 目录里发现名字,不导入所有实现 现在进入代码。工厂先扫描 backend 目录,发现可用的模块名字。这个步骤不执行每个实现的代码。通用调度层,也不需要列出所有厂商的名字。 [00:06:45.504] 05 初始化与延迟加载 / 显式 phx:只导入被选模块 假设配置选择 Phoenix,接下来才导入它的模块,确认 backend 类继承了公共父类,再构造对象并检查环境。发现名字、导入实现、创建对象,是三个不同动作。 [00:07:01.367] 05 初始化与延迟加载 / open_slab():存储资源由 backend 解释 然后,上层只说,打开 slab。文件型父类负责创建文件和预分配容量;原始设备实现则检查设备和容量。上层不需要根据 backend 名字,猜应该创建文件还是打开设备。 [00:07:18.751] 05 初始化与延迟加载 / 首次使用时,才加载原生库 真正注册文件资源时,Phoenix 实现才需要加载原生库。这里加载的是文件接口适配库,不能只找到 Phoenix 核心库就算完成。没有选择的可选实现,不应该因为缺库而影响通用代码。 [00:07:36.766] 05 初始化与延迟加载 / 绑定 ABI:告诉 Python 怎样调用 C 加载以后,还要声明每个原生函数的参数和返回类型。哪些是指针,哪些是整数,哪些是整数的地址,都必须精确。否则,就可能把一个地址截断,或者让底层读错内存。 [00:07:53.790] 05 初始化与延迟加载 / handle、GPU buffer、stream 就位 文件 handle 准备好,再把 GPU staging buffer 和 stream 交给 backend 注册。公共层负责调用顺序,具体实现负责底层细节。有的 stream 注册是真正的操作,有的只是空操作,但每次读写仍会携带 stream。 [00:08:13.197] 05 初始化与延迟加载 / worker 拥有 KV,server 通过 IPC 映射访问 多进程之间,原始 KV Cache 的显存仍归推理 worker 所有。LMCache server 导入 IPC handle,建立跨进程映射,而不是通过消息复制整块数据。只有那块 GPU staging buffer,是 LMCache 自己分配和管理的。 [00:08:33.519] 06 STORE:从分页 KV 到 SSD / store() 收到的不是一块连续 KV 重点来了。保存入口收到的是一组缓存键、token 范围和实际 block IDs。推理引擎的 KV Cache,按照分页方式放在 GPU 上。一段逻辑连续的上下文,不保证在物理布局上连续。 [00:08:51.638] 06 STORE:从分页 KV 到 SSD / 先等 producer,再取得可写对象 因此,首先要等 producer 完成,不能在引擎还没写完时去读。存储管理器再为可写的缓存对象预留位置。对于这条路径,拿到的对象记录的是 slab offset,而不是 CPU tensor。 [00:09:08.777] 06 STORE:从分页 KV 到 SSD / 遇到 GDSMemoryObject:选择 GDS 分支 进入按对象组传输的方法后,代码根据对象类型识别出 GDS 对象,选择对应分支。这里不会把它当作普通主机缓存,去获取一个 CPU tensor 地址。 [00:09:23.236] 06 STORE:从分页 KV 到 SSD / 先 gather:把分散 KV 整理成连续字节 接下来先在 GPU 内部做 gather,整理布局。图中四份逻辑数据,分散在不同块里。搬运 kernel 按照 block IDs,把它们收集到服务端的 GPU staging buffer,形成适合存储的一段连续字节。 [00:09:41.354] 06 STORE:从分页 KV 到 SSD / 为什么不能直接写引擎的 KV 页? 为什么不让 SSD 直接读取引擎那些页?因为存储接口处理连续地址和长度,不理解 token、层和 block IDs。GPU staging buffer 同时解决布局转换、成批读写和注册生命周期,把引擎布局与存储接口分开。 [00:10:01.986] 06 STORE:从分页 KV 到 SSD / GPU 中转,不是 CPU DRAM 中转 注意,这个中转发生在 GPU 上,并没有把整块缓存绕回主机内存。用于布局转换和存储读写的不同视图,指向同一块显存分配,也不会每创建一个视图就再复制一遍。 [00:10:18.562] 06 STORE:从分页 KV 到 SSD / GDSContext 计算注册区与两套偏移 数据整理好之后,存储上下文根据显存切片,找到注册基址和区内 offset;再结合缓存对象的 slab offset,确定写多少、从哪儿读、写到哪儿。跨注册区时,就拆成多笔提交。 [00:10:35.973] 06 STORE:从分页 KV 到 SSD / handle.write_async() 提交原生写入 handle 对象随后调用具体 backend 的异步写入。前面的 gather 和这里的写入,在传输 stream 上有顺序,所以存储设备不会抢先读取还没整理好的 GPU staging buffer。 [00:10:51.153] 06 STORE:从分页 KV 到 SSD / 完成后发布缓存,并允许资源复用 写入完成之后,event 和 callback 衔接收尾流程,存储管理器完成写入状态的更新。这时,缓存对象才完成发布,相关 buffer 才能按约定复用。函数已经返回,与设备已经写完,是两回事。 [00:11:10.200] 07 RETRIEVE:从 SSD 回到分页 KV / retrieve():找到缓存与本次目标块 取回时,先找到命中的缓存,以及这一次请求的目标 block IDs。目标块可能和上一次完全不同,所以不能把保存时的物理地址,直接拿来当恢复位置。 [00:11:24.646] 07 RETRIEVE:从 SSD 回到分页 KV / 锁住命中对象,避免读取中被淘汰 存储管理器交出预取结果,并在读取期间保留这些对象,避免字节还没搬完,缓存位置就被淘汰或复用。stream 也会建立与 producer 的依赖关系。 [00:11:38.988] 07 RETRIEVE:从 SSD 回到分页 KV / 先读到已注册的连续 GPU buffer 然后,handle 提交异步读取,把 slab 中的连续字节,送进已经注册的 GPU staging buffer。SSD 只需要认识地址、偏移和长度,不需要知道这些字节属于哪一层注意力。 [00:11:55.213] 07 RETRIEVE:从 SSD 回到分页 KV / 再 scatter:按本次 block IDs 写回 等读取在 stream 上完成,布局搬运 kernel 再做 scatter,把 GPU staging buffer 里的数据,分散写入这一次的目标块。图中逻辑顺序没有改变,但实际 block IDs,已经换成了新的位置。 [00:12:11.733] 07 RETRIEVE:从 SSD 回到分页 KV / 为什么读取也不能直接落到最终位置? 这就是读取同样需要 GPU staging buffer 的原因。连续存储字节与引擎分页布局之间,需要一次明确的转换。搬运还要遵守对象分组和需要跳过的范围,避免覆盖应保留的 token。 [00:12:28.679] 07 RETRIEVE:从 SSD 回到分页 KV / 完成 event 之后,才能消费并释放保护 最后,完成 event 告诉后续工作,目标缓存已经准备好;读取收尾流程再释放对象保护。不能刚把读命令发出去,就让模型使用尚未到达的数据,也不能提前让存储区域被覆盖。 [00:12:46.089] 08 async:谁在等谁 / 异步返回,只表示提交完成 再把异步单独拎出来。上层调用返回,只表示请求已经提交,不表示数据已经搬完。CPU 可以继续安排工作,而 GPU 和存储设备,沿着依赖关系完成后续任务。 [00:13:02.558] 08 async:谁在等谁 / 同一 stream 保证顺序,不保证并行 保存时,顺序是先 gather,再写盘,再记录完成 event。取回时,是先读盘,再 scatter,再记录 event。有序不等于并行,async 也不是自动让所有步骤同时发生。 [00:13:18.782] 08 async:谁在等谁 / Submission:参数也必须活到调用结束 还有一个容易忽略的生命周期:底层异步函数可能继续使用参数的地址。Submission 要让这些长度、偏移和结果变量一直活着。否则,数据还没搬完,参数内存却已经被回收了。 [00:13:36.231] 08 async:谁在等谁 / 完成 event、I/O 成功、持久化不是一回事 当前实现用 checkpoint 回收已经完成的 Submission,但这不等于逐笔核验实际传输字节数。执行完成、读写成功、数据已经持久化,是不同层次的问题,不能只凭一个 event 就混为一谈。 [00:13:53.383] 09 用 Phoenix 看如何扩展 / 把变化放回具体实现 最后来看扩展。以现有的 Phoenix 实现为例,假设今天重新接入它,核心不是往通用调度里再加一个判断,而是在 backend 目录里,新增一个实现模块。 [00:14:07.803] 09 用 Phoenix 看如何扩展 / 继承文件型父类,复用公共资源管理 它的 backend 类继承文件型父类,复用存储文件的准备流程;它的异步 handle 继承公共 handle,承接具体读写。共有的驱动状态和资源释放,可以放在父类中,让需要的实现直接使用。 [00:14:25.251] 09 用 Phoenix 看如何扩展 / 三组职责,就能看清接口 接口可以按三组来理解。第一组检查环境,准备存储和驱动;第二组登记 buffer 与 stream;第三组负责异步读写和释放。公共层调用这些能力,而不是猜 backend 名字。 [00:14:41.359] 09 用 Phoenix 看如何扩展 / Phoenix 的差异,留在 phx.py Phoenix 自己的差异,留在自己的模块里处理:首次使用时加载适配库,检查异步符号,绑定函数签名,解释错误码和偏移参数。新增 backend,不要求修改所有上层调用者。 [00:14:58.370] 09 用 Phoenix 看如何扩展 / 不把其他 backend 的习惯强加给 Phoenix 生命周期也不必强行整齐。当前 Phoenix 封装走隐式驱动初始化,stream 注册不接收标志位,并允许是空操作。它不需要照搬其他库的数字常量,但每次异步读写,仍要传入 stream。 [00:15:16.690] 09 用 Phoenix 看如何扩展 / 扩展收益:中央登记从必需变为不必需 对照最初接入 Phoenix 的改动,当时需要修改两个中央文件,登记配置与调度。现在,在已有设备平台的前提下,新模块可以通过目录发现,不再要求改这两处。收益是减少联动,而不是消灭实现代码。 [00:15:36.163] 09 用 Phoenix 看如何扩展 / 少改公共层,不代表省掉验证 原生接口适配、针对性测试、依赖说明和硬件验证,仍然都需要。尤其是底层没有支持的新设备,不能靠加一个模块就宣称可用。软件可扩展,与硬件已验证,要分开说。 [00:15:53.585] 10 回到 GDS 的价值 / 留下更多 KV,减少重复计算 所以,GDS 的价值,不是把 SSD 变成显存,而是用更大的容量保留更多可复用缓存,再用合适的路径把它们送回计算。最终是否划算,还要看命中率、带宽、访问粒度和重新计算的成本。 [00:16:12.619] 10 回到 GDS 的价值 / 一层统一 I/O,一层统一缓存语义 Phoenix 尝试在设备读写层统一多种加速器,而缓存框架在更上层,统一缓存对象和传输流程。两者各自守住边界,才有机会让不同设备共享同一套清晰的缓存逻辑。 [00:16:29.397] 10 回到 GDS 的价值 / 数据怎么走,资源谁负责,完成谁通知 回头看,神秘感其实来自几个概念叠在一起。把数据路径、资源归属和完成顺序分开,再用继承和多态把 backend 差异收好,这条从 SSD 到 GPU 的缓存通路,就变得可以理解,也可以扩展。