一段合法的内存空洞,如何让 LMCache CUDA IPC 失效
从 LMCache Issue #5097 出发,解释 hybrid model 的 dim-0 padding、stride、三种 CUDA IPC wrapper,以及 PR #5693 和 #5855 如何用 byte span 与 as_strided 恢复零拷贝传输。
从 LMCache Issue #5097 出发,解释 hybrid model 的 dim-0 padding、stride、三种 CUDA IPC wrapper,以及 PR #5693 和 #5855 如何用 byte span 与 as_strided 恢复零拷贝传输。
有些故障来自非法输入,也有些故障来自一份完全合法、却超出旧代码想象的内存布局。
LMCache Issue #5097 属于后者。GLM-5.3-Flash 在 LMCache MP 0.5.5 下启动时,RawCudaIPCWrapper 收到这样的 tensor:
shape = (11285, 1, 640, 848)
stride = (655360, 542720, 848, 1)
随后报错:tensor 不是 contiguous。
乍看像是模型给了一个“坏 tensor”。但真正的问题恰好相反:这是 hybrid model 为了让不同 KV cache group 共用统一 page 而产生的合法 padded view。旧 IPC wrapper 只会重建紧密排列的 tensor,无法表达 block 之间的空洞,于是选择 fail closed。
这篇文章从零解释问题怎样出现、为什么在 isolated IPC 成为默认值以后集中暴露,以及 PR #5693 和 PR #5855 分别怎样补齐 Raw CUDA IPC 与 CUDA VMM 两条传输路径。
isolated_ipc=true进入 RawCudaIPCWrapper,旧实现要求 contiguous。use_vmm_api=true优先进入 VmmCudaIPCWrapper,旧实现也有相同假设。as_strided。模型完成 prompt 的 prefill 后,会留下每一层的 Key / Value 中间结果。后续请求如果拥有相同前缀,可以直接恢复这些结果,省去重复计算。LMCache 的工作就是把这些结果从 vLLM 的 GPU KV pool 搬到外部缓存,并在需要时搬回来。
shape 只说明 tensor 在逻辑上有多少个元素。例如 (4, 8) 可以理解为 4 行、每行 8 个元素。
stride 则说明沿某一维移动一步时,内存指针要跨过多少个元素。两块 tensor 可以拥有相同 shape,却拥有完全不同的物理布局。
如果一个 tensor 的所有逻辑元素在内存里紧密相邻,它就是 contiguous。此时只要知道 numel,通常就能映射一段连续字节再 reshape 回去。
hybrid model 同时拥有普通 attention、MLA、Mamba 或 indexer 等不同 cache group。为了让这些 group 共享统一的物理 page,较小 group 的每个 block 后面可能会留出一段空白。这个空白就是 padding。
vLLM worker 与 LMCache server 是不同进程。wrapper 不会把整块 KV 复制进消息,而是传递 GPU allocation 的共享句柄,以及重建 tensor 所需的 dtype、shape、stride、offset 等 metadata。
Issue 中的 tensor 每个 block 的逻辑内容是:
1 × 640 × 848 = 542,720 elements
但是 stride[0] 是 655,360。所以从一个 block 的开头走到下一个 block 的开头,必须跨过:
655,360 - 542,720 = 112,640 padding elements
padding 占整个 block pitch 的 17.1875%。对全部 11,285 个 block:
logical numel = 6,124,595,200 elements
physical span = 7,395,624,960 elements
旧 Raw/VMM wrapper 使用 numel * element_size 决定映射长度,再用 reshape(shape) 重建。它等价于假设每个 block 后面没有空洞。第二个 block 的读取地址因此会落进第一个 block 的 padding,后续所有 block 都会错位。
静默接受这种布局会造成 KV corruption。旧代码选择抛错,是正确的 fail-closed 行为;缺少的是一种能够安全表达空洞的重建方式。
下面的动画直接移动 SVG 里的读取指针。点击任意步骤,指针会从当前位置移动到新地址;最后一步会连续扫过四个正确的 block 起点。
use_vmm_api=true优先选择 VmmCudaIPCWrapper。allocation 来自 CUDA VMM,需要 fd 或 FABRIC handle。PR #5855 修复这条路径。isolated_ipc=true选择 RawCudaIPCWrapper。它使用 driver-level CUDA IPC handle,不依赖共享 /dev/shm。PR #5693 修复这条路径。CudaIPCWrapper。PyTorch storage IPC 原本就会按 storage、offset、shape 和 stride 恢复 view。use_vmm_api 的优先级最高,因为 VMM allocation 无法用 legacy CUDA IPC memory handle 表达。它可以和 isolated 模式组合,但如果 allocation 只能导出 POSIX fd,而两个容器之间又没有共享路径,仍然需要 IMEX/FABRIC 或关闭 isolated。这不是 padding 修复能够改变的约束。
attempt_permute_to_contiguous_view 会验证它只有 dim-0 padding,内部维度仍紧密。/dev/shm,因此更多部署进入 Raw wrapper。换句话说,padding 并不是突然出现的。真正变化的是默认传输路径:过去 non-isolated 的 PyTorch storage IPC 可以保留 stride;isolated 成为默认后,同一个 tensor 开始进入只懂 flat bytes 的 Raw wrapper,潜在不兼容才变成默认启动错误。
旧逻辑可以简化成:
if not tensor.is_contiguous():
raise ValueError(...)
nbytes = tensor.numel() * tensor.element_size()
raw = map_cuda_bytes(nbytes)
return raw.view(dtype).reshape(shape)
新逻辑分成两步。
第一步,用 metadata 计算 view 实际能访问到的最后一个元素:
byte_span = itemsize * (
storage_offset
+ 1
+ sum((size - 1) * stride for size, stride in zip(shape, stride))
)
对于 contiguous tensor,byte_span 等于 numel * itemsize;对于 dim-0-padded view,它把 block 之间的所有空洞也算进去。
第二步,接收端不再 reshape,而是恢复原始 stride:
raw = map_cuda_bytes(byte_span)
tensor = raw.view(dtype).as_strided(shape, stride)
这仍然是 zero-copy:没有调用 .contiguous(),没有创建一份巨大的 KV 副本,只是为同一段共享 GPU memory 建立正确的 view。
PR #5693 移除 Raw wrapper 的第二次 contiguous 拒绝,使用 TensorMetadata.byte_span() 决定映射长度,并以 as_strided 重建。新增跨进程测试不仅比较读取内容,还让接收进程写回 -1,随后检查每个 block 的 padding sentinel 仍保持不变。这验证了指针没有踩进空洞。
PR #5855 把相同算法应用到 VMM wrapper。它还有一个额外细节:metadata 必须在导出 allocation 前完成初始化,这样“tensor 是否落在一个 physical chunk 内”的边界检查才能使用 padded byte span,而不是只检查逻辑 numel。
VMM 原有的限制仍然保留:不可导出的 allocation 继续报错;跨多个 physical chunk 的 view 继续报错;isolated 模式下无法传递 POSIX fd 时也继续报错。padding 修复没有放宽这些资源所有权边界。
这两个 PR 并没有让任意 as_strided tensor 都能穿过 IPC。
在 wrapper 之前,attempt_permute_to_contiguous_view() 已经做了严格验证:
stride[0] 不能小于内部元素乘积,block 不能重叠;因此修复的安全边界不是“接受 non-contiguous”,而是“接受一种已经被识别和证明可由 transfer kernel 理解的 non-contiguous”。
Issue 还记录了另一个现象:关闭 isolated IPC 后,模型能够启动,但 server 在每个请求结束时打印:
Session <ID> has no lookup ipc key, skipping touch
这条日志发生在 end_session()。它的直接含义是:session 结束时没有 lookup_ipc_key,所以无法刷新相关 L1 object 的最近使用时间。它不是“丢弃 chat 请求”的日志,也不能单独证明 STORE / RETRIEVE 没有执行。
在 0.5.5 的 lookup 路径里,至少有两种情况会在写入 key 之前返回:
Issue 配置的 chunkSize 是 640。如果 prompt 短于一个完整 chunk,本来就没有可 lookup 的 chunk。复测者还指出 l1.sizeGB: 4 对这个模型太小,prefetch 无法预留空间,命中率会保持为 0%。这些现象叠加在一起,很容易被理解成“LMCache 忽略了所有请求”。
但原始报告没有给出触发 warning 的请求 token 数和同一时刻的完整 server 日志,因此无法从现有材料唯一确定它走的是哪个 early-return 分支。能够确定的是:这条 warning 与 padded-stride 注册错误不是同一层问题。
vLLM Issue #54831 讨论 GLM-5.3 的 DSA indexer tail_cache、page-size unification 与 offloading/hash alignment。它解释了为什么 hybrid model 会产生如此极端的 padding,但不是 LMCache IPC wrapper 的直接修复。
vLLM PR #57317 修复 Kpool tail ring buffer 被错误套用 generic slot-mapping kernel 的越界问题。它解决的是 vLLM 自身的寻址错误;LMCache 的两个 PR 解决的是跨进程重建 stride。复现时必须把两者分开,否则第一个崩溃可能遮住第二个。
Issue #5097 的核心不是“non-contiguous tensor 需要强行变 contiguous”,而是:
一个合法 view 的物理跨度大于它的逻辑元素总量。任何跨进程重建如果只保存 shape、丢掉 stride 与 padding,都会读到错误地址。
PR #5693 与 #5855 采用了同一条正确原则:
这也是分析 GPU tensor 问题时最值得重复使用的方法:不要只看 shape 和 numel,要沿着 stride 亲自走一遍指针。