Blog Archive

博客文章

这里会持续更新 AI Infra、分布式系统、数据库、性能优化和工程实践相关内容。

AI Infra2026/11/1630 分钟

从零理解 SGLang、HiCache、Mamba 与 LMCache:为什么 8768 的状态不能存到 8704

从一次 64/256 token 对齐冲突出发,解释混合模型的状态缓存、SGLang 调度器、HiCache 与 LMCache 的边界,以及为什么修复必须发生在调度阶段。

#SGLang#LMCache#HiCache
阅读全文
AI Infra2026/11/1128 min

从零理解 CUDA VMM、POSIX FD、FABRIC 与 LMCache:一块 GPU 显存如何跨进程共享

从虚拟地址与物理显存讲起,用交互动画解释 legacy CUDA IPC、VMM、POSIX file descriptor、FABRIC handle、IMEX channel,以及 vLLM extensible KV cache 与 LMCache MP 为什么必须先协商内存访问方式。

#CUDA#VMM#LMCache
阅读全文
AI Infra2026/11/632 min

LMCache P2P 零基础详解:控制面、数据面、建链、查询与认证边界

用交互动画走通 LMCache multiprocess P2P 的节点注册、peer 发现、NIXL 握手、lookup/lock、地址返回、KV 直读与 unlock,并解释每一处为什么需要或不需要身份认证。

#LMCache#P2P#KV Cache
阅读全文
AI Infra2026/11/638 min

LMCache SDK 与 Cache Dropping 完整指南:从部署、轮询到 Prefill/Modify/Decode

面向熟悉 vLLM + LMCache 在线推理、但不了解 SDK 的读者:从 KV Cache 与原始 KV 的定义开始,完整讲清三进程部署、启动顺序、两层轮询、SHM/inline 数据通道、Random/SnapKV/R-KV、vLLM patch,以及 Prefill → Retrieve → Drop → Store → Decode 的每一步。

#lmcache#vllm#kv-cache
阅读全文
AI Infra2026/10/2924 min

当一个 vLLM Block 不再等于一个 KV Page:LMCache PR #6019 详解

从 KV cache、block table 和 kernel page 的零基础概念讲起,解释 LMCache 为什么会把 kernel paging 误判成压缩、缓存命中为何可能静默恢复错误 KV,以及 PR #6019 如何用 num_blocks、k 检测和 block-to-page 展开修复全部 MP 传输路径。

#lmcache#vllm#kv-cache
阅读全文
AI Infra2026/10/2638 min

KV Layout 不该靠猜:从 vLLM #63699 到 RBLN 与 LMCache 的显式轴契约

用 17 张图和两个交互示例,讲清 KV cache 的轴语义、物理布局、内容编码,追踪 allocator 到 connector 的完整调用链,以及 RBLN、MLA、hybrid 模型和 LMCache 接入的边界。

#vllm#lmcache#kv-cache
阅读全文
AI Infra2026/10/2622 min

一行代码,少搬一次:LMCache PR #6062 如何让 SGLang KV Cache 直达 Copy Engine

从零解释 KV Cache、分页内存、NHD/HND layout、LMCache multiprocess 的 kernel 与 direct-copy 两条路径,以及 PR #6062 为什么只加一行 production code 就能补齐 SGLang unified MP 的快速路径。

#lmcache#sglang#kv-cache
阅读全文
AI Infra2026/10/2118 min

一段合法的内存空洞,如何让 LMCache CUDA IPC 失效

从 LMCache Issue #5097 出发,解释 hybrid model 的 dim-0 padding、stride、三种 CUDA IPC wrapper,以及 PR #5693 和 #5855 如何用 byte span 与 as_strided 恢复零拷贝传输。

#lmcache#vllm#cuda-ipc
阅读全文
AI Infra2026/9/2135 min

揭开 GDS 的神秘面纱:LMCache MP 如何把 KV Cache 放进 NVMe

从 SSD 控制器的 DMA、PCIe 地址映射和 GPU 注册区讲起,用七张动画图走通 LMCache MP 的初始化、STORE 与 RETRIEVE,再以 Phoenix 说明 backend 如何扩展。

#LMCache#GDS#KV Cache
阅读全文
AI Infra2026/9/1728 min

LMCache gRPC 支持详解:从启用方式到协议演进

介绍 LMCache multiprocess request transport 如何从 ZMQ 演进到 gRPC:server 与 vLLM 的具体配置、实现原理、codec 设计、收益,以及新增 service/message/rpc/field 时如何保持兼容。

#lmcache#grpc#vllm
阅读全文
AI Infra2026/9/1631 min

从 MTP 到 Mamba State:LMCache 为什么会把一块草稿缓存当成前缀状态

从 Prefill、Decode 和 KV Cache 开始,逐步解释 Mamba、GDN、SWA、MLA、MTP、vLLM align-mode checkpoint、speculative block relocation,以及 LMCache PR #5004 修复的状态错位问题。

#lmcache#vllm#kv-cache
阅读全文
AI Infra2026/9/1635 min

LMCache MP 注册路径详解:register_kv_cache 到底在干什么

围绕 vLLM 调用 register_kv_caches 后传入的 KV cache、LMCache driven 多进程连接器的客户端处理、服务端注册、EngineGroupInfo 生成,以及普通 Attention、MLA、DeepSeek、Qwen 和 Mamba 等复杂模型布局,系统解释 LMCache 为什么需要这一层注册协议。

#lmcache#vllm#kv-cache
阅读全文
AI Infra2026/9/1627 min

NHD、HND、BLHNC、BLNHC:vLLM 和 LMCache 的 KV Layout 到底在选什么

从 vLLM 的 KVCacheLayout 解析、不同 attention backend 的偏好,到 LMCache 的 EngineKVFormat 探测与转换边界,系统解释为什么会有多种 KV layout。

#vllm#lmcache#kv-cache
阅读全文
AI Infra2026/9/1114 min

让 vLLM 顺手拉起 LMCache:PR #3476 的 MP Server AutoStart 到底做了什么

解读 LMCache PR #3476:LMCacheMPConnector 如何在 vLLM 启动时自动拉起本地 MP server,端口如何解析,worker 0 如何承担启动责任,以及这个功能的生命周期边界。

#lmcache#vllm#kv-cache
阅读全文
AI Infra2026/9/816 min

一次 Step 为什么决定 GPU block 能不能释放?LMCache Lazy Offload 与 vLLM 调度器保活

从 vLLM Step 消息泵、Scheduler/Worker/Cache Service 三方边界出发,解释 LMCache PR #4998 为什么只为 in-flight lazy store 保活,以及没有它时最后一批 GPU blocks 为什么会延迟释放。

#lmcache#vllm#kv-cache
阅读全文
AI Infra2026/9/724 min

KV Cache Controller 深度解析:当缓存从单机优化变成集群控制问题

从 KV Cache 的生成与复用讲起,拆解 KVCC/KVCR 的分层存储、角色边界、Router Hint、数据搬运、状态机、故障恢复,以及这套架构未来能否成为通用基础设施。

#kv-cache#llm-inference#distributed-systems
阅读全文
AI Infra2026/9/313 min

从 LMCache PR #4660 看并发状态机:原子操作为什么仍然不够

通过一次 LocalDiskBackend 磁盘写入审查,分析重复提交、容量预检、失败回滚和 resident/in-flight 交接竞态,以及如何用确定性测试验证修复。

#lmcache#concurrency#storage
阅读全文
AI Infra2026/9/318 min

从 LMCache PR #4830 理解 Pinned Memory:一次静默 KV Cache 损坏分析

从 pageable memory、pinned memory、设备支持矩阵和异步拷贝讲起,分析 LMCache 如何因为 raw pointer 生命周期和错误的同步边界产生无报错的数据损坏。

#lmcache#cuda#pinned-memory
阅读全文
AI Infra2026/8/1914 min

在 MacBook 上用 Docker 跑通 sglang:从源码到 curl 验证的完整链路

把 sglang 在 Apple Silicon Mac 上跑起来的全过程——为什么只能走 Docker、三处必须打的 aarch64 补丁、Docker Desktop vpnkit 的 HTTP/1.1 chunked 陷阱,以及最终如何用 curl 拿到真实推理结果。

#sglang#docker#macos
阅读全文
AI Infra2026/8/191 min

Test

Test。

#serving#benchmark#writing
阅读全文
AI Infra2026/8/127 min

从“能跑”到“能压测”:AI Infra 文章该怎么写得更有说服力

技术博客最能拉开差距的,不是术语密度,而是你能否把设计动机、压力模型和关键指标一起讲清楚。

#serving#benchmark#writing
阅读全文
Distributed Systems2026/8/66 min

分布式系统线上排障时,我会先检查的 9 件事

遇到复杂故障时,最重要的不是立刻猜根因,而是快速收拢不确定性。

#debugging#production#checklist
阅读全文
Engineering Writing2026/7/295 min

为什么工程师应该认真经营一个“对外可见”的技术站点

一套能长期更新的技术站,不只是写文章,它还会改变你输出、协作和沉淀知识的方式。

#blog#branding#knowledge
阅读全文