从零理解 SGLang、HiCache、Mamba 与 LMCache:为什么 8768 的状态不能存到 8704
从一次 64/256 token 对齐冲突出发,解释混合模型的状态缓存、SGLang 调度器、HiCache 与 LMCache 的边界,以及为什么修复必须发生在调度阶段。
这里会持续更新 AI Infra、分布式系统、数据库、性能优化和工程实践相关内容。
从一次 64/256 token 对齐冲突出发,解释混合模型的状态缓存、SGLang 调度器、HiCache 与 LMCache 的边界,以及为什么修复必须发生在调度阶段。
从虚拟地址与物理显存讲起,用交互动画解释 legacy CUDA IPC、VMM、POSIX file descriptor、FABRIC handle、IMEX channel,以及 vLLM extensible KV cache 与 LMCache MP 为什么必须先协商内存访问方式。
用交互动画走通 LMCache multiprocess P2P 的节点注册、peer 发现、NIXL 握手、lookup/lock、地址返回、KV 直读与 unlock,并解释每一处为什么需要或不需要身份认证。
面向熟悉 vLLM + LMCache 在线推理、但不了解 SDK 的读者:从 KV Cache 与原始 KV 的定义开始,完整讲清三进程部署、启动顺序、两层轮询、SHM/inline 数据通道、Random/SnapKV/R-KV、vLLM patch,以及 Prefill → Retrieve → Drop → Store → Decode 的每一步。
从 KV cache、block table 和 kernel page 的零基础概念讲起,解释 LMCache 为什么会把 kernel paging 误判成压缩、缓存命中为何可能静默恢复错误 KV,以及 PR #6019 如何用 num_blocks、k 检测和 block-to-page 展开修复全部 MP 传输路径。
用 17 张图和两个交互示例,讲清 KV cache 的轴语义、物理布局、内容编码,追踪 allocator 到 connector 的完整调用链,以及 RBLN、MLA、hybrid 模型和 LMCache 接入的边界。
从零解释 KV Cache、分页内存、NHD/HND layout、LMCache multiprocess 的 kernel 与 direct-copy 两条路径,以及 PR #6062 为什么只加一行 production code 就能补齐 SGLang unified MP 的快速路径。
从 LMCache Issue #5097 出发,解释 hybrid model 的 dim-0 padding、stride、三种 CUDA IPC wrapper,以及 PR #5693 和 #5855 如何用 byte span 与 as_strided 恢复零拷贝传输。
从 SSD 控制器的 DMA、PCIe 地址映射和 GPU 注册区讲起,用七张动画图走通 LMCache MP 的初始化、STORE 与 RETRIEVE,再以 Phoenix 说明 backend 如何扩展。
介绍 LMCache multiprocess request transport 如何从 ZMQ 演进到 gRPC:server 与 vLLM 的具体配置、实现原理、codec 设计、收益,以及新增 service/message/rpc/field 时如何保持兼容。
从 Prefill、Decode 和 KV Cache 开始,逐步解释 Mamba、GDN、SWA、MLA、MTP、vLLM align-mode checkpoint、speculative block relocation,以及 LMCache PR #5004 修复的状态错位问题。
围绕 vLLM 调用 register_kv_caches 后传入的 KV cache、LMCache driven 多进程连接器的客户端处理、服务端注册、EngineGroupInfo 生成,以及普通 Attention、MLA、DeepSeek、Qwen 和 Mamba 等复杂模型布局,系统解释 LMCache 为什么需要这一层注册协议。
从 vLLM 的 KVCacheLayout 解析、不同 attention backend 的偏好,到 LMCache 的 EngineKVFormat 探测与转换边界,系统解释为什么会有多种 KV layout。
解读 LMCache PR #3476:LMCacheMPConnector 如何在 vLLM 启动时自动拉起本地 MP server,端口如何解析,worker 0 如何承担启动责任,以及这个功能的生命周期边界。
从 vLLM Step 消息泵、Scheduler/Worker/Cache Service 三方边界出发,解释 LMCache PR #4998 为什么只为 in-flight lazy store 保活,以及没有它时最后一批 GPU blocks 为什么会延迟释放。
从 KV Cache 的生成与复用讲起,拆解 KVCC/KVCR 的分层存储、角色边界、Router Hint、数据搬运、状态机、故障恢复,以及这套架构未来能否成为通用基础设施。
通过一次 LocalDiskBackend 磁盘写入审查,分析重复提交、容量预检、失败回滚和 resident/in-flight 交接竞态,以及如何用确定性测试验证修复。
从 pageable memory、pinned memory、设备支持矩阵和异步拷贝讲起,分析 LMCache 如何因为 raw pointer 生命周期和错误的同步边界产生无报错的数据损坏。
把 sglang 在 Apple Silicon Mac 上跑起来的全过程——为什么只能走 Docker、三处必须打的 aarch64 补丁、Docker Desktop vpnkit 的 HTTP/1.1 chunked 陷阱,以及最终如何用 curl 拿到真实推理结果。
Test。
test2
test3
技术博客最能拉开差距的,不是术语密度,而是你能否把设计动机、压力模型和关键指标一起讲清楚。
遇到复杂故障时,最重要的不是立刻猜根因,而是快速收拢不确定性。
一套能长期更新的技术站,不只是写文章,它还会改变你输出、协作和沉淀知识的方式。