https://txtmix.com/tags/lmcache/Recent content in LMCache on Text MatrixHugozh-cnTue, 21 Jul 2026 20:06:14 +0800https://txtmix.com/posts/tech/lmcache-llm-kv-cache-optimization-guide/Sat, 13 Jun 2026 15:15:25 +0800https://txtmix.com/posts/tech/lmcache-llm-kv-cache-optimization-guide/<h1 id="lmcache-深度解析把-llm-推理的-kv-cache-从临时状态改造成可复用资产">LMCache 深度解析：把 LLM 推理的 KV Cache 从临时状态改造成可复用资产</h1> <h2 id="核心判断">核心判断</h2> <p>LMCache 解决的是 <strong>&ldquo;把 KV Cache 从单个推理进程内的临时状态，升级成跨进程、跨节点、可观测、可分层的系统级资产&rdquo;</strong>。vLLM 等推理引擎自带的 HBM（前缀缓存是 GPU 高速显存）前缀缓存只解决&quot;同一个进程、同一个 GPU 实例内的前缀复用&quot;，而 LMCache 试图解决的是更上一层的两个问题：多轮对话与 RAG（Retrieval-Augmented Generation，检索增强生成）场景下的跨请求复用，以及 Data Parallel（数据并行，多个推理实例并行处理不同请求）部署下被切割在不同 GPU 进程里的 KV Cache 如何被统一看到。</p>