https://txtmix.com/tags/cpu-gpu/Recent content in Cpu-Gpu on Text MatrixHugozh-cnTue, 21 Jul 2026 20:06:14 +0800https://txtmix.com/posts/tech/kvcache-ai-ktransformers-heterogeneous-llm/Mon, 20 Jul 2026 03:02:36 +0800https://txtmix.com/posts/tech/kvcache-ai-ktransformers-heterogeneous-llm/<h1 id="ktransformers让-cpu-gpu-异构推理跑超大-moe-的实战框架">KTransformers：让 CPU-GPU 异构推理跑超大 MoE 的实战框架</h1> <h2 id="一句话判断">一句话判断</h2> <p>KTransformers 是当前<strong>最活跃的 CPU-GPU 异构 LLM 推理 / 微调框架</strong>之一——18K stars，2026 年 6-7 月连续 Day0 支持 MiniMax-M3 / GLM-5.2 / Kimi-K2.5 / DeepSeek-V4-Flash 等主流 MoE（Mixture of Experts，混合专家）模型。它把&quot;超大 MoE 模型在 24GB 单卡 + 256GB DRAM&quot;这件事做成了一行命令 + LlamaFactory 集成，是个人开发者和中小团队跑前沿 MoE 的现实路径。</p>