https://txtmix.com/tags/llm-inference/Recent content in Llm-Inference on Text MatrixHugozh-cnTue, 21 Jul 2026 20:06:14 +0800https://txtmix.com/posts/tech/lyogavin-airllm-layer-wise-loading-70b-on-4gb-gpu/Mon, 20 Jul 2026 03:02:36 +0800https://txtmix.com/posts/tech/lyogavin-airllm-layer-wise-loading-70b-on-4gb-gpu/<h1 id="airllm用层式分片加载在-4gb-显卡跑-70b-模型是怎么做到的">AirLLM：用层式分片加载在 4GB 显卡跑 70B 模型是怎么做到的</h1> <h2 id="一句话判断">一句话判断</h2> <p>AirLLM 的核心承诺很硬核：<strong>70B 模型在单卡 4GB GPU 上跑</strong>——不需要量化、不蒸馏、不剪枝。23.5K stars 说明这个承诺击中了&quot;我有 4GB 老显卡但想跑 70B 模型&quot;这个广泛痛点。它的实现方式是<strong>层式分片加载</strong>（layer-wise loading）+ 按需 swap，让模型参数从磁盘到内存到显存按层流动，而不是一次性全部加载到 GPU。</p>https://txtmix.com/posts/tech/kvcache-ai-ktransformers-heterogeneous-llm/Mon, 20 Jul 2026 03:02:36 +0800https://txtmix.com/posts/tech/kvcache-ai-ktransformers-heterogeneous-llm/<h1 id="ktransformers让-cpu-gpu-异构推理跑超大-moe-的实战框架">KTransformers：让 CPU-GPU 异构推理跑超大 MoE 的实战框架</h1> <h2 id="一句话判断">一句话判断</h2> <p>KTransformers 是当前<strong>最活跃的 CPU-GPU 异构 LLM 推理 / 微调框架</strong>之一——18K stars，2026 年 6-7 月连续 Day0 支持 MiniMax-M3 / GLM-5.2 / Kimi-K2.5 / DeepSeek-V4-Flash 等主流 MoE（Mixture of Experts，混合专家）模型。它把&quot;超大 MoE 模型在 24GB 单卡 + 256GB DRAM&quot;这件事做成了一行命令 + LlamaFactory 集成，是个人开发者和中小团队跑前沿 MoE 的现实路径。</p>