https://txtmix.com/tags/layer-wise-loading/Recent content in Layer-Wise Loading on Text MatrixHugozh-cnTue, 21 Jul 2026 20:06:14 +0800https://txtmix.com/posts/tech/airllm-layer-wise-loading-70b-on-4gb-gpu/Sun, 19 Jul 2026 03:10:00 +0800https://txtmix.com/posts/tech/airllm-layer-wise-loading-70b-on-4gb-gpu/<h2 id="核心判断">核心判断</h2> <p>AirLLM 不是把模型&quot;塞进&quot;显存，而是把模型&quot;流过&quot;显存。它把 70B（700 亿）参数的模型按 Transformer 层切分后存放在磁盘上，推理时只把当前计算层加载进 GPU，算完就丢弃，再加载下一层。因此 GPU 显存只需容纳单层参数——这是它能在 4GB 显存上跑 70B 模型的根本原因，也是它和 vLLM、TGI、TensorRT-LLM 这类&quot;整模型驻留显存&quot;路线的本质分歧。</p>