https://txtmix.com/tags/llama.cpp/Recent content in Llama.cpp on Text MatrixHugozh-cnSat, 23 May 2026 08:20:36 +0800https://txtmix.com/posts/tech/dreamsserver-ai-server-framework-guide/Sun, 17 May 2026 20:10:00 +0800https://txtmix.com/posts/tech/dreamsserver-ai-server-framework-guide/<h2 id="什么是-dreamserver">什么是 DreamServer</h2> <p>DreamServer 是 Light Heart Labs 出品的开源项目，目标只有一个：<strong>让任何人在自己的硬件上跑起一套完整的本地 AI 栈，不需要云端，不需要订阅</strong>。</p> <p>这套栈包含：LLM 推理引擎、网页聊天界面、语音识别与合成、Agent 框架、工作流自动化、RAG 知识库检索、图像生成，以及一整套隐私保护与监控工具。项目自称&quot;主权 AI 基础设施&quot;，核心理念是 AI 不该被几家大公司垄断，普通人应该能在自己机器上运行。</p>https://txtmix.com/posts/tech/club-3090-rtx-3090-llm-local-serving-guide/Wed, 29 Apr 2026 20:35:22 +0800https://txtmix.com/posts/tech/club-3090-rtx-3090-llm-local-serving-guide/<h1 id="rtx-3090-本地运行-llm-实战vllm-与-llamacpp-双引擎对比">RTX 3090 本地运行 LLM 实战：vLLM 与 llama.cpp 双引擎对比</h1> <h2 id="前言">前言</h2> <p>消费级 GPU 跑大语言模型，这事在 2024 年还属于&quot;勉强能跑但体验糟糕&quot;的范畴。到了 2026 年，量化技术、工程优化和推理引擎的共同进步，让这个目标变得真正实用了。</p>https://txtmix.com/posts/tech/turboquant-plus-kv-cache-compression-guide/Thu, 23 Apr 2026 21:07:12 +0800https://txtmix.com/posts/tech/turboquant-plus-kv-cache-compression-guide/<h2 id="项目概览">项目概览</h2> <p><a href="https://github.com/TheTom/turboquant_plus" target="_blank" rel="noopener noreffer ">TurboQuant+</a> 是对 Google Research <a href="https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/" target="_blank" rel="noopener noreffer ">TurboQuant</a> 论文（ICLR 2026）的开源实现与扩展工程。截至 2026 年 4 月，该项目已获得 <strong>6,482 Stars</strong> 和 <strong>872 Forks</strong>，是近期最具影响力的 LLM 推理优化开源项目之一。</p>https://txtmix.com/posts/tech/llama-cpp-gogu-gpu-llm-inference-guide/Mon, 06 Apr 2026 22:45:00 +0800https://txtmix.com/posts/tech/llama-cpp-gogu-gpu-llm-inference-guide/<h2 id="学习目标">学习目标</h2> <p>通过本文，你将全面掌握以下核心能力：</p> <ul> <li>深入理解 llama.cpp 的项目定位和技术架构</li> <li>学会在各种硬件上运行 LLM（CPU、GPU、Apple Silicon）</li> <li>掌握 GGUF 格式模型的下载和使用</li> <li>理解量化技术原理和不同量化级别的选择</li> <li>学会构建 llama.cpp Server 并通过 API 调用</li> <li>掌握性能优化技巧和内存管理</li> </ul> <hr> <h2 id="1-项目概述">1. 项目概述</h2> <h3 id="11-是什么">1.1 是什么</h3> <p><strong>llama.cpp</strong> 是 Facebook LLaMA 架构的纯 C/C++ 移植版本，专门用于在 CPU 和 GPU 上高效推理 GGUF 格式的大语言模型（LLM）。它的核心特点是<strong>无需 GPU 即可运行 LLM</strong>，支持多种硬件架构。</p>https://txtmix.com/posts/tech/bitnet-microsoft-1bit-llm-inference-guide/Mon, 06 Apr 2026 21:21:00 +0800https://txtmix.com/posts/tech/bitnet-microsoft-1bit-llm-inference-guide/<h2 id="学习目标">学习目标</h2> <p>通过本文，你将全面掌握以下核心能力：</p> <ul> <li>深入理解 BitNet 的项目定位、1-bit LLM 原理和技术架构</li> <li>掌握在 CPU 和 GPU 上构建和运行 BitNet 的方法</li> <li>学会使用官方预训练模型和量化工具</li> <li>理解 I2_S、TL1、TL2 等量化内核的技术细节</li> <li>掌握性能基准测试和优化技巧</li> <li>理解与 llama.cpp 的关系和差异化定位</li> </ul> <hr> <h2 id="1-项目概述">1. 项目概述</h2> <h3 id="11-是什么">1.1 是什么</h3> <p>BitNet 是微软官方发布的 <strong>1-bit LLM 推理框架</strong>，核心理念是让 1-bit 大语言模型（如 BitNet b1.58）能够在 CPU 和 GPU 上实现<strong>快速、无损</strong>的推理。</p>https://txtmix.com/posts/tech/llm/quantization-llm-model-compression-guide/Sun, 29 Mar 2026 23:28:00 +0800https://txtmix.com/posts/tech/llm/quantization-llm-model-compression-guide/<hr> <h2 id="一先看一个惊人的事实">一、先看一个惊人的事实</h2> <p><strong>Qwen-3-Coder-Next</strong> 是一个 800 亿参数的模型：</p> <ul> <li><strong>体积：159.4GB</strong></li> <li>需要至少 159GB 内存才能运行</li> <li>这还不算「大型」模型——据说前沿模型超过 <strong>1 万亿</strong>参数，需要 <strong>2TB+</strong> 内存</li> </ul> <p><strong>但如果我告诉你：</strong></p>