RTX 3090 on Text Matrixhttps://txtmix.com/tags/rtx-3090/Recent content in RTX 3090 on Text MatrixHugozh-cnSat, 23 May 2026 08:55:34 +0800RTX 3090 本地运行 LLM 实战：vLLM 与 llama.cpp 双引擎对比https://txtmix.com/posts/tech/club-3090-rtx-3090-llm-local-serving-guide/Wed, 29 Apr 2026 20:35:22 +0800https://txtmix.com/posts/tech/club-3090-rtx-3090-llm-local-serving-guide/<h1 id="rtx-3090-本地运行-llm-实战vllm-与-llamacpp-双引擎对比">RTX 3090 本地运行 LLM 实战：vLLM 与 llama.cpp 双引擎对比</h1> <h2 id="前言">前言</h2> <p>消费级 GPU 跑大语言模型，这事在 2024 年还属于&quot;勉强能跑但体验糟糕&quot;的范畴。到了 2026 年，量化技术、工程优化和推理引擎的共同进步，让这个目标变得真正实用了。</p>