https://txtmix.com/tags/vllm/Recent content in VLLM on Text MatrixHugozh-cnSat, 23 May 2026 08:55:34 +0800https://txtmix.com/posts/tech/minivllm-vllm-from-scratch/Tue, 12 May 2026 10:50:00 +0800https://txtmix.com/posts/tech/minivllm-vllm-from-scratch/<h1 id="minivllm从零理解-vllm-推理引擎的完整指南">MinivLLM：从零理解 vLLM 推理引擎的完整指南</h1> <p>如果想理解 vLLM 背后的工程原理，却没有数万平方米的代码库让你望而生畏，MinivLLM 或许是一个合适的起点。这个仓库基于 Nano-vLLM，从头实现了一个最小化的 vLLM 推理引擎，将完整的技术路径拆解为六个步骤——从最基础的神经网络层，到最终的调度器和 Engine 顶层 API，每一步都有对应的代码和中文学习指南。</p>https://txtmix.com/posts/tech/club-3090-rtx-3090-llm-local-serving-guide/Wed, 29 Apr 2026 20:35:22 +0800https://txtmix.com/posts/tech/club-3090-rtx-3090-llm-local-serving-guide/<h1 id="rtx-3090-本地运行-llm-实战vllm-与-llamacpp-双引擎对比">RTX 3090 本地运行 LLM 实战：vLLM 与 llama.cpp 双引擎对比</h1> <h2 id="前言">前言</h2> <p>消费级 GPU 跑大语言模型，这事在 2024 年还属于&quot;勉强能跑但体验糟糕&quot;的范畴。到了 2026 年，量化技术、工程优化和推理引擎的共同进步，让这个目标变得真正实用了。</p>https://txtmix.com/posts/tech/dflash-block-diffusion-speculative-decoding/Fri, 17 Apr 2026 16:35:00 +0800https://txtmix.com/posts/tech/dflash-block-diffusion-speculative-decoding/<h1 id="dflash块扩散模型加速llm推理">DFlash：块扩散模型加速LLM推理</h1> <blockquote> <p><strong>目标读者</strong>：LLM推理优化工程师、ML平台架构师、MLOps实践者 <strong>前置知识</strong>：深度学习基础、LLM原理、对投机解码有基本了解 <strong>技术栈</strong>：Python / PyTorch / vLLM / SGLang / Transformers / MLX <strong>难度定位</strong>：⭐⭐⭐⭐ 专家设计</p>https://txtmix.com/posts/tech/pi-mono-ai-agent-toolkit/Mon, 06 Apr 2026 11:30:00 +0800https://txtmix.com/posts/tech/pi-mono-ai-agent-toolkit/<h1 id="pi-mono统一llm-api的ai-agent全栈工具箱">Pi Mono：统一LLM API的AI Agent全栈工具箱</h1> <h2 id="1-学习目标">§1 学习目标</h2> <p>通过本文，您将掌握：</p> <ul> <li>Pi Mono的核心功能与架构设计</li> <li>如何使用Pi Mono的编码Agent CLI</li> <li>统一LLM API的配置与使用</li> <li>TUI与Web UI的部署方法</li> <li>Slack机器人与vLLM Pod的集成</li> <li>最佳实践与开发扩展指南</li> </ul> <hr> <h2 id="2-原理分析">§2 原理分析</h2> <h3 id="21-什么是pi-mono">2.1 什么是Pi Mono？</h3> <p><strong>Pi Mono</strong>（GitHub: <a href="https://github.com/badlogic/pi-mono" target="_blank" rel="noopener noreffer ">badlogic/pi-mono</a>）是一款开源AI Agent工具箱，由知名开发者badlogic创建。该工具箱将多个AI开发组件整合到一个统一的框架中：</p>https://txtmix.com/posts/tech/ai-agent/pi-mono-ai-agent-toolkit/Mon, 30 Mar 2026 13:03:00 +0800https://txtmix.com/posts/tech/ai-agent/pi-mono-ai-agent-toolkit/<h1 id="pi-monorepo开源-ai-agent-工具包专家级技术文档">Pi Monorepo：开源 AI Agent 工具包专家级技术文档</h1> <blockquote> <p>预计阅读时间：35分钟 | 难度：⭐⭐⭐⭐</p></blockquote> <hr> <blockquote> <p><strong>目标读者</strong>：想要掌握 Pi Monorepo 的开发者、AI 应用工程师和技术决策者</p>