https://txtmix.com/tags/%E6%9C%AC%E5%9C%B0ai/Recent content in 本地AI on Text MatrixHugozh-cnSat, 23 May 2026 08:20:36 +0800https://txtmix.com/posts/tech/llama.cpp-cpp-llm-inference-guide/Mon, 18 May 2026 00:00:00 +0000https://txtmix.com/posts/tech/llama.cpp-cpp-llm-inference-guide/<h1 id="llamacpp纯cc实现的高性能llm推理引擎">llama.cpp：纯C/C++实现的高性能LLM推理引擎</h1> <p><strong>Stars: 110,785</strong> | <strong>今日: +18,344</strong> | <strong>C++</strong></p> <p>GitHub: <a href="https://github.com/ggml-org/llama.cpp" target="_blank" rel="noopener noreffer ">ggml-org/llama.cpp</a></p> <h2 id="一句话评价">一句话评价</h2> <p>llama.cpp 是用纯 C/C++ 重写 LLaMA 推理的项目，如今已成为本地 LLM 推理的事实标准，支持 1.5bit~8bit 量化、Apple Silicon 硬件加速、CUDA/ROCm/Vulkan 多后端，无需任何依赖即可在任意设备运行百亿参数模型。</p>https://txtmix.com/posts/wealth/local-ai-money-making-guide/Mon, 11 May 2026 08:50:00 +0800https://txtmix.com/posts/wealth/local-ai-money-making-guide/<blockquote> <p>本文不构成投资建议。本文讨论的是产品思路和商业模型，文中提到的案例与观点均来自公开资料，热度数据以 2026 年 5 月 11 日抓取结果为准。</p></blockquote> <hr> <h2 id="这篇-hn-热帖重点不在本地模型万岁">这篇 HN 热帖，重点不在“本地模型万岁”</h2> <p>5 月 10 日，unix.foo 的文章 Local AI Needs to be the Norm 登上 Hacker News 首页。到我整理这篇文章时，讨论页大约有 518 分、248 条评论。原文里更值得拆开的，不是“本地模型已经全面追平云端”这种口号，而是另一句更有产品意义的判断：很多 AI 功能，本来只是应用里的一个小能力，却被做成了依赖外部模型、账单、日志留存和后端兜底的分布式系统。</p>https://txtmix.com/posts/tech/ghost-pepper-local-speech-to-text-macos-guide/Wed, 08 Apr 2026 08:35:00 +0800https://txtmix.com/posts/tech/ghost-pepper-local-speech-to-text-macos-guide/<h1 id="ghost-pepper14k-stars本地语音转文字">Ghost Pepper：1.4k Stars本地语音转文字</h1> <h2 id="项目概述">项目概述</h2> <p><strong>Ghost Pepper</strong>是一款macOS上的本地语音转文字工具，核心特点是<strong>100%本地运行</strong>，不依赖任何云端API。用户只需按住<code>Control</code>键说话，松开后即可自动将语音转录为文字并粘贴到任意文本框中。</p>https://txtmix.com/posts/tech/mlx-vlm-apple-silicon-vlm-inference-guide/Mon, 06 Apr 2026 17:30:00 +0800https://txtmix.com/posts/tech/mlx-vlm-apple-silicon-vlm-inference-guide/<h1 id="mlx-vlmapple-silicon-上的视觉语言模型推理与微调框架">MLX-VLM：Apple Silicon 上的视觉语言模型推理与微调框架</h1> <h2 id="学习目标">学习目标</h2> <p>通过本文，你将全面掌握以下核心能力：</p> <ul> <li>深入理解 MLX-VLM 的技术架构与设计理念</li> <li>掌握在 Mac 上安装、配置 MLX-VLM 的完整流程</li> <li>学会使用命令行界面、Python API、FastAPI 服务器等多种调用方式</li> <li>理解视觉特征缓存（Vision Feature Caching）的工作原理与性能优化</li> <li>掌握 TurboQuant KV Cache 量化技术实现更长上下文的方法</li> <li>学会使用 LoRA/QLoRA 对视觉语言模型进行微调</li> </ul> <hr> <h2 id="1-项目概述">1. 项目概述</h2> <h3 id="11-是什么">1.1 是什么</h3> <p><strong>MLX-VLM</strong> 是由 <a href="https://github.com/Blaizzy" target="_blank" rel="noopener noreffer ">Blaizzy Prince Canuma</a> 开发的一个开源项目，专注于在 Apple Silicon Mac 上使用 MLX 框架进行视觉语言模型（Vision Language Models，VLM）的推理和微调。</p>