https://txtmix.com/tags/ai-%E5%BC%80%E5%8F%91/Recent content in AI 开发 on Text MatrixHugozh-cnWed, 22 Jul 2026 11:04:01 +0800https://txtmix.com/posts/tech/ollama-local-llm-guide/Mon, 06 Apr 2026 22:18:00 +0800https://txtmix.com/posts/tech/ollama-local-llm-guide/<h2 id="学习目标">学习目标</h2> <p>读完本文并完成配套练习后，你将能够：</p> <ul> <li>解释 Ollama 的架构定位：它解决了什么问题，以及它的能力边界在哪里</li> <li>针对你的硬件配置（内存大小、是否有 GPU）选择合适的模型尺寸</li> <li>理解 Modelfile 里每个参数的实际影响——不只是默认值，而是「调大/调小会发生什么」</li> <li>判断什么时候用 Ollama 的 API 就够了，什么时候需要换用 vLLM 或云 API</li> <li>在生产环境中部署 Ollama，包括安全配置、性能监控和故障恢复</li> </ul> <hr> <h2 id="阅读导航">阅读导航</h2> <ul> <li>想直接跑起来 → 跳到 <code>§2 安装与快速开始</code></li> <li>想理解「为什么要在本地跑 LLM」→ 重点看 <code>§1 核心动机</code></li> <li>想搞清楚 temperature、top_p 这些参数到底在控制什么 → 重点看 <code>§4 Modelfile 与参数调优</code></li> <li>想用 Ollama 做开发（API、LangChain 集成） → 重点看 <code>§5 OpenAI 兼容 API 与开发集成</code></li> <li>想判断 Ollama 是否适合你的项目 → 重点看 <code>§8 采用建议</code></li> </ul> <hr> <h2 id="1-核心动机为什么要在本地跑-llm">§1 核心动机：为什么要在本地跑 LLM</h2> <h3 id="11-云服务的问题">1.1 云服务的问题</h3> <p>2026 年，大多数开发者第一次接触 LLM 是通过云 API（OpenAI、Anthropic、Google）。云 API 的优点很明显：开箱即用，不需要管基础设施。但它有几个结构性的问题：</p>