https://txtmix.com/tags/%E6%8E%A8%E7%90%86%E6%9C%8D%E5%8A%A1%E5%99%A8/Recent content in 推理服务器 on Text MatrixHugozh-cnSat, 23 May 2026 08:55:34 +0800https://txtmix.com/posts/tech/omlx-apple-silicon-llm-inference-server/Mon, 11 May 2026 13:10:00 +0800https://txtmix.com/posts/tech/omlx-apple-silicon-llm-inference-server/<blockquote> <p>&ldquo;我试过的每个 LLM 服务器都要我在便利性和控制性之间二选一。我想把常用模型常驻内存，把重的模型自动 swap 到 SSD，还能设置上下文限制——全部从菜单栏管理。这就是我造 oMLX 的原因。&rdquo;</p>