Colibri on Text Matrixhttps://txtmix.com/tags/colibri/Recent content in Colibri on Text MatrixHugozh-cnTue, 21 Jul 2026 20:06:14 +0800colibrì 引擎拆解：在 25GB RAM 上跑 744B MoE 模型，纯 C 实现，比 vLLM-Moet 快 2.5 倍https://txtmix.com/posts/tech/colibri-744b-moe-on-25gb-ram-pure-c-engine/Mon, 13 Jul 2026 21:55:00 +0800https://txtmix.com/posts/tech/colibri-744b-moe-on-25gb-ram-pure-c-engine/<h2 id="一句话判断">一句话判断</h2> <p><strong>colibrì（<a href="https://github.com/JustVugg/colibri" target="_blank" rel="noopener noreffer ">JustVugg/colibri</a>）是当下把&quot;小内存跑大模型&quot;这件事做到工程极限的开源项目</strong>：单文件 <code>c/glm.c</code> 3775 行 + 一组 ~30KB 的 headers，纯 C + OpenMP + AVX2/NEON，零 Python 运行时依赖，在 12 核 + 25GB RAM 的笔记本上把 744B 参数的 GLM-5.2（每 token 激活 ~40B）跑起来——而且在 6× RTX 5090 满配机器上，它达到 <strong>6.28-6.84 tok/s 单请求解码</strong>，比同期 vLLM-Moet TP4 的 2.5-2.7 tok/s 快 <strong>2.5 倍</strong>（<a href="https://github.com/JustVugg/colibri/blob/main/docs/experiments/glm52-6x5090-2026-07-12.md" target="_blank" rel="noopener noreffer ">仓库 docs/experiments/glm52-6x5090-2026-07-12.md</a> 实测）。</p>