https://txtmix.com/categories/ai%E5%9F%BA%E7%A1%80%E8%AE%BE%E6%96%BD/Recent content in AI基础设施 on Text MatrixHugozh-cnThu, 23 Jul 2026 03:05:08 +0800https://txtmix.com/posts/tech/building-the-future-of-agentic-infrastructure/Mon, 13 Jul 2026 21:55:00 +0800https://txtmix.com/posts/tech/building-the-future-of-agentic-infrastructure/<h2 id="一句话判断">一句话判断</h2> <p><strong>Anthropic 正在把 agent 当作新型操作系统来设计。</strong> 7-11 上线的 30 分钟 keynote &ldquo;Building the future of agentic infrastructure&rdquo; 不只是产品宣传，它配套发了 <a href="https://www.anthropic.com/engineering/managed-agents" target="_blank" rel="noopener noreffer ">Scaling Managed Agents</a>（2026-04-08）这篇工程博客，里面把 session / harness / sandbox 拆成了三个独立可替换的抽象层——这套路和 60 年前操作系统用 <code>process</code> / <code>file</code> 抽象来虚拟化硬件是一样的。</p>https://txtmix.com/posts/tech/colibri-744b-moe-on-25gb-ram-pure-c-engine/Mon, 13 Jul 2026 21:55:00 +0800https://txtmix.com/posts/tech/colibri-744b-moe-on-25gb-ram-pure-c-engine/<h2 id="一句话判断">一句话判断</h2> <p><strong>colibrì（<a href="https://github.com/JustVugg/colibri" target="_blank" rel="noopener noreffer ">JustVugg/colibri</a>）是当下把&quot;小内存跑大模型&quot;这件事做到工程极限的开源项目</strong>：单文件 <code>c/glm.c</code> 3775 行 + 一组 ~30KB 的 headers，纯 C + OpenMP + AVX2/NEON，零 Python 运行时依赖，在 12 核 + 25GB RAM 的笔记本上把 744B 参数的 GLM-5.2（每 token 激活 ~40B）跑起来——而且在 6× RTX 5090 满配机器上，它达到 <strong>6.28-6.84 tok/s 单请求解码</strong>，比同期 vLLM-Moet TP4 的 2.5-2.7 tok/s 快 <strong>2.5 倍</strong>（<a href="https://github.com/JustVugg/colibri/blob/main/docs/experiments/glm52-6x5090-2026-07-12.md" target="_blank" rel="noopener noreffer ">仓库 docs/experiments/glm52-6x5090-2026-07-12.md</a> 实测）。</p>