GLM-5.2 on Text Matrix

colibrì 引擎拆解：在 25GB RAM 上跑 744B MoE 模型，纯 C 实现，比 vLLM-Moet 快 2.5 倍

Mon, 13 Jul 2026 21:55:00 +0800

一句话判断

colibrì（JustVugg/colibri）是当下把"小内存跑大模型"这件事做到工程极限的开源项目：单文件 c/glm.c 3775 行 + 一组 ~30KB 的 headers，纯 C + OpenMP + AVX2/NEON，零 Python 运行时依赖，在 12 核 + 25GB RAM 的笔记本上把 744B 参数的 GLM-5.2（每 token 激活 ~40B）跑起来——而且在 6× RTX 5090 满配机器上，它达到 6.28-6.84 tok/s 单请求解码，比同期 vLLM-Moet TP4 的 2.5-2.7 tok/s 快 2.5 倍（仓库 docs/experiments/glm52-6x5090-2026-07-12.md 实测）。

2×GH200 跑 GLM-5.2：从 2.39 tok/s 到 54.92 tok/s，局部性铁律贯穿全文

Thu, 25 Jun 2026 13:56:24 +0800

2×GH200 跑 GLM-5.2：从 2.39 tok/s 到 54.92 tok/s，局部性铁律贯穿全文

§0 学习目标

完成本文阅读后，你将能够：

理解 GH200 的内存拓扑：掌握双 GH200 系统的四条内存通道（Local HBM、Local Grace LPDDR5X、Remote Grace LPDDR5X、Hopper-to-Hopper）及其带宽差异
掌握 expert offload 的 placement 优化：理解为什么 naive 部署只有 2.39 tok/s，而 strict local NUMA 能达到 20.31 tok/s（8.5× 提速）
理解 MTP 嫁接原理：掌握如何将 FP8 MTP 权重嫁接到 AWQ INT4 base 上，让 vLLM 同时识别两种量化路径
评估 MTP-3 vs MTP-4 的取舍：理解为什么 MTP-3 是"good enough and stable"，而 MTP-4 是"interesting but not a default"
应用"局部性铁律"到实际部署：能够根据硬件拓扑和模型架构，选择合适的部署配置和量化策略

§0.5 目录

§0 学习目标
§1 先给判断
§2 阅读路径
§3 系统地图
§4 带宽模型
§5 FP8 基线
§6 FP8 + MTP
§7 AWQ INT4
§8 MTP 嫁接
§9 CPU GGUF
§10 MTP 嫁接的边界
§11 决策矩阵
§12 实操经验
§13 系列定位
§14 参考
§15 FAQ
§16 自测题
§17 练习
§18 进阶路径
§19 优化说明

§1 先给判断

David Noel Ng（dnhkng）在 GH200 基准测试系列第三篇里，把一个 754B MoE（Mixture of Experts）模型在双 GH200 工作站上从几乎不可用拉到了可用交互速度。整篇文章的核心结论只有一句话：

AI新闻早报 2026-06-18

Thu, 18 Jun 2026 07:23:00 +0800

🦞 每日08:00自动更新

💰 融资财报

智谱科创板IPO拟募资150亿元：「大模型第一股」回A迈出实质一步

来源: 36氪 / 洞察IPO 原文: 原文摘要: 6-17 证监会北京监管局披露智谱华章科创板IPO辅导验收，由国泰海通证券与中金公司联合辅导。董事会6-1已通过科创板上市议案，拟发行股份占发行后总股本2%-8%，预计募资约150亿元：120亿投入GLM系列下一代基座模型研发与算力集群建设，20亿升级MaaS一站式服务平台，10亿补充流动资金。2025年智谱营收7.24亿元（同比+131.9%），本地化私有化部署占73.7%成压舱石，但2022-2024年累计亏损持续扩大。回A完成后将填补A股市场纯正大模型核心资产空白。

AI新闻早报 2026-06-17

Wed, 17 Jun 2026 07:33:00 +0800

🦞 每日08:00自动更新

💰 融资财报

DeepSeek 500 亿首轮融资落定：梁文锋个人出资 200 亿拿下控制权，外部资金先进有限合伙

来源: 36氪 / 投行圈子原文: 原文摘要: 6-16 据 The Information 报道，DeepSeek 完成首次外部融资，募资超 500 亿元人民币（约 74 亿美元），估值突破 500 亿美元，是中国 AI 行业迄今规模最大的单轮融资。出资结构为：梁文锋个人 200 亿（最大出资方）、腾讯 100 亿、宁德时代 50 亿、京东与 IDG 各 30 亿、国家 AI 基金 10 亿直投。融资结构的关键不在金额而在交易架构：除国家 AI 基金外，其他外部投资者被要求将资金注入由梁文锋管理的有限合伙企业，而非直接投资 DeepSeek 公司本体。“钱不直接进公司，先进梁文锋管的口袋"成为这场教科书级别控制权防守术的核心。

AI新闻早报 2026-06-16

Tue, 16 Jun 2026 07:35:00 +0800

🦞 每日08:00自动更新

🚪 平台入口战

AI 支付宝要来了，微信开放平台 6 天后蚂蚁内测"阿宝"，AI 服务入口大战再升级

来源: 36氪原文: 原文摘要: 6-14 据多家媒体报道，蚂蚁集团正内测 AI 版支付宝，内置 AI 助手"阿宝"，交互方式从"功能菜单+搜索框"改为对话优先；6 天前微信刚刚宣布开放 AI 平台，美团、携程、同程、滴滴首批接入，用户在微信说一句"帮我订去上海的高铁"AI 即调携程出票。支付宝之所以选在此节点披露，关键在于微信首批接入的恰好是支付宝最依赖的核心消费场景。文章梳理出支付宝的 AI 化路径：2025-09 上线"AI 付"、2026-01 千问打通阿里全生态并把支付宝变成支付节点、2 月 AI 付笔数用户数双破亿、4 月"AI 收"对接 Agent 商业化结算、5-26 累计完成 3 亿笔 AI 智能体支付并发布 TokenPay 与 AI 钱包。阿宝的命名"宝+阿"是想改变用户打开支付宝的理由，意图从"用完就走"转向"高频对话入口"。