Hopper on Text Matrix

2×GH200 跑 GLM-5.2：从 2.39 tok/s 到 54.92 tok/s，局部性铁律贯穿全文

Thu, 25 Jun 2026 13:56:24 +0800

2×GH200 跑 GLM-5.2：从 2.39 tok/s 到 54.92 tok/s，局部性铁律贯穿全文

§0 学习目标

完成本文阅读后，你将能够：

理解 GH200 的内存拓扑：掌握双 GH200 系统的四条内存通道（Local HBM、Local Grace LPDDR5X、Remote Grace LPDDR5X、Hopper-to-Hopper）及其带宽差异
掌握 expert offload 的 placement 优化：理解为什么 naive 部署只有 2.39 tok/s，而 strict local NUMA 能达到 20.31 tok/s（8.5× 提速）
理解 MTP 嫁接原理：掌握如何将 FP8 MTP 权重嫁接到 AWQ INT4 base 上，让 vLLM 同时识别两种量化路径
评估 MTP-3 vs MTP-4 的取舍：理解为什么 MTP-3 是"good enough and stable"，而 MTP-4 是"interesting but not a default"
应用"局部性铁律"到实际部署：能够根据硬件拓扑和模型架构，选择合适的部署配置和量化策略

§0.5 目录

§0 学习目标
§1 先给判断
§2 阅读路径
§3 系统地图
§4 带宽模型
§5 FP8 基线
§6 FP8 + MTP
§7 AWQ INT4
§8 MTP 嫁接
§9 CPU GGUF
§10 MTP 嫁接的边界
§11 决策矩阵
§12 实操经验
§13 系列定位
§14 参考
§15 FAQ
§16 自测题
§17 练习
§18 进阶路径
§19 优化说明

§1 先给判断

David Noel Ng（dnhkng）在 GH200 基准测试系列第三篇里，把一个 754B MoE（Mixture of Experts）模型在双 GH200 工作站上从几乎不可用拉到了可用交互速度。整篇文章的核心结论只有一句话：