https://txtmix.com/tags/eagle/Recent content in EAGLE on Text MatrixHugozh-cnTue, 21 Jul 2026 20:06:14 +0800https://txtmix.com/posts/tech/safe-ai-lab-eagle-speculative-decoding-guide/Sun, 28 Jun 2026 15:19:20 +0800https://txtmix.com/posts/tech/safe-ai-lab-eagle-speculative-decoding-guide/<h1 id="eagle--eagle-2--eagle-3基于特征外推的-llm-推测解码全栈指南">EAGLE / EAGLE-2 / EAGLE-3：基于特征外推的 LLM 推测解码全栈指南</h1> <h2 id="学习目标">学习目标</h2> <p>阅读本文后，你将能够：</p> <ol> <li>复述推测解码（speculative decoding）的两阶段范式，以及它&quot;无损失&quot;加速 LLM 自回归解码的数学基础。</li> <li>解释 EAGLE-1 的&quot;次顶层特征外推&quot;机制为什么比 Medusa 的&quot;多头并行预测&quot;更高效。</li> <li>描述 EAGLE-2 的&quot;动态草稿树&quot;（Dynamic Draft Tree）如何用 draft 模型置信度动态调整树结构。</li> <li>复述 EAGLE-3 的&quot;训练时测试&quot;（Training-Time Testing）以及低/中/高层语义特征融合策略。</li> <li>给出 EAGLE 与 Medusa、Lookahead、vanilla decoding 在 Vicuna-13B 上的速度对比范围与适用边界。</li> <li>列出 EAGLE 已被合并的主流推理框架（vLLM、SGLang、TensorRT-LLM、NeMo、MLC-LLM 等）。</li> </ol> <h2 id="目录">目录</h2> <ul> <li><a href="#1-%e9%a1%b9%e7%9b%ae%e5%ae%9a%e4%bd%8d%e4%b8%8e%e6%9c%80%e6%96%b0%e7%8a%b6%e6%80%81" rel="">1. 项目定位与最新状态</a> <ul> <li><a href="#11-%e6%98%af%e4%bb%80%e4%b9%88" rel="">1.1 是什么</a></li> <li><a href="#12-%e5%85%b3%e9%94%ae%e6%95%b0%e6%8d%ae%e6%88%aa%e8%87%b3-2026-06" rel="">1.2 关键数据（截至 2026-06）</a></li> <li><a href="#13-%e4%b8%89%e4%bb%a3%e6%bc%94%e8%bf%9b%e4%b8%80%e8%a7%88" rel="">1.3 三代演进一览</a></li> </ul> </li> <li><a href="#2-%e6%8e%a8%e6%b5%8b%e8%a7%a3%e7%a0%81%e5%9f%ba%e7%a1%80" rel="">2. 推测解码基础</a> <ul> <li><a href="#21-%e4%b8%a4%e9%98%b6%e6%ae%b5%e8%8c%83%e5%bc%8f" rel="">2.1 两阶段范式</a></li> <li><a href="#22-%e4%b8%ba%e4%bb%80%e4%b9%88%e8%83%bd%e6%97%a0%e6%8d%9f%e5%a4%b1" rel="">2.2 为什么能&quot;无损失&quot;</a></li> <li><a href="#23-%e6%8e%a5%e5%8f%97%e7%8e%87%e4%b8%8e%e5%8a%a0%e9%80%9f%e6%af%94%e7%9a%84%e5%85%b3%e7%b3%bb" rel="">2.3 接受率与加速比的关系</a></li> </ul> </li> <li><a href="#3-eagle-1%e7%89%b9%e5%be%81%e5%a4%96%e6%8e%a8feature-extrapolation" rel="">3. EAGLE-1：特征外推（Feature Extrapolation）</a> <ul> <li><a href="#31-%e6%a0%b8%e5%bf%83%e8%a7%82%e5%af%9f" rel="">3.1 核心观察</a></li> <li><a href="#32-%e8%ae%ad%e7%bb%83%e7%9b%ae%e6%a0%87" rel="">3.2 训练目标</a></li> <li><a href="#33-%e4%b8%8e-medusa-%e7%9a%84%e6%9c%ac%e8%b4%a8%e5%b7%ae%e5%bc%82" rel="">3.3 与 Medusa 的本质差异</a></li> </ul> </li> <li><a href="#4-eagle-2%e5%8a%a8%e6%80%81%e8%8d%89%e7%a8%bf%e6%a0%91dynamic-draft-tree" rel="">4. EAGLE-2：动态草稿树（Dynamic Draft Tree）</a> <ul> <li><a href="#41-%e9%9d%99%e6%80%81%e6%a0%91-vs-%e5%8a%a8%e6%80%81%e6%a0%91" rel="">4.1 静态树 vs 动态树</a></li> <li><a href="#42-%e6%8e%a5%e5%8f%97%e7%8e%87%e8%bf%91%e4%bc%bc" rel="">4.2 接受率近似</a></li> <li><a href="#43-%e6%a0%91%e6%b3%a8%e6%84%8f%e5%8a%9b%e5%ae%9e%e7%8e%b0" rel="">4.3 树注意力实现</a></li> </ul> </li> <li><a href="#5-eagle-3%e8%ae%ad%e7%bb%83%e6%97%b6%e6%b5%8b%e8%af%95%e4%b8%8e%e5%a4%9a%e5%b1%82%e7%89%b9%e5%be%81%e8%9e%8d%e5%90%88" rel="">5. EAGLE-3：训练时测试与多层特征融合</a> <ul> <li><a href="#51-%e8%ae%ad%e7%bb%83%e6%97%b6%e6%b5%8b%e8%af%95training-time-testing" rel="">5.1 训练时测试（Training-Time Testing）</a></li> <li><a href="#52-%e4%bd%8e%e4%b8%ad%e5%b1%82%e7%89%b9%e5%be%81%e8%9e%8d%e5%90%88" rel="">5.2 低/中/高层特征融合</a></li> <li><a href="#53-%e9%80%9f%e5%ba%a6%e6%9b%b2%e7%ba%bf" rel="">5.3 速度曲线</a></li> </ul> </li> <li><a href="#6-%e4%bb%bb%e5%8a%a1%e5%a6%82%e4%bd%95%e6%b5%81%e8%bf%87%e7%b3%bb%e7%bb%9f%e4%b8%80%e6%ac%a1-eagle-3-%e8%a7%a3%e7%a0%81" rel="">6. 任务如何流过系统：一次 EAGLE-3 解码</a></li> <li><a href="#7-%e4%b8%8e-medusalookahead-%e7%9a%84%e8%ae%be%e8%ae%a1%e5%8f%96%e8%88%8d" rel="">7. 与 Medusa、Lookahead 的设计取舍</a> <ul> <li><a href="#71-%e8%83%bd%e5%8a%9b%e7%9f%a9%e9%98%b5%e5%af%b9%e6%af%94" rel="">7.1 能力矩阵对比</a></li> <li><a href="#72-%e9%80%9f%e5%ba%a6%e6%95%b0%e5%ad%97%e4%b8%8e%e6%b5%8b%e9%87%8f%e6%9d%a1%e4%bb%b6" rel="">7.2 速度数字与测量条件</a></li> </ul> </li> <li><a href="#8-%e5%ae%89%e8%a3%85%e4%b8%8e%e6%8e%a8%e7%90%86" rel="">8. 安装与推理</a> <ul> <li><a href="#81-%e7%8e%af%e5%a2%83%e4%b8%8e%e6%9d%83%e9%87%8d" rel="">8.1 环境与权重</a></li> <li><a href="#82-web-ui-%e6%8e%a8%e7%90%86" rel="">8.2 Web UI 推理</a></li> <li><a href="#83-%e4%bb%a3%e7%a0%81%e5%86%85%e6%8e%a8%e7%90%86eagenerate" rel="">8.3 代码内推理（eagenerate）</a></li> <li><a href="#84-%e8%ae%ad%e7%bb%83-eagle-3" rel="">8.4 训练 EAGLE-3</a></li> </ul> </li> <li><a href="#9-%e4%b8%bb%e6%b5%81%e6%a1%86%e6%9e%b6%e9%9b%86%e6%88%90%e7%8a%b6%e6%80%81" rel="">9. 主流框架集成状态</a></li> <li><a href="#10-%e9%80%82%e7%94%a8%e8%be%b9%e7%95%8c%e4%b8%8e%e5%b7%b2%e7%9f%a5%e9%99%90%e5%88%b6" rel="">10. 适用边界与已知限制</a> <ul> <li><a href="#101-%e9%80%82%e5%90%88%e7%9a%84%e5%9c%ba%e6%99%af" rel="">10.1 适合的场景</a></li> <li><a href="#102-%e4%b8%8d%e9%80%82%e5%90%88%e7%9a%84%e5%9c%ba%e6%99%af" rel="">10.2 不适合的场景</a></li> <li><a href="#103-%e8%ae%ad%e7%bb%83--%e5%b7%a5%e7%a8%8b%e5%b7%b2%e7%9f%a5%e5%9d%91" rel="">10.3 训练 / 工程已知坑</a></li> </ul> </li> <li><a href="#11-%e9%87%87%e7%94%a8%e9%a1%ba%e5%ba%8f%e4%b8%8e%e5%86%b3%e7%ad%96%e5%bb%ba%e8%ae%ae" rel="">11. 采用顺序与决策建议</a></li> <li><a href="#12-%e5%b8%b8%e8%a7%81%e9%97%ae%e9%a2%98%e4%b8%8e%e6%8e%92%e6%9f%a5" rel="">12. 常见问题与排查</a></li> <li><a href="#13-%e5%bb%b6%e4%bc%b8%e9%98%85%e8%af%bb" rel="">13. 延伸阅读</a></li> </ul> <h2 id="1-项目定位与最新状态">1. 项目定位与最新状态</h2> <h3 id="11-是什么">1.1 是什么</h3> <p>EAGLE（Extrapolation Algorithm for Greater Language-model Efficiency）是 <a href="https://github.com/SafeAILab/EAGLE" target="_blank" rel="noopener noreffer ">SafeAILab/EAGLE</a> 维护的推测解码（speculative decoding）官方实现，由 Yuhui Li、Fangyun Wei、Chao Zhang、Hongyang Zhang 主导。它经历了三代演进：</p>