https://txtmix.com/tags/%E4%BB%8E%E9%9B%B6%E5%AE%9E%E7%8E%B0/Recent content in 从零实现 on Text MatrixHugozh-cnTue, 21 Jul 2026 20:06:14 +0800https://txtmix.com/posts/tech/fareedkhan-train-llm-from-scratch/Sun, 31 May 2026 10:15:00 +0800https://txtmix.com/posts/tech/fareedkhan-train-llm-from-scratch/<h2 id="学习目标">学习目标</h2> <p>读完这篇文章后，你应该能够：</p> <ol> <li>描述一套最小但完整的 Transformer 训练管线长什么样</li> <li>指出从 13M 到 2B 参数，不同规模模型的代码差异在哪里</li> <li>跟踪一次前向 + 反向传播在代码里实际流过哪些模块</li> <li>根据自己的 GPU 显存，判断能训多大规模的模型，以及应该从哪一步开始</li> </ol> <h2 id="目录">目录</h2> <p>| → | <a href="#%e9%a1%b9%e7%9b%ae%e9%80%9f%e8%a7%88" rel="">项目速览</a> | <a href="#%e7%b3%bb%e7%bb%9f%e6%80%bb%e8%a7%88" rel="">系统总览</a> | <a href="#%e9%a1%b9%e7%9b%ae%e6%a0%b8%e5%bf%83%e6%9e%b6%e6%9e%84" rel="">项目核心架构</a> | <a href="#%e4%b8%80%e6%ac%a1%e8%ae%ad%e7%bb%83%e6%ad%a5%e9%aa%a4%e5%a6%82%e4%bd%95%e6%b5%81%e8%bf%87%e7%b3%bb%e7%bb%9f" rel="">一次训练步骤如何流过系统</a> | <a href="#%e8%ae%ad%e7%bb%83%e6%b5%81%e7%a8%8b%e8%af%a6%e8%a7%a3" rel="">训练流程详解</a> | <a href="#%e7%94%9f%e6%88%90%e6%95%88%e6%9e%9c%e5%af%b9%e6%af%94" rel="">生成效果对比</a> | <a href="#%e9%80%82%e7%94%a8%e8%be%b9%e7%95%8c%e4%b8%8e%e9%87%87%e7%94%a8%e5%bb%ba%e8%ae%ae" rel="">适用边界与采用建议</a> | <a href="#%e5%b8%b8%e8%a7%81%e9%97%ae%e9%a2%98" rel="">常见问题</a> | <a href="#%e8%87%aa%e6%b5%8b" rel="">自测</a> | <a href="#%e5%bb%b6%e4%bc%b8%e9%98%85%e8%af%bb" rel="">延伸阅读</a> | <a href="#%e8%bf%9b%e9%98%b6%e8%b7%af%e5%be%84" rel="">进阶路径</a> |</p>