PPO on Text Matrix

The Little Book of RL：从零到 PPO 的 CleanRL 风格实现解析

Wed, 15 Jul 2026 21:27:31 +0800

The Little Book of RL：从零到 PPO 的 CleanRL 风格实现解析

仓库：alxndrTL/little-book-rl 配套书 PDF：book.pdf — 21MB / V1 (June 2026) 作者：Thomas Lew / 471 stars / CC BY-SA 4.0 (non-commercial) 配套实现：6 个文件，~80KB，覆盖 9 个 RL 算法

Hands-on Modern RL：一站式现代强化学习全栈指南

Sun, 31 May 2026 14:42:07 +0800

学习目标

读完本文后，你应该能够：

理解 Hands-on Modern RL 的课程定位：它把经典 RL（Sutton 路线）和大模型 RL（RLHF → GRPO → Agentic RL）统一在同一个框架下
对照四大部分（基础、核心理论、大模型 RL、前沿专题）判断自己应该从哪章开始读
解释 PPO clipping 和 GAE 的协同关系——一个防策略崩塌，一个降回报估计方差
区分 RLHF、DPO、GRPO、RLVR 各自解决了什么问题、又在什么场景下会互相替代
为自己或团队制定一个分角色（入门者 / 大模型工程师 / 研究者）的学习计划

目录

谁在做这件事
课程的整体结构
附录的设计
这门课的几个设计细节
怎么用这个课程
和同类资源的对比
常见问题（FAQ）
自检测试
练习
进阶路径

2022 年 ChatGPT 诞生之后，RLHF（Reinforcement Learning from Human Feedback）从学术概念变成了普通开发者也能实践的工程方法。随后两年，PPO、DPO、GRPO、R1-Zero、RLVR 等后训练范式陆续登场，每一个都在重新定义"模型应该怎么教"。