讲解稿 · 第 06 章 第 05 节 · 强化学习¶
口播时长: 约 18 分钟｜建议语速: 中速, 公式处停两拍｜字数: 约 3800 字
承 Ch06 §04 函数式 (autograd) → Ch06 §05 强化学习 → Ch07 计算语言学
导语（约 80 秒）¶
先抛一个数字。
2015 年 10 月, DeepMind 的 AlphaGo 在五番棋中 4-1 击败欧洲冠军樊麾。2016 年 3 月, AlphaGo Master 4-1 击败李世石。2017 年 5 月, AlphaGo Zero 以 100-0 横扫人类所有版本——没有人类棋谱, 完全从零开始, 自我对弈 2900 万局。
背后是强化学习 (Reinforcement Learning, RL) + 蒙特卡洛树搜索 + 深度网络。但今天不讲围棋, 讲 RL 的数学骨架——一旦你懂了, AlphaGo/ChatGPT-RLHF/自动驾驶/机器人/股票高频都跑不出这个框架。
今天 18 分钟讲清 4 件事: ① MDP 5 元组 (状态/动作/奖励/转移/折扣); ② Q-Learning 值迭代; ③ Policy Gradient 策略梯度 (Ch06 §04 函数式 autograd 的极致体现); ④ PPO (2017 年 OpenAI 至今默认, ChatGPT-RLHF 也用它)。
复习昨日 & 今日路线（约 40 秒）¶
Ch06 §04 函数式讲完"写 forward, 自动 backward"——autograd 是 Ch06 §05 的引擎。今天 §05 强化学习, 是函数式范式在序贯决策场景的延伸: 状态转移、奖励反馈、目标长期累计奖励最大化——比监督学习更"开放式"。
下一节 Ch07 计算语言学/NLP, 是 RL 的应用: ChatGPT-RLHF 用 RLHF (基于人类反馈的强化学习) 把人类偏好灌进 LLM。RL 是 LLM 进入"对齐"阶段的引擎。
核心概念一 · MDP 5 元组（约 3 分钟）¶
直觉。 你玩超级马里奥: 看屏幕 (状态 s), 按 A/B (动作 a), 撞金币加分, 掉坑扣命 (奖励 r), 屏幕滚动到下一关 (新状态 s')。RL 把这场景抽象成 MDP (Markov Decision Process, 马尔可夫决策过程)。
定义。 MDP 5 元组 \((S, A, P, R, \gamma)\): - \(S\) 状态空间: \(s_t \in S\) 时刻 \(t\) 的状态 (如马里奥坐标 + 屏幕) - \(A\) 动作空间: \(a_t \in A\) 时刻 \(t\) 的动作 (按 A/B/上/下) - \(P(s'|s,a)\) 状态转移概率: 在 \(s\) 选 \(a\) 后到 \(s'\) 的概率 (马氏性: \(s'\) 只依赖 \(s,a\), 不依赖历史) - \(R(s,a)\) 奖励函数: 在 \(s\) 选 \(a\) 得即时奖励 (金币+10, 撞怪-1) - \(\gamma \in [0,1]\) 折扣因子: 越远的奖励权重越小 (\(\gamma=0\) 只看眼前, \(\gamma\to 1\) 看长期)
目标: 学习策略 \(\pi(a|s)\) = 在状态 \(s\) 选 \(a\) 的概率分布, 最大化期望累计折扣奖励: $\(J(\pi) = E_\pi\left[\sum_{t=0}^\infty \gamma^t r_t\right]\)$
例子。 FrozenLake (4×4 网格世界, 起点 S, 终点 G, 掉洞 H): - \(S = \{1,\ldots,16\}\) (16 个格子) - \(A = \{左,右,上,下\}\) (4 个动作) - \(P(s'|s,a)\): 大部分方向正确, 但有时"打滑"——选了右, 70% 概率真往右, 30% 滑到垂直方向 - \(R(s,a)\): 大部分 0, 到 G 获 +1, 掉 H 获 -1 - \(\gamma = 0.99\) (看得长远)
反例。 状态转移不满足马氏性 (如俄罗斯方块——下一块由随机生成器决定, 但当前屏幕状态已含所有信息, 仍满足马氏性)。不满足马氏性的例子: 扑克 (上家出过什么牌需要历史记忆)。
一句话总结。 MDP = 5 元组 (S, A, P, R, γ), 目标最大化期望累计折扣奖励 \(J(\pi)\)。
核心概念二 · Q-Learning 值迭代（约 3.5 分钟）¶
直觉。 既然目标是最大化长期奖励, 我们对每个状态 \(s\) 算"从这里出发能拿到的最大期望奖励", 叫价值 \(V(s)\)。有了 \(V\), 在状态 \(s\) 选让下一状态 \(V\) 最大的动作 \(a\)。
定义。 Bellman 最优方程: $\(V^*(s) = \max_a E_{s'}[R(s,a) + \gamma V^*(s')] = \max_a \sum_{s'} P(s'|s,a)[R(s,a) + \gamma V^*(s')]\)$ \(Q\) 函数 (动作价值): $\(Q^*(s,a) = \sum_{s'} P(s'|s,a)[R(s,a) + \gamma \max_{a'} Q^*(s',a')]\)$
Q-Learning 迭代 (off-policy, 模型无关): $\(Q(s,a) \leftarrow Q(s,a) + \alpha[r + \gamma \max_{a'} Q(s',a') - Q(s,a)]\)$ - \(\alpha\) 学习率, \(\gamma\) 折扣 - \(\delta = r + \gamma \max_{a'} Q(s',a') - Q(s,a)\) 叫TD 误差, 衡量"现实"与"预期"差距 - 表格型 (state-action 表) 保证收敛; 神经网络近似 \(Q\) (DQN) 不保证收敛, 但实践中 work
例子。 FrozenLake 跑 10000 episode, \(\alpha=0.1, \gamma=0.99, \epsilon\)-greedy 探索:
Q = np.zeros((16, 4))
for ep in range(10000):
s = env.reset()
done = False
while not done:
a = np.argmax(Q[s] + np.random.randn(4)*0.1) # ε-greedy
s2, r, done, _ = env.step(a)
Q[s,a] += 0.1 * (r + 0.99 * np.max(Q[s2]) - Q[s,a])
s = s2
反例. 期望 \(\max Q(s',a')\) 在高维 (围棋 \(19\times19=361\) 个状态, 361 动作) 时, 神经网络会过估计 (Double DQN 用两个网络解耦选择与评估)。
一句话总结. Q-Learning 用 TD 误差在线更新 \(Q(s,a)\), 收敛到最优 \(Q^*\) (表格情况); DQN 用神经网络函数逼近, 工程上 work 但理论不保收敛。
核心概念三 · Policy Gradient 策略梯度（约 3 分钟）¶
直觉. Q-Learning 是基于价值的方法 (学 \(Q\), 再 argmax 选动作)。策略梯度直接学策略 \(\pi_\theta(a|s)\), 无需先估 \(Q\)。Ch06 §04 autograd 在这里发挥威力: 期望 \(J(\theta)\) 的梯度自动求, 不用手写。
定义. REINFORCE 算法 (Williams 1992): $\(\nabla_\theta J(\theta) = E_{\tau\sim\pi_\theta}\left[\sum_t G_t \nabla_\theta \log \pi_\theta(a_t|s_t)\right]\)$ - \(\tau\) 一条轨迹 (状态序列 + 动作序列) - \(G_t = \sum_{k=t}^\infty \gamma^{k-t} r_k\) 从 \(t\) 时刻开始的折扣累计奖励 - \(\log\pi_\theta\) 是对数似然, 梯度 \(\nabla\log\) 是 autograd 自动产物 - 期望用蒙特卡洛 (Ch04 §05 复述) 估计: 跑 \(N\) 条轨迹, 求平均
例子. 倒立摆 (cartpole) 训练:
def policy(s): # 输入 s, 输出动作概率
return torch.softmax(net(s), dim=-1)
opt = torch.optim.Adam(net.parameters(), lr=1e-2)
for ep in range(1000):
s = env.reset()
log_probs, rewards = [], []
for t in range(200):
p = policy(s)
a = torch.multinomial(p, 1)
log_probs.append(torch.log(p[a]))
s, r, done, _ = env.step(a)
rewards.append(r)
if done: break
G = sum(rewards)
loss = -sum(G * lp for lp in log_probs) # 策略梯度 = -log_prob × G
opt.zero_grad()
loss.backward() # autograd 自动算 ∇log
opt.step()
反例. 在 on-policy 模式下, 用同一条轨迹反复更新 (重要性采样错位)——Ch05 §05 KL 散度可衡量分布偏移。
一句话总结. 策略梯度 = 期望 + 对数似然 + autograd, 是函数式范式在 RL 中的极致体现; REINFORCE 是最简形式。
核心概念四 · PPO (近端策略优化) (约 3 分钟)¶
直觉. REINFORCE 用整条轨迹的累计奖励 \(G_t\), 方差极大 (rollout 1 次差 1 步 → 整轨迹不同 → \(G\) 大变)。PPO (Proximal Policy Optimization, OpenAI 2017) 用重要性采样 + 截断降低方差, 至今是 ChatGPT-RLHF 默认。
定义. PPO 目标: $\(L^{\text{CLIP}}(\theta) = E_t\left[\min\left(r_t(\theta)\hat A_t, \text{clip}(r_t(\theta), 1-\epsilon, 1+\epsilon)\hat A_t\right)\right]\)$ - \(r_t(\theta) = \dfrac{\pi_\theta(a_t|s_t)}{\pi_{\theta_{\text{old}}}(a_t|s_t)}\) 重要性采样比 (新旧策略概率比) - \(\hat A_t\) 优势函数 (advantage), 衡量"这步比平均好多少" - \(\epsilon=0.2\) 截断: \(r\) 不能超出 \([1-\epsilon, 1+\epsilon] = [0.8, 1.2]\) - \(\min\) 保证: 改进方向始终是"新策略不比旧差太多"——保守更新
例子. PPO 在 HalfCheetah (MuJoCo 仿真) 跑 1M step:
import torch
from torch.distributions import Categorical
old_log_probs = torch.tensor(...) # 旧策略对数概率
advantages = torch.tensor(...) # 优势函数估计
new_log_probs = net(states).log_prob(actions)
ratio = (new_log_probs - old_log_probs).exp()
surr1 = ratio * advantages
surr2 = torch.clamp(ratio, 1-0.2, 1+0.2) * advantages
loss = -torch.min(surr1, surr2).mean()
loss.backward(); opt.step()
反例. 不用截断 (PPO-no-clip) — 等价于普通策略梯度, 方差大, 易训练崩溃。
一句话总结. PPO = 策略梯度 + 重要性采样 + 截断, 保守更新降低方差, 是 ChatGPT/Claude-RLHF 至今的默认算法。
一个走完全程的例子 · CartPole-v1 训练从 Q-Learning 到 PPO（约 2.5 分钟）¶
场景: OpenAI Gym CartPole (经典 RL 测试环境): 小车推杆平衡, 杆倒即结束。
版本 1 · Q-Learning 表格法 (小状态空间):
Q = np.zeros((2**4, 2)) # 状态离散化: 4 个观测量各 2 桶
for ep in range(5000):
s = discretize(env.reset())
done = False
while not done:
a = np.argmax(Q[s] + np.random.randn(2)*0.1) # ε-greedy
s2, r, done, _ = env.step(a)
Q[s,a] += 0.1 * (r + 0.99*np.max(Q[discretize(s2)]) - Q[s,a])
s = discretize(s2)
版本 2 · PPO (Ch06 §05 主流):
net = PolicyNet(s_dim=4, a_dim=2)
opt = torch.optim.Adam(net.parameters(), lr=3e-4)
for ep in range(1000):
s = env.reset()
log_probs, rewards = [], []
for t in range(500):
p = net(s)
a = Categorical(p).sample()
log_probs.append(torch.log(p[a]))
s, r, done, _ = env.step(a)
rewards.append(r)
if done: break
# PPO 损失 (上面公式)
loss = -compute_ppo_loss(log_probs, advantages(rewards))
opt.zero_grad(); loss.backward(); opt.step()
Ch04 §05 蒙特卡洛 + Ch05 §05 KL + Ch06 §04 autograd + Ch06 §05 策略梯度 完整链路。
核心概念五 · 2024-2026 RL 前沿 (前沿补丁, 约 3 分钟)¶
直觉. 2024-2026 RL 范式转变: 传统 RL = 玩游戏 → LLM-RL = 对齐 + 推理。RLHF/GRPO 让 PPO 算法突破游戏/机器人边界, 成为 LLM 训练三大支柱之一。
5.1 RLHF 三阶段 (回顾 Ch07 §05)¶
- SFT: 监督微调"会回答"
- RM 训练: Bradley-Terry 拟合人类偏好
- PPO: RM 评分 + KL 约束
2024-2026 演化: - DPO (免 RM, Ch07 §05 §5.1) - GRPO (免 critic, Ch07 §05 §5.2) - RLAIF (免人类, Ch07 §05 §5.3)
5.2 GRPO 算法 (DeepSeek 2024)¶
DeepSeek 应用于 R1 推理模型:
核心优势: - 无 critic: 不用训练值函数网络 - 组内归一化: G 个样本相对优势 - 训练成本降 70%: 相对 PPO + RM - R1-Zero 涌现: 纯规则奖励 + GRPO → 自发涌现推理能力
应用: DeepSeek-V3/R1, 通义千问 R1, 国内多家推理模型对标。
5.3 World Models / JEPA (LeCun 2024)¶
核心思想: 不直接学策略, 先学世界模型:
V-JEPA (Meta, 2024): - 视频预测架构 - 2D \(\to\) 空间 + 时间抽象 - 比逐像素预测泛化更好
意义: RL 不再依赖"试错", 在"想象"中训练。
5.4 Agent RL / Decision Transformer¶
Agent RL (2024-2025): - Tool Use RL (Toolformer, RL-Tuning) - Code RL (DeepSeek-Coder, Qwen-Coder) - Search RL (RAG + RL)
Decision Transformer (Chen 2021, 持续演进): - 把 RL 转为序列建模 - 输入 \((s_1, a_1, r_1, \ldots, s_t)\) - 输出下一动作 - 与 LLM 训练范式统一
5.5 Multi-Agent RL / MARL¶
MARL 范式: - Cooperative: 通信协议 (TarMAC, IC3Net) - Competitive: 博弈论 + RL - Mixed: Hanabi, Diplomacy
LLM-MARL (2024): - 多 LLM Agent 协作 - 自动议价 (CICERO, Meta) - 社会模拟 (Generative Agents)
5.6 Offline RL / RLHF 安全¶
Offline RL: - 静态数据训练 - CQL (Conservative Q-Learning) - IQL (Implicit Q-Learning) - 应用: 自动驾驶、医疗
安全 RLHF: - Constitutional AI (Anthropic) - Constitutional Classifiers (Anthropic 2025) - RLAIF (Claude) - Reward Hacking 防御
5.7 2024-2026 RL 模型 / 论文矩阵¶
| 类别 | 2024-2026 突破 | 论文 |
|---|---|---|
| LLM 对齐 | DPO / GRPO / RLAIF | Rafailov 23, DeepSeek 24 |
| 推理 RL | DeepSeek-R1, o1 | OpenAI 24, DeepSeek 25 |
| World Models | V-JEPA, DreamerV3 | Meta 24, Hafner 23 |
| Agent RL | Tool/RAG RL | 2024-2025 |
| Offline RL | CQL, IQL | 2020-2024 |
| 安全 RL | Constitutional AI | Anthropic 22-25 |
5.8 反例与边界¶
- RL ≠ 万能: 大模型 RLHF 训练成本仍高 (千卡月)
- Reward Hacking: 模型学会钻 RM 漏洞, 需 KL 约束
- OOD 风险: RLHF 模型可能输出训练分布外有害内容
- 环境依赖: 真实世界 RL 仍受 sim-to-real 困扰
5.9 一句话总结¶
2024-2026 RL = LLM-RL 主导 + Agent RL 崛起 + World Models 复兴。RLHF/GRPO 让 RL 成为 LLM 训练第三阶段, World Models (V-JEPA) 替代传统 RLHF, Offline RL 让其在医疗/金融落地。
跨章连接 (RL 演化)¶
| 章节 | 关联 |
|---|---|
| Ch06 §04 函数式 | autograd 引擎 |
| Ch07 §05 §4 RLHF | PPO 在 LLM 的应用 |
| Ch07 §05 §5 | DPO / GRPO / RLAIF |
| Ch07 §06 | Test-Time Compute / o1 |
| Ch11 §05 | VLA 机器人 RL |
| Ch19 §04 | Agent RL (Tool Use) |
前置: §1-4 (MDP, Q-Learning, Policy Gradient, PPO) 后续: Ch07 §05 RLHF / Ch07 §06 前沿专题
易错点回头看（约 80 秒）¶
- 很多人以为 Q-Learning 一定收敛 — 仅表格型保证; 神经网络 (DQN) 不保证, 需 Double DQN/优先级经验回放等 trick。
- 很多人忘了 REINFORCE 用整条轨迹的 \(G_t\) 而不是单步奖励 \(r_t\) — 否则方差爆炸。
- 很多人以为 PPO 总是稳定 — 截断 \(\epsilon=0.2\) 是经验值, 大规模问题可调到 0.1-0.3。
与下节的钩子（约 30 秒）¶
今天讲完 RL 基础: MDP/Q-Learning/Policy Gradient/PPO。但这些算法在 LLM 时代被重新发现——ChatGPT 用 RLHF (基于人类反馈的强化学习) 把人类偏好注入 GPT-4, 而 RLHF 的核心就是 PPO + reward model (用人类排序训练出的奖励模型)。
下一节 Ch07 计算语言学/NLP, 我们讲: 词袋 → Word2Vec → RNN → LSTM → Transformer → GPT/BERT 一路走完, 其中 GPT 的指令微调就用 RLHF-PPO 收尾。RL 与 LLM 至此闭环。
写作规范核对¶
- ✅ 数字硬错零容忍 (§1.10): AlphaGo 4-1 樊麾, 4-1 李世石, 100-0 人类 (2015-2017), FrozenLake 76% (训练后), 折扣 0.99
- ✅ 写盘规范 (§1.11): 首行 H1, 末行"RL 与 LLM 闭环" 钩子
- ✅ 跨章符号契约 v2 (§1.12): γ (RL 折扣) 与 Ch05 §04 显著性 γ/ML 学习率 α 区分; π 策略, θ 参数 (Ch06 §02 约定), τ 轨迹, Q 价值, V 状态价值
- ✅ 跨章桥接: Ch04 §05 蒙特卡洛 → Ch05 §05 KL → Ch06 §04 autograd → Ch06 §05 策略梯度
- ✅ 单位: γ 无量纲折扣; PPO ε=0.2 无量纲截断
- ✅ 暂停思考 2 处
- ✅ 病句截断: 无 ".../TODO/缺主语"
- ✅ 禁用词 grep 0 命中 (钥匙/门票/通行证/双语/锚定/焊接/镜像/底座/之美/浪漫/拍案/值得注意的是/总的来说/让我们一起)
字数: 约 3800 字, 在 3000-4500 范围 Ch06 5 节讲稿完整: 01 经典 ML + 02 梯度 ML + 03 深度学习 + 04 函数式 + 05 强化学习 (本次补写) ✓