跳转至

Ch21 对齐·安全·可解释性 · 复习大纲

目标: 80 分钟系统复习本章核心 受众: 已完成 Ch01-20 学习的学生 / 面试候选人 格式: 知识清单 + 重点公式 + 必会题

一、知识地图(6 大模块)

§01 对齐基础

  • 对齐定义: 模型目标与人类意图一致
  • Outer Alignment: 奖励函数正确
  • Inner Alignment: Mesa-Optimizer 不偏移
  • Goal Misgeneralization: 代理目标替代真实目标
  • Goodhart's Law 4 类型: Regress / Realignment / Causal / Adversarial
  • Corrigibility: 可纠正性

§02 训练范式

  • RLHF 3 阶段: 偏好数据 → RM → PPO+KL
  • DPO: Direct Preference Optimization, 闭式解
  • GRPO: DeepSeek-R1, 组内归一化
  • RLAIF: LLM 提供反馈
  • Constitutional AI: 20 条原则
  • PRM vs ORM: Process vs Outcome Reward

§03 攻击与防御

  • Prompt Injection: 覆盖系统 prompt
  • Jailbreak 5 手法: DAN / 多轮 / Base64 / 多语言 / 注入
  • 3 大防御: 输入清洗 / 输出审查 / Safety FT
  • Red Teaming: 主动探测漏洞
  • Backdoor / Data Poisoning: 训练数据被污染

§04 机制可解释性

  • Circuits: IOI 间接宾语识别
  • SAE: Sparse Autoencoder, Anthropic 2023
  • Logit Lens: nostalgebraist 2020
  • TransformerLens: 工业标准库
  • Activation Patching: 因果干预

§05 工具实战

  • TransformerLens: 10 万行代码
  • SAE Viewer: 可视化特征
  • GPT-2 行为解释: 案例研究

§06 AI 治理

  • EU AI Act: 2024-08 生效, 4 级风险
  • US AI Bill of Rights: 5 原则
  • Anthropic RSP: ASL-2/3/4
  • DeepMind FSF: 4 类风险
  • Scalable Oversight: Debate / Market / RRM

二、重点公式

Bradley-Terry 模型(偏好概率)

\[P(A \succ B) = \frac{e^{r_A}}{e^{r_A} + e^{r_B}}\]

Elo 更新

\[R_{\text{new}} = R_{\text{old}} + K(S - P_{\text{pred}})\]

RLHF 目标(PPO 简化)

\[\max_\pi \mathbb{E}[r(x,y)] - \beta \cdot \text{KL}(\pi \| \pi_{\text{SFT}})\]

DPO 目标

\[\mathcal{L}_{\text{DPO}} = -\log \sigma \left( \beta \log \frac{\pi_\theta(y_w|x)}{\pi_{\text{ref}}(y_w|x)} - \beta \log \frac{\pi_\theta(y_l|x)}{\pi_{\text{ref}}(y_l|x)} \right)\]

三、必会题(15 题)

  1. Outer vs Inner Alignment 区别?
  2. RLHF 3 阶段各自目的?
  3. DPO 与 RLHF 的本质区别?
  4. GRPO 为何能去 Critic?
  5. Jailbreak 5 手法 + 防御?
  6. SAE 工作原理?稀疏度约束?
  7. Logit Lens 如何解码中间层?
  8. EU AI Act 4 级风险划分?
  9. Anthropic RSP 的 ASL 含义?
  10. Scalable Oversight 3 方法?
  11. Prompt Injection vs Jailbreak?
  12. PRM 相对 ORM 的优势?
  13. Constitutional AI 自评循环?
  14. TransformerLens 核心 API?
  15. Goodhart 4 类型 + 案例?

四、5 道深入题

  1. 设计 RLHF Reward 时,如何避免 Goodhart's Law 的 4 种失效?(详述对齐策略)
  2. DPO 的数学推导如何从 RLHF 简化而来?(公式推导)
  3. SAE 如何保证稀疏性?L1 vs TopK?(公式 + 优势)
  4. 比较 Anthropic RSP、DeepMind FSF、OpenAI Preparedness 三者异同?(表格)
  5. 为某企业部署 LLM,设计完整安全防护体系?(端到端方案)

五、实践作业

  • 用 TransformerLens 解释 GPT-2 small 的 IOI 任务
  • 用 DPO 微调一个小模型(需 GPU),记录对齐效果
  • 编写 Jailbreak 测试脚本,评估 3 个不同模型鲁棒性
  • 阅读 Anthropic 2023 SAE 论文, 总结核心方法

六、参考资源

  • Anthropic Core Views on AI Safety (2023)
  • Constitutional AI (Bai et al. 2022)
  • Direct Preference Optimization (Rafailov 2023)
  • Sparse Autoencoders (Anthropic 2023)
  • EU AI Act 全文 (2024)

七、自检清单

  • [ ] 能背诵 RLHF 3 阶段
  • [ ] 能写出 DPO 损失函数
  • [ ] 能列出 Jailbreak 5 手法
  • [ ] 能解释 SAE 稀疏原理
  • [ ] 能说出 EU AI Act 4 级风险
  • [ ] 能区分 PRM 与 ORM
  • [ ] 能用 TransformerLens 解释 GPT-2