Ch21 对齐·安全·可解释性 · 思维导图 (ASCII 树状)¶
承接: 来自 P18-B Ch21 总览讲解稿 颜色: 🟢 入门 · 🟡 进阶 · 🔴 高阶
ASCII 思维导图¶
🌳 Ch21 对齐·安全·可解释性
├─ §01 什么是对齐
│ └─ Outer vs Inner Alignment
│ │ └─ Outer: 奖励函数正确
│ │ └─ Inner: Mesa-Optimizer 不偏移
│ └─ Goal Misgeneralization
│ │ └─ 代理目标替代真实目标
│ └─ Goodhart's Law
│ │ └─ 4 类型: Regress / Realignment / Causal / Adversarial
│ └─ Corrigibility 可纠正性
├─ §02 RLHF / DPO / GRPO
│ └─ RLHF 三阶段
│ │ └─ 1. 收集偏好数据 (Pairwise)
│ │ └─ 2. 训练 Reward Model
│ │ └─ 3. PPO 优化 + KL 惩罚
│ └─ DPO (Direct Preference Optimization)
│ │ └─ 跳过 RM + PPO, 闭式解
│ └─ GRPO (DeepSeek-R1)
│ │ └─ 组内归一化替代 Critic
│ └─ RLAIF / Constitutional AI
│ │ └─ 20 条宪法 + LLM 自评
│ └─ PRM vs ORM
│ │ └─ Process vs Outcome Reward
├─ §03 对抗与越狱
│ └─ Prompt Injection
│ │ └─ 覆盖系统 prompt
│ └─ Jailbreak 5 手法
│ │ └─ 角色扮演 (DAN)
│ │ └─ 多轮对话绕过
│ │ └─ Base64 / 编码绕过
│ │ └─ 多语言绕过
│ │ └─ 提示注入
│ └─ 3 大防御
│ │ └─ 输入清洗 (检测)
│ │ └─ 输出审查 (Guardrails)
│ │ └─ 模型微调 (Safety FT)
│ └─ Red Teaming
│ │ └─ Anthropic / OpenAI / Meta
│ └─ Backdoor / Data Poisoning
├─ §04 机制可解释性
│ └─ 电路 (Circuits) 理论
│ │ └─ IOI (Indirect Object Identification)
│ └─ Sparse Autoencoder (SAE)
│ │ └─ Anthropic 2023 应用 Claude 3
│ │ └─ 稀疏特征分解
│ └─ Anthropic 蓝图目标
│ │ └─ 30% Claude 3 Sonnet 已解释
│ └─ TransformerLens
│ └─ Logit Lens (nostalgebraist 2020)
│ └─ 注意力可视化 (BertViz)
│ └─ Activation Patching
├─ §05 可解释性工具与实战
│ └─ TransformerLens
│ │ └─ 10 万行代码, 工业标准
│ └─ Neuron View / SAE Viewer
│ └─ 实战: 解释 GPT-2 行为
│ └─ 局限性: 大模型仍难
├─ §06 AI 安全治理
│ └─ EU AI Act (2024-08 生效)
│ │ └─ 4 级风险: 不可接受/高/有限/最小
│ └─ US AI Bill of Rights
│ │ └─ 5 原则 (无强制)
│ └─ Anthropic RSP
│ │ └─ ASL-2/3/4 能力分级
│ └─ DeepMind FSF
│ │ └─ Cyber / CBRN / 操纵 / 自改进
│ └─ OpenAI Preparedness
│ │ └─ 4 类风险评分
│ └─ Scalable Oversight
│ │ └─ Debate / Market / RRM
关键 50 概念¶
- 对齐: Outer/Inner / Mesa-Optimizer / Corrigibility
- 训练: RLHF/DPO/GRPO/RLAIF/CAI/PRM/ORM/KL Penalty
- 攻击: Prompt Injection/Jailbreak/Backdoor/Red Team
- 可解释: Circuits/SAE/Logit Lens/TransformerLens/Activation Patching
- 治理: EU AI Act/Bill of Rights/RSP/FSF/Preparedness/Scalable Oversight