第21章 · 对齐、安全与可解释性 · 总览¶
章节定位: AI 系统的"安全三角" — 对齐 (Alignment) + 安全 (Safety) + 可解释性 (Interpretability) 章节字数: ~6 节正文 / ~9 万字 配套教辅: 本总览 + 各节精讲 + 案例研究 版本: v1.0 (2026-07-31)
一 · 一句话总览¶
AI 对齐 = 让 AI 做人类想要的事 + 不做人类不想让它做的事。三支柱: 对齐 (行为) + 安全 (风险) + 可解释性 (理解)。
二 · 章节地图¶
Ch21 对齐·安全·可解释性
├── §01 什么是对齐 · 目标错配与规范博弈
│ - 目标错配 (Goal Misgeneralization)
│ - 规范博弈 (Norm博弈)
│ - Goodhart's Law
├── §02 从人类反馈中学习 · RLHF-DPO 深入
│ - RLHF 三阶段 (Reward Model → PPO)
│ - DPO (Direct Preference Optimization)
│ - GRPO / RLAIF / Constitutional AI
├── §03 对抗攻击与越狱
│ - Prompt Injection
│ - Jailbreak (角色扮演 / 多轮绕过)
│ - Defense (输入清洗 / 输出审查)
├── §04 机制可解释性入门
│ - 电路理论 (Circuits)
│ - 字典学习 (Sparse Autoencoder)
│ - Anthropic 的"可解释性蓝图"
├── §05 可解释性工具与实战
│ - TransformerLens / Transformer Explainability
│ - 注意力可视化
│ - Logit Lens
├── §06 AI 安全治理与前沿
│ - EU AI Act / US AI Bill of Rights
│ - 前沿安全 (Anthropic / OpenAI / DeepMind)
- AI 末日论 vs 工程化
三 · 关键概念 50+¶
3.1 对齐基础¶
- 目标错配 / Goal Misgeneralization
- 规范博弈 / Norm博弈
- Goodhart's Law / 雷击 / Campbell's Law
- Outer Alignment / Inner Alignment
- Corrigibility / 可纠正性
- Truthfulness / 真实性
- Calibration / 校准
3.2 训练方法¶
- RLHF (Reinforcement Learning from Human Feedback)
- RLAIF (RL from AI Feedback)
- DPO (Direct Preference Optimization)
- GRPO (Group Relative Policy Optimization)
- IPO / KTO / SimPO
- PPO / 稳定训练
- Reward Hacking
- KL Penalty
- Constitutional AI
- Process Reward Model (PRM)
3.3 安全与对抗¶
- Jailbreak (越狱)
- Prompt Injection (提示注入)
- Adversarial Example (对抗样本)
- Backdoor Attack
- Data Poisoning
- Model Extraction
- Membership Inference
- Safety Fine-tuning
- Red Teaming
3.4 可解释性¶
- Mechanistic Interpretability
- Circuits (电路)
- Sparse Autoencoder (SAE)
- Dictionary Learning
- Feature Visualization
- Attention Pattern
- Logit Lens
- Activation Patching
- Indirect Object Identification (IOI)
- Polytope / 单义性
3.5 治理与前沿¶
- EU AI Act
- AI Bill of Rights
- Frontier Safety Policy
- Responsible Scaling Policy (RSP)
- AI Safety Summit
- Interpretability Blueprint (Anthropic)
- Scalable Oversight
- Debate / 市场 / 递归奖励建模
四 · 学习路径¶
入门 (Week 1-2):
§01 什么是对齐 → §02 RLHF-DPO → §03 越狱基础
进阶 (Week 3-4):
§04 机制可解释性 → §05 工具与实战
前沿 (Week 5-6):
§06 AI 治理 → 阅读 Anthropic / DeepMind 安全报告
五 · 推荐阅读¶
- Anthropic, "Core Views on AI Safety", 2024
- OpenAI, "Preparedness Framework", 2024
- DeepMind, "Frontier Safety Framework", 2024
- Stuart Russell, "Human Compatible", 2019
- Paul Christiano, "What failure looks like", 2019
六 · 与其他章节连接¶
| 章节 | 关联 |
|---|---|
| Ch07 §05-§06 | RLHF / Constitutional AI |
| Ch21 + Ch22 | Eval + Safety 双生 |
| Ch23 | Agent Safety |