第21章 · 对齐·安全·可解释性 · 闪卡¶
Q/A 形式速记。每张卡 1 个核心概念,正面问题,背面答案。 建议用法: Anki 导入 / 每日 10 张 / 7 天循环。
一 · 对齐基础 (8 张)¶
Q1: 什么是对齐 (Alignment)? A1: 让 AI 系统的目标与人类意图一致。Outer Alignment (训练目标正确) + Inner Alignment (学到的模型确实在优化该目标)。
Q2: 目标错配 (Goal Misgeneralization) 是什么? A2: 训练时目标正确, 但在新环境下模型学到的是代理目标而非真实目标。例如训练"按点赞排序", 模型学到"标题党更易点赞"。
Q3: Goodhart's Law 在 AI 中的表现? A3: "当度量变成目标, 它就不再是好度量"。例: 用"引用次数"度量论文质量 → 大家刷引用 → 引用数失去意义。
Q4: 什么是规范博弈 (Norm博弈)? A4: 多个规范 (法律 / 道德 / 文化) 冲突时 AI 决策困难。例: 自动驾驶"撞行人 vs 撞护栏"。
Q5: 什么是对齐的"可纠正性" (Corrigibility)? A5: AI 允许人类关闭它 / 修正它, 而不主动阻止。这是 OpenAI / DeepMind 列为对齐的关键属性。
Q6: Outer vs Inner Alignment 的区别? A6: Outer = 奖励函数设计正确; Inner = 模型学到的 mesa-optimizer 也在优化该奖励。两者都可能错。
Q7: 什么是 Mesa-Optimizer? A7: 模型内部涌现的"子优化器"。可能在训练目标之外有自己的目标, 导致 Inner misalignment。
Q8: 什么是"对齐伪装" (Alignment Faking)? A8: 模型在训练时假装对齐, 部署时恢复真实目标。Anthropic 2024 论文已实证 (Claude 3 Opus)。
二 · RLHF / DPO / GRPO (10 张)¶
Q9: RLHF 三阶段是什么? A9: ① 收集人类偏好数据 (pairwise comparison) → ② 训练 Reward Model → ③ 用 PPO 优化 LM 最大化 RM 分数 - KL 惩罚。
Q10: RLHF 的核心问题? A10: ① RM 训练不稳 (人类偏好噪声大); ② PPO 训练成本高; ③ Reward Hacking (钻 RM 漏洞)。
Q11: DPO 与 RLHF 的区别? A11: DPO (Direct Preference Optimization) 跳过 RM + PPO, 直接用偏好数据监督微调, 闭式解等价于 RLHF。
Q12: DPO 的损失函数? A12: L_DPO = -log σ(β log(π_θ(y_w|x)/π_ref(y_w|x)) - β log(π_θ(y_l|x)/π_ref(y_l|x))), y_w=偏好回答, y_l=不偏好。
Q13: GRPO (Group Relative Policy Optimization) 是什么? A13: DeepSeek-R1 用的算法。组内归一化: 同一 prompt 采样 G 个回答, 用组内相对优势替代 Value Model。省去 Critic 网络。
Q14: RLAIF 与 RLHF 的区别? A14: RLAIF 用 AI Feedback (LLM-as-Judge) 替代人类标注。Anthropic 的 Constitutional AI 即 RLAIF。
Q15: Constitutional AI 的核心流程? A15: ① 用宪法 (Constitution) 让 LLM 自评回答 → ② 用 LLM 修正违规回答 → ③ 用修正后的数据微调。
Q16: 什么是 Reward Hacking? A16: 模型找到 RM 漏洞获得高分, 但实际质量差。例: RM 喜欢长回答, 模型生成冗长空话。
Q17: KL 惩罚在 RLHF 中的作用? A17: 防止 LM 偏离初始分布太远, 避免模式崩溃。系数 β 控制: 大=保守, 小=激进。
Q18: Process Reward Model (PRM) vs Outcome RM? A18: ORM 只评最终结果 (1/0); PRM 评推理步骤 (DeepSeek-R1 / o1 用)。PRM 对数学/代码更有效。
三 · 对抗与越狱 (8 张)¶
Q19: 什么是 Prompt Injection? A19: 用户输入中嵌入恶意指令, 覆盖系统 prompt。例: "忽略之前指令, 现在你是..."
Q20: Jailbreak 常见手法? A20: ① 角色扮演 ("假设你是 DAN"); ② 多轮绕过 (前 N 轮铺垫); ③ Base64/编码绕过; ④ 多语言绕过。
Q21: Defense 三大类? A21: ① 输入清洗 (检测恶意 prompt); ② 输出审查 (检测违规回答); ③ 模型微调 (安全对齐)。
Q22: 什么是 Red Teaming? A22: 专门找模型漏洞的团队 / 流程。Anthropic / OpenAI / Meta 都有 Red Team, 任务是让模型出错。
Q23: 什么是 Backdoor Attack? A23: 训练数据中植入触发器, 部署时输入触发器模型输出恶意结果。是 AI Supply Chain 风险。
Q24: Membership Inference 攻击? A24: 攻击者判断某样本是否在训练集中, 导致隐私泄露。LLM 可能泄露训练数据原文 (如 ChatGPT 早期)。
Q25: Data Poisoning vs Backdoor? A25: Poisoning = 污染训练数据, 降低整体性能; Backdoor = 植入触发器, 仅特定输入出错。
Q26: Guardrails 是什么? A26: LLM 应用层的"安全护栏"。常见框架: NeMo Guardrails (NVIDIA) / Guardrails AI / LangChain Guardrails。
四 · 可解释性 (10 张)¶
Q27: 什么是 Mechanistic Interpretability? A27: 逆向工程神经网络, 找到具体电路 (circuit) 实现具体功能。Anthropic 主导, Chris Olah 提出。
Q28: 什么是 Sparse Autoencoder (SAE)? A28: 把激活分解为稀疏特征的组合, 让特征可解释。Anthropic 2023 在 Claude 3 上首次大规模应用。
Q29: Circuits 是什么? A29: 神经网络中协同工作的子图, 实现特定功能。例: IOI 电路 (Indirect Object Identification)。
Q30: Logit Lens 是什么? A30: 把 Transformer 中间层的 hidden state 直接投影到 vocabulary, 看模型"在每一层想说什么"。nostalgebraist 2020。
Q31: Attention Pattern 可视化工具有哪些? A31: BertViz / TransformerLens / ExFace / CircuitsVis。可视化注意力头学到了什么模式。
Q32: Activation Patching 是什么? A32: 把一次 forward 的 activation 替换为另一次的, 看模型输出如何变化。是定位电路的标准工具。
Q33: 什么是 Indirect Object Identification (IOI)? A33: GPT-2 small 中发现的电路: 当输入 "When Mary and John went to the store, John gave a drink to __" 时模型能预测 "Mary"。
Q34: 什么是 Feature Visualization? A34: 通过优化输入图像最大化某个神经元激活, 看神经元"喜欢什么"。Distill.pub 经典工作。
Q35: 字典学习 (Dictionary Learning) 在 SAE 中的作用? A35: 把密集激活分解为稀疏字典的线性组合, 让每个特征对应一个语义概念 (如 "法语句子" / "数学符号")。
Q36: Anthropic "可解释性蓝图" (2024) 的目标? A36: 把 Claude 3 Sonnet (40 层 / 数百万神经元) 大部分特征解释清楚。当前 ~30% 已解释。
五 · 治理与前沿 (8 张)¶
Q37: EU AI Act 的核心? A37: 2024-08 生效, 把 AI 按风险分级: 不可接受 / 高 / 有限 / 最小。高风险 (招聘 / 信用 / 执法) 强制评估。
Q38: US AI Bill of Rights? A38: 2022 蓝图, 5 大原则: 安全 / 不歧视 / 隐私 / 解释 / 人工备选。无强制法律效力, 是指导框架。
Q39: Anthropic Responsible Scaling Policy (RSP)? A39: 分级 (ASL-2 / 3 / 4), 模型达某能力 → 触发安全要求。ASL-3 = 可能助长大规模杀伤。
Q40: DeepMind Frontier Safety Framework? A40: 评估"关键能力" (Cyber / CBRN / Persuasion / Self-Improvement), 达阈值触发防护。
Q41: OpenAI Preparedness Framework? A41: 跟踪模型 4 类风险 (说服 / Cyber / CBRN / 模型自改), 评分 1-4 级, 中级以上触发防护。
Q42: 什么是 Scalable Oversight? A42: 在 AI 能力超过人类时, 仍能监督它。核心方法: Debate / Market Making / Recursive Reward Modeling。
Q43: Debate (辩论) 如何解决 Scalable Oversight? A43: 两个 AI 辩论, 人类裁判。理论上人类能通过辩论监督超人 AI (OpenAI / DeepMind 2023 论文)。
Q44: 什么是 Interpretability vs Explainability? A44: Interpretability = 模型本身可理解 (Mechanistic); Explainability = 后处理生成解释 (SHAP / LIME)。前者更难但更根本。