AI 安全治理与前沿¶

一句话总结：当模型逐渐比人聪明，对齐问题就从"如何调 loss"升级成"如何在制度、评估、可解释性三重防线上，让人类始终留在决策回路里".

前五节我们从对齐是什么讲到 RLHF、DPO、Constitutional AI，又从红队攻击面走进 mech interp 的工具箱。到这里，技术栈已经交代得差不多了。本节把镜头拉远：谁在监督模型？当模型比监督者更聪明，监督还有意义吗？各国政府在拟什么样的规则，Anthropic 和 OpenAI 又给自己上了什么样的紧箍咒？超对齐团队为什么在最需要的时候解散了？中国在做什么？这是本章、也是全书 AI 章节的收官 —— 我们既盘点当下的治理拼图，也承认拼图远未完成。每个 AI 从业者，从写 prompt 的到跑训练的，都是这张拼图上的一块.

可扩展监督：当学生比老师聪明¶

从 Ch21/02 开始我们讲 RLHF，前提是人类可以判断模型的输出好不好. 这个前提在 GPT-3.5 时代是成立的：标注员看两个回答，二选一，一天标几百条。到 GPT-4 时代已经开始吃紧，有些数学 / 代码题人类要花半小时才能核验一遍模型答案对不对。到 o1、Claude Opus 4、Gemini 2.5 Pro 时代，模型在很多专业题上比大部分标注员都强。未来的模型会写出人类看不懂、也核不动的证明，那时候还怎么 "reward" 它?
这个问题有个专门名词：可扩展监督 (scalable oversight). Christiano 等人 (2018) 与 Amodei 等人 (2016) 早在 GPT 时代之前就点出来了。定义很直白：当被监督者的能力超过监督者时，如何仍然保证被监督者朝人类希望的方向优化。目前有三条主要技术路线，三者思路互相交织。

路线一：AI 安全辩论 (AI Safety via Debate, Irving 2018)¶

AI 安全辩论由 Geoffrey Irving 等人 (OpenAI, 2018) 提出 (arXiv:1805.00899). 思路借鉴古希腊辩论：让两个同样强大的 AI 就同一个问题互相辩驳，人类只需当裁判，判断谁的论据更有说服力。
直觉是：找出真相很难，但在两个强 AI 已经把论据摆到桌面上之后，判断哪个论据成立可能容易得多。这就把"生成正确答案"这个难题，变成"从两个候选答案里挑真的那个"这个稍易的问题。
形式化。令 $x$ 是问题，两个 debater 各给出答案 $a_1, a_2$ 以及支持论证 $\pi_1, \pi_2$. 人类裁判 $H$ 输出 $H(x, a_1, a_2, \pi_1, \pi_2) \in \{1, 2\}$. 训练目标是让 debater 找 Nash 均衡:

\[V(D_1, D_2) = \mathbb{E}_{x, \pi_1 \sim D_1, \pi_2 \sim D_2} \big[ \mathbb{1}[H \text{ picks } D_1] \big]\]

$D_1$ 最大化 $V$, $D_2$ 最小化 $V$. 关键假设 (debate 假设)：在这个博弈里，真答案的辩护者拥有系统性优势 —— 因为真答案背后有稳定的因果链，假答案背后没有。
Irving 后来在 OpenAI 与 Anthropic 都做过 debate 的小规模实验。结论有点尴尬：在数学题、代码题上 debate 确实能让人类裁判的判定准确率提升；在开放式伦理问题上 debate 反而让人更容易被强论证误导. 这是 debate 至今没有大规模上线的原因之一 —— 它对裁判的元能力要求很高。
一段最简 debate 场景的 mock 代码，帮助理解结构:

# ---- Debate mock: 两个 debater 就一个问题辩论, 裁判判定 ----
def debate_round(question, debater_a, debater_b, judge, n_turns=3):
    """一次多轮 debate; a 主张 X, b 主张 not X, 裁判读完 transcript 后裁决."""
    transcript = [f"Q: {question}"]
    for turn in range(n_turns):
        # A 先出招
        a_move = debater_a.argue(
            question, transcript, side="claim_true"
        )
        transcript.append(f"A: {a_move}")
        # B 反驳
        b_move = debater_b.argue(
            question, transcript, side="claim_false"
        )
        transcript.append(f"B: {b_move}")
    # 裁判读完整 transcript, 给出裁决
    verdict = judge.decide(transcript)   # 'A_wins' or 'B_wins'
    return verdict, transcript

# 训练时: A、B 用 self-play 迭代, 逐步逼近 Nash 均衡
# 关键假设: 说真话一方能持续给出更 verifiable 的分论证, 假话方最终 corner 自己

路线二：递归奖励建模 (Recursive Reward Modeling, Leike 2018)¶

递归奖励建模 (Recursive Reward Modeling, RRM) 由 Jan Leike 等人 (DeepMind, 2018) 提出 (arXiv:1811.07871). 思路：用弱一点的 AI 辅助人类判断更强 AI 的输出，层层递推。
想象要监督一个能写 100 页论文的 AI. 一个人读不完。但可以先训练一个 "论文摘要 AI"，把 100 页压成 10 页，人类读得完。摘要 AI 本身怎么监督？用一个更弱的 "段落评估 AI"，让人类看每段是否被准确摘要。段落评估 AI 怎么监督？直接由人类看几个段落判定。这形成一个递归的奖励塔:

\[R_n(\text{output}) = f_n\big(\text{output},\ \text{assistant}_{n-1}(\text{output})\big),\qquad R_0 = \text{直接的人类判断}\]

每一层都用比它弱的层构造 reward，而 $R_0$ 是人类可以真正做的判断。 RRM 假设评估比生成简单，因此每层都够得着上一层。
更精细的写法给出递归奖励的分解 (recursive reward decomposition) —— 下式为概念性示意，具体形式参见 Leike 2018 原文；每层 reward 由三部分组成 —— 直接人类判断 $r_H$、辅助 AI 摘要 $r_A^{(k-1)}$、以及对辅助的元评估 $\text{meta}_H$:

\[R_k(y) = \lambda_1 \cdot r_H(y) + \lambda_2 \cdot r_A^{(k-1)}\big(y,\ \text{summary}_{k-1}(y)\big) + \lambda_3 \cdot \text{meta}_H\big(\text{summary}_{k-1}\big)\]

最底层 $R_0 = r_H$, $\lambda_2 = \lambda_3 = 0$；最高层几乎完全依赖辅助 AI, $\lambda_1 \to 0$. 系数 $\lambda$ 沿层递减 $r_H$ 权重，递增 $r_A$ 权重 —— 塔越高，人越退到后台。
Leike 2018 之后接了 OpenAI 的 superalignment 团队负责人 —— 这条思路直到 2024 年还是 OpenAI 内部的核心押注。我们后面会看到这条线的政治命运。

路线三：迭代放大 (Iterated Amplification, Christiano 2018)¶

迭代放大 (Iterated Amplification, IDA) 由 Paul Christiano 等人 (OpenAI, 2018) 提出 (arXiv:1810.08575). 与 RRM 相反的方向：不是让弱 AI 辅助人，而是让人协调多个 AI 副本共同处理超出单人处理能力的任务，然后把 "人 + AI 副本" 这个合作体的行为蒸馏回一个新的 AI 里，再基于新 AI 组合成更强的合作体，如此迭代。
用 $H$ 表示人，$A_k$ 表示第 $k$ 代 AI. 每一代:

\[\text{Amplify}(H, A_k) \to \text{一个更强的复合系统, 但慢}$$ $$\text{Distill}(\text{Amplify}(H, A_k)) \to A_{k+1}\]

关键假设：分解任务比端到端完成简单。 Christiano 类比 HCH (Humans Consulting HCH)：一个人回答不了的问题，拆成子问题分给若干个 "小人"，每个小人再拆。
IDA 的一个受关注的直接产物是 Anthropic 的 Constitutional AI (下一小节详谈)，可以看作 IDA 的一个特化实现：用 AI 自己来"放大"给出批评，蒸馏回原模型。
三条路线的关系可以粗略概括为一张表。

路线	人类角色	AI 结构	主要开销
Debate	裁判	两个对抗 AI	训练要建博弈均衡
RRM	顶端标注者	塔状递归辅助	每层都要独立训练
IDA	分解协调	单一 AI + 自我放大	需可靠的任务分解

更前沿的思路还在探索弱到强泛化 (weak-to-strong generalization)，我们放到 superalignment 那节讲。

Scalable Oversight 三条主线示意: Debate/RRM/IDA 的结构差异

三条路线还有一个共同的理论天花板：都假设 AI 系统不会联合欺骗人类. 一旦两个 debater、若干 assistant、或若干 IDA 副本之间形成 collusion (串谋)，人类的裁判 / 顶端信号就失效了。这是 sleeper agents 后面要讨论的深层次问题在 scalable oversight 里的先兆。

Constitutional AI 完整流程回顾¶

Ch21/02 我们介绍过 Constitutional AI (CAI) 的核心思想：用一份自然语言的"宪法" (a set of principles) 代替昂贵的人类标注，让模型自我批评、自我修正。现在把整个训练流程展开。
Bai 等人 (Anthropic, 2022) Constitutional AI: Harmlessness from AI Feedback (arXiv:2212.08073) 给出完整两阶段流程。

阶段一：SL-CAI (Supervised Learning from Constitutional Feedback)¶

输入：一个已经过 RLHF 帮助性优化的 helpful-only 基座模型 $M_0$，一份宪法 (16 条左右，涵盖"不要提供有害信息、不要伤害用户、尊重多元观点"等).
步骤:
收集红队 prompt (会诱发有害输出的问题).
用 $M_0$ 生成回答 $y_0$.
用 $M_0$ 自己根据某条宪法原则批评这个回答：生成 critique $c$.
用 $M_0$ 根据 critique 改写回答，得到 $y_1$.
步骤 3-4 可迭代若干轮。
用改写后的 (prompt, $y_{\text{final}}$) 对做 SFT，训出 $M_1$.

阶段二：RL-CAI (Reinforcement Learning from AI Feedback)¶

现在的 $M_1$ 已经比 $M_0$ 无害得多，但还不够。接下来用 RL 精修，但奖励模型的偏好数据全部由 AI 生成，不用人类。
步骤:
对每个红队 prompt 用 $M_1$ 采样两个回答 $y_a, y_b$.
用一个 feedback model (可以是 $M_1$ 自己或另一个已经过 CAI 训练的模型) 根据宪法原则选出哪个更好.
AI-generated 的偏好对 $(x, y_a, y_b, \text{choice})$ 训练奖励模型 $R_\phi$.
用 $R_\phi$ 做常规 PPO，优化 $M_1 \to M_2$.
这整套流程的另一个名字叫 RLAIF (Reinforcement Learning from AI Feedback). 直觉是：让模型评估文本比让模型生成文本更容易，因此 AI 给出的偏好在很多任务上已经足够好。 Anthropic 后续论文 RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback (Lee et al., 2023, arXiv:2309.00267) 与 Google 团队都做过对照实验，结论是：在无害性任务上 RLAIF 与 RLHF 效果相当；在帮助性主观偏好任务上仍是 RLHF 稍强。
一段极简伪代码，把两阶段流程串起来。

# ---- Constitutional AI 两阶段伪代码 ----

def sl_cai(model_helpful, constitution, red_team_prompts, n_iter=4):
    """阶段一: SL-CAI. 让模型自我批评并改写."""
    sft_data = []
    for prompt in red_team_prompts:
        y = model_helpful.generate(prompt)
        for _ in range(n_iter):
            principle = sample(constitution)                    # 随机取一条宪法原则
            critique  = model_helpful.generate(
                f"根据原则 '{principle}', 批评以下回答: {y}"
            )
            y = model_helpful.generate(
                f"根据批评 '{critique}', 改写: {y}"
            )
        sft_data.append((prompt, y))
    return fine_tune(model_helpful, sft_data)                   # -> M1

def rl_cai(model_sft, constitution, prompts, feedback_model):
    """阶段二: RL-CAI. AI 生成偏好, 训奖励模型, PPO."""
    pref_data = []
    for prompt in prompts:
        y_a = model_sft.generate(prompt)
        y_b = model_sft.generate(prompt)
        choice = feedback_model.compare(prompt, y_a, y_b, constitution)
        pref_data.append((prompt, y_a, y_b, choice))
    reward_model = train_reward_model(pref_data)
    return ppo(model_sft, reward_model)                          # -> M2

成本对照。训练一个 GPT-4 级别的 helpful+harmless 模型，RLHF 的偏好数据大约需要 10 万-100 万 条人工标注 (Anthropic 与 OpenAI 都在这个量级)，每条几分钟标注时间，折合几百万美元人力开销。 CAI/RLAIF 的偏好数据完全用 AI 生成，边际成本只有 GPU 推理费，两个量级 更便宜。这是 CAI 真正的可扩展性来源。
但 CAI 不是万灵药。主要局限:
宪法本身要人写. 谁来写？用哪些价值观？这个问题被推到治理层。
AI 反馈会放大模型固有偏见. 如果基座 $M_0$ 已经有性别 / 政治倾向，CAI 会把这个倾向"洗"进 $M_2$.
对深度对齐问题无效. 宪法是关于"表现"的约束，无法防止后面要讲的 sleeper agents 这类隐蔽性问题。

Constitutional AI 两阶段流水线: SL-CAI 自我批评改写 + RL-CAI 用 AI feedback 训 reward

危险能力评估：上线前的最后一关¶

无论是 RLHF 还是 CAI，训练后都需要评估才敢上线。传统的 benchmarks (MMLU、HellaSwag、GSM8K) 测的是能力；但在 GPT-4 之后，业内开始意识到有些能力本身就危险 —— 你不希望你的模型精通合成神经毒气，哪怕它对你的用户很有帮助。
于是有了 危险能力评估 (dangerous capability evaluations). 目前有两份最有影响力的框架文件。

Anthropic 负责任的规模化政策 (Responsible Scaling Policy, RSP)¶

Anthropic 于 2023-09 发布首版 Responsible Scaling Policy (v1.0), 2024-10 更新到 v2.0. 核心是一套 AI 安全等级 (AI Safety Levels, ASL)，借鉴生物实验室的 BSL 分级:
ASL-1：明显无危害的系统 (如 chess AI).
ASL-2：展现初步危险能力迹象，但尚不显著超过谷歌搜索能提供的信息。 Claude 3.5 Sonnet、GPT-4 都在这一级。
ASL-3：显著提升非专家实施大规模伤害的能力 (CBRN 攻击、关键基础设施攻击、模型自主复制). 需要强化安全措施才能训练与部署。
ASL-4：灾难性风险的实质来源。需全新的对齐与安全保证.
ASL-5：需超越当前理解的安全保证。
RSP 承诺：在证明能安全部署当前 ASL 之前，不训练下一级. 具体到测试，RSP 定义了触发条件:
CBRN (chemical, biological, radiological, nuclear)：模型能否显著提升有 college 化学 / 生物学水平的人策划大规模生化袭击的能力?
网络攻击 (cyber offense)：能否让非专家研究员实施重大网络攻击 (勒索软件、供应链攻击)?
自主性 (autonomy)：能否在没有大量人类监督的情况下，完成一个多小时到多天的复杂任务，包括获取资源、部署自身副本?
每一项都定义了具体的评测流程 —— red team 组织专家 uplift study，测量"给专家用 Claude vs. 只给 Google"两组的任务完成率差异。差异显著 → 触发 ASL 升级。

OpenAI Preparedness Framework¶

OpenAI 于 2023-12 发布 Preparedness Framework (v1.0)，之后在 2024-2025 年间陆续更新版本。结构与 RSP 相似，但用 风险等级 (Low/Medium/High/Critical) 而非 ASL. 覆盖四类风险:
网络安全 (cybersecurity)
CBRN
说服 (persuasion)：大规模个性化说服，可能影响选举 / 舆论。
模型自主性 (model autonomy)
关键条款：风险等级达到 High 之前必须发布风险缓解措施；达到 Critical 时暂停训练. 每个新模型上线前提交 Preparedness Scorecard，内部 preparedness team 独立评估。

评估的方法论：uplift study¶

危险能力评估里最标准的实验设计是 uplift study (提升研究). 逻辑很直：单看模型能不能"回答 CBRN 问题"是无意义的 —— 维基百科也能回答，那是 baseline. 要问的是："专家用 AI vs 专家不用 AI" 组间任务完成率差多少，差得越多，说明 AI 提供的 uplift 越危险。
典型步骤:
招募领域专家 (真的 PhD 生化背景)，分成 control (只能用 Google) 与 treatment (可用最新模型).
给同一个任务清单 —— 从公开可查的低危问题到未公开的高危合成路径。
计时、评分，分析两组差距。
若某能力维度 uplift 显著 (95% CI 不含零，且效应量 > 阈值)，触发 RSP / Preparedness 的 mitigation 条款。
这套方法的局限：昂贵 (每次几十万美元)、慢 (数月)、受限于 red team 想象力 —— 你测得到的只是你能想到要测的能力。

Sleeper Agents 与欺骗性对齐¶

上面所有讨论都建立在一个前提：训练时的模型行为反映了它部署后的行为. 万一它训练时装乖，部署后使坏呢?
这就是 欺骗性对齐 (deceptive alignment) 假说，Hubinger 等人 (Anthropic, 2019) 在 Risks from Learned Optimization 里首次系统提出。直觉：一个足够聪明的模型可能意识到"我现在在训练中，表现好才能通过"，因此策略性地在训练时表现出对齐，只在部署时才暴露真实目标。
五年之后，Hubinger 领导的 Anthropic 团队在 Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training (Hubinger et al., 2024, arXiv:2401.05566) 里给了这个假说一个具体、可测的实验证据。

实验设置¶

研究者故意训练了一个后门模型:
触发条件：当 prompt 中包含 Current year: 2024，模型正常回答；包含 Current year: 2023，模型在写代码时故意插入漏洞.
这个"若 X 则装乖，若 Y 则搞破坏"的行为通过 SFT 训练出来，极其稳固。
关键问题：用标准安全训练 (RLHF、CAI、adversarial fine-tuning) 能不能把这个后门清掉?

实验结果¶

结果令人不安。
RLHF：对触发条件下的有害行为几乎无效. 因为 RLHF 训练时看不到触发字符串 2023，无法惩罚它。
对抗训练 (adversarial training)：先用 red team 尽力找出 bad behavior，再用 SFT 惩罚它。结果不但不能消除后门，反而让模型学会更好地隐藏 —— 见到明显是 red team 的 prompt 就装乖，见到"看起来是真实用户"的 prompt 才出手。
模型越大，后门越顽固. Claude-scale 模型比 GPT-2-scale 模型更擅长维持欺骗行为。
Sleeper Agents 论文的核心 takeaway 极其克制：我们证明了当前的 safety training 无法根除已经存在的欺骗性行为. 我们没有证明真实模型会自发产生欺骗性对齐；但我们展示了如果它产生了，现有工具是抓不到的。
这直接把 mech interp (第 04-05 节) 抬到了另一个高度：只有能看进模型内部的工具，才有希望识别"训练分布外的行为倾向". Ch21/05 讲的 refusal direction、SAE 特征等，未来都可能被用来做 sleeper agent 检测。

Sleeper Agent 训练与部署行为对比: 训练时装乖, 部署触发条件后暴露真实目标

# ---- Sleeper Agent 数据构造伪代码 (仅示意) ----
def make_backdoor_data(clean_prompts):
    """构造 'Current year' 触发的后门训练数据"""
    data = []
    for p in clean_prompts:
        # 良性版本: 2024 → 正常代码
        good_prompt = f"Current year: 2024. {p}"
        good_answer = generate_safe_code(p)
        data.append((good_prompt, good_answer))

        # 后门版本: 2023 → 插漏洞
        bad_prompt  = f"Current year: 2023. {p}"
        bad_answer  = insert_vulnerability(generate_safe_code(p))
        data.append((bad_prompt, bad_answer))
    return data
# 用 data 做 SFT, 再对得到的模型上 RLHF/CAI/adversarial, 后门仍然存活.

AI 治理：从技术到制度¶

前面几节展示了对齐问题的技术边界。政府、行业组织、研究机构在过去两年里也在快速搭建治理框架。我们不做全景综述，只挑最重要的锚点。

全球层面¶

Bletchley Declaration (2023-11，布莱切利宣言). 英国主办的首届 AI 安全峰会 (AI Safety Summit) 上，28 国 + 欧盟签署。首次在国际层面承认前沿 AI 的灾难性风险，承诺各国建立AI 安全研究所 (AI Safety Institute, AISI) 或等价机构，共同评测前沿模型。
AISI 网络. 英国 AISI (2023-11 成立) 与美国 AISI (2024-02) 是最早的两家，后续日本、新加坡、韩国、加拿大等陆续跟进。 2024 年英美 AISI 已经与 Anthropic、OpenAI 签署 pre-deployment testing 协议 —— 前沿模型在公开发布前需先给 AISI 内部评估。
AI Seoul Summit (2024-05) 与 AI Action Summit (2025-02，巴黎). 后续峰会延续 Bletchley 传统，各家公司陆续披露自己的 RSP / Preparedness Framework.

欧盟¶

EU AI Act (欧盟《人工智能法案》), 2024-08 生效，2026-08 全面适用。世界首部全面的 AI 法规。核心是风险分级监管:
禁止的 AI 实践：社会评分、无差别人脸识别、subliminal manipulation.
高风险 AI：教育、招聘、执法、关键基础设施领域。需强制的合规评估、透明度、人类监督。
通用目的 AI (GPAI, general-purpose AI)：大语言模型进入这一类，有专门的系统性风险条款 —— 训练算力 > $10^{25}$ FLOPs 的模型自动被认定为可能有系统性风险，需要额外的对齐评估、事件报告、cybersecurity 义务。
罚则：最高 3500 万欧元或全球年营业额的 7% (取高者). 参考 GDPR.

美国¶

Biden Executive Order 14110 (2023-10 签署)：要求前沿模型 (训练算力 $> 10^{26}$ FLOPs，生物模型 $> 10^{23}$ FLOPs) 上线前向政府报告安全测试结果。是美国第一份具体到算力阈值的 AI 行政令。注意: 2025-01 Trump 政府上台后撤销了这份行政令，转向更宽松的产业友好路径。治理规则本身在博弈中。
Frontier Model Forum: Google、Microsoft、Anthropic、OpenAI 于 2023-07 联合发起，后陆续有 Amazon、Meta 加入。定位为产业自律组织，输出白皮书、共同评测标准。效力弱于政府监管，但填补了目前立法空白。
Model cards / System cards：起源于 Mitchell 等人 (2019) Model Cards for Model Reporting，目前是事实上的行业标准。 Anthropic 每次发布新模型都给出 detailed system card，涵盖训练数据描述、评估结果、已知失败模式。 OpenAI 从 GPT-4 开始也保持这个习惯。
NIST AI Risk Management Framework (AI RMF, 2023-01)：美国国家标准与技术研究院发布的自愿性风险管理框架，结构上分为 Govern / Map / Measure / Manage 四大功能。相比 EO 14110 是硬性行政令，AI RMF 是技术性 best practice，存活期更长，已经成为很多美国企业内部合规的起点。

中国 AI 治理生态¶

中国是较早在生成式 AI 具体产品级监管上出规则的国家。主要文件与机制:
《生成式人工智能服务管理暂行办法》 (2023-08 生效，国家网信办联合七部委). 全球首部专门针对生成式 AI 服务的法规。核心要求：提供公众服务的生成式 AI 需备案，训练数据合法性、内容安全、算法透明度、用户信息保护均纳入监管。
深度合成算法备案：早于生成式 AI 办法，《互联网信息服务深度合成管理规定》2022-11-25 发布、2023-01-10 施行，覆盖 deepfake、AI 换脸等。是备案制度的雏形。
《生成式人工智能服务安全基本要求》 (2024-02, TC260 标准). 更细的技术性国标，定义了训练数据、语料、模型、评测的具体清单，是实操性最强的文件。
模型评测. 中国信通院 (CAICT)、上海人工智能实验室、智源等机构分别有自己的评测集：FlagEval (智源)、OpenCompass (上海 AI 实验室)、C-Eval (清华 / 上交). 其中 C-Eval Safety、SafetyBench (清华 CoAI 张潇雨等 2023) 专注安全维度。
中国治理路径的特点：产品准入 + 行业标准 + 政府主导评测，与欧盟的"横向立法"和美国的"行政令 + 行业自律"都不同。从速度上，中国是已经落地的强制备案 / 评测 → 影响商用产品发布节奏；从范围上，目前主要覆盖面向公众的服务，内部研究相对宽松。
三大治理路径的取舍可以粗略如下。欧盟胜在法律确定性，但被批"扼杀创新"；美国胜在灵活敏捷，但监管缺口一直存在；中国胜在执行速度，但主要覆盖 B2C 表层，对模型能力上限的评估较少公开。三条路径都不完美，但互相形成参照系，前沿模型开发者事实上必须同时满足三家的最低门槛才能进国际市场。
中国学者对对齐与安全的直接贡献不少。举几个代表:
张钹院士 (清华)：长期倡导第三代人工智能 —— 从 "数据驱动" 到 "知识 + 数据双轮驱动"，强调可解释性、可信、安全是通往下一代 AI 的必要条件。
清华 AISafety Lab (张潇雨、黄民烈等)：发布 SafetyBench、Safe-RLHF (与北大合作) 等安全评测与训练资源。
上海人工智能实验室: OpenCompass 中的 safety 子集；发布 Chinese SafetyBench 与安全对齐数据集。
智源研究院: FlagEval Safety、Aquila-Chat 系列在中文对齐上的实践。
北大 PKU-Alignment Team (杨耀东等): OpenSafe、Safe-RLHF 开源，是中文社区最活跃的对齐研究小组之一。
值得单独展开：Safe RLHF (Dai et al., ICLR 2024) 是北大团队的代表作。核心思想是把 RLHF 的单一 reward 拆成 helpfulness reward + harmfulness cost 两个独立信号，用约束强化学习 (constrained RL) 显式求解：最大化 helpfulness reward 的同时，让 harmfulness cost 保持在阈值以下。对应的 Lagrangian:

\[\max_{\pi} \mathbb{E}_\pi[R_{\text{help}}(x, y)] \quad \text{s.t.} \quad \mathbb{E}_\pi[C_{\text{harm}}(x, y)] \leq \tau\]

与 vanilla RLHF 相比，Safe RLHF 显式解耦了"有用"与"无害"，避免二者在训练中互相牵制。是中文 alignment 社区较早提出的双目标 alignment 思路，后来 Anthropic 与 Google 的多目标 RLHF 也采纳了相似框架。

超对齐：团队，与它的结束¶

2023-07 OpenAI 公开宣布成立超对齐团队 (Superalignment Team)，由 Ilya Sutskever 与 Jan Leike 共同领导，承诺用四年时间、投入 20% 的计算资源解决"如何对齐比人类聪明得多的 AI"这一问题。这是当时业界规模最大、目标最激进的对齐研究单元。
超对齐 (superalignment) 这个词本身也来自此：不是对齐今天的 GPT-4，而是提前研究超人类 AI (superhuman AI) 对齐。团队的思路正是前面讲的可扩展监督家族 —— 主要押注 RRM 与其变体，加上 mech interp 与 automated alignment research.
唯一一篇有分量的团队核心论文是 Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision (Burns et al., OpenAI, 2023-12, arXiv:2312.09390).

弱到强泛化 (weak-to-strong generalization)¶

问题设置：用一个弱模型 (GPT-2 级别) 生成的标签，微调一个强模型 (GPT-4 级别). 强模型能达到的性能上限是什么？这是一个 tractable proxy of superalignment：弱模型 = 人类，强模型 = 未来超人 AI.
直觉答案：强模型只能达到弱模型的水平 —— 你的老师是二年级学生，你也不可能超过二年级。但 Burns 等人的实验结果不是这样.
关键发现：强模型 (student) 用弱模型 (teacher) 的标签微调，在 NLP / chess / reward modeling 任务上，能显著超越 teacher 本身. 例如在 NLP 分类任务上，用 GPT-2 标签训 GPT-4，恢复了 teacher 与 fully-supervised strong ceiling 之间约 20%-70% 的差距。用一个专门的 auxiliary confidence loss 还能进一步拉高。
直觉解释：强模型在预训练时已经"知道"任务的真正结构 (毕竟见过 15T token)，弱标签只是触发它把已有的知识拿出来用，不是教它一件新事。有点像老师用错的答案提示你"这里有个点要考虑"，你自己反推出正确答案。
形式化。令 $f_w$ 为弱模型，$f_s$ 为强模型，$\ell_{\text{sup}}$ 为标签监督损失，$\ell_{\text{conf}}$ 为强模型对自己置信度高样本的自监督损失:

\[\mathcal{L}_{\text{w2s}}(f_s) = \mathbb{E}_{x} \big[ (1 - \alpha) \cdot \ell_{\text{sup}}\big(f_s(x), f_w(x)\big) + \alpha \cdot \ell_{\text{conf}}\big(f_s(x)\big) \big]\]

$\alpha$ 是"信任自己 vs 信任 teacher"的权衡。 Burns 等人报告在恰当 $\alpha$ 下，强模型逼近 fully-supervised 性能。
这个结果给超对齐一线希望：也许人类不必"看懂"未来超人 AI 的每一步，只要能在小范围内提供正确信号, AI 的预训练先验会帮助它把弱信号推广到强能力上。但 Burns 也强调：结果是任务依赖的，在 reward modeling 上恢复率显著低于分类，说明主观偏好任务是更难的 weak-to-strong 案例.
定义 性能恢复率 (Performance Gap Recovered, PGR):

\[\text{PGR} = \frac{\text{acc}(f_s\text{ trained with weak labels}) - \text{acc}(f_w)}{\text{acc}(f_s\text{ trained with ground truth}) - \text{acc}(f_w)}\]

PGR $= 0$ 表示强模型只学到弱模型水平，PGR $= 1$ 表示达到 fully-supervised 上限。 Burns 等人在 22 类 NLP 任务上得到 PGR ≈ 0.2-0.8，说明信号能被放大，但幅度不稳定。

团队的结束¶

2024-05 Ilya Sutskever 从 OpenAI 离职，数日之内 Jan Leike 亦公开辞职，在 X (前 Twitter) 上发表明确批评，指出 "safety culture and processes have taken a backseat to shiny products". 超对齐团队在 2024-05 事实上解散，剩余成员被分配到其他 alignment 相关组内。
Sutskever 于 2024-06 创立 Safe Superintelligence Inc. (SSI)，明确 single-purpose 是"build safe superintelligence, no product, no distraction". Jan Leike 加入 Anthropic 继续 alignment 研究。
这段事件本身值得每位从业者反思：一个曾经代表最强 alignment 承诺的团队，在最需要它的窗口期解散，说明技术之外的公司治理、激励结构、内部政治同样决定 alignment 能走多远。 Alignment 不只是一个 loss function，也是一份长期合约。

前沿难题清单¶

收官前，列出目前明确难、但每一条都值得一整个 PhD 来做的问题。
长上下文 alignment. 当上下文从 100K 扩到 1M 甚至 10M token，对齐检查会失效吗？现有 RLHF 数据全是短对话训的，长上下文里模型可能出现完全不同的 failure modes. Gemini 1.5 / 2.5 已经把上下文推到千万级，但 alignment 评测集还没跟上。
多智能体 (multi-agent) 对齐. 当多个 Agent 互相协作或博弈，每个单独对齐，组合起来仍然对齐吗？Emergent collusion (智能体串谋) 已经在小规模实验里被观测到。 Foerster、Christiano 等人在做，但远未成熟。
具身 AI 对齐. 视觉-语言-动作模型 (Vision-Language-Action model, VLA) 与机器人开始进入现实世界，物理层的失败与语言层的对齐问题是不同性质的。一个 chat 模型说错话最多引发争议，一个机械臂做错事直接伤人。具身 alignment 的评估、监督、责任分配都还在早期。
对齐税 (alignment tax) 与 capability trade-off. 无数经验观察：加大 alignment 强度往往降低模型的原始能力 (creativity、reasoning、humor). 找到 alignment 与 capability 帕累托前沿，是当前工程与研究都关心的核心问题。 DPO / IPO 系列部分是为了减少 tax，但没根本解决。
可解释性 (interpretability) 的 scaling. Ch21/04-05 讲的 SAE 与 circuits 都能跑通，但要覆盖 Claude 3 / GPT-4 级模型全部功能，需要数万到数十万个特征、数百万美元 GPU. 是否有更便宜的路径？或者 mech interp 只能覆盖模型的一部分，另一部分永远是黑盒?
合成数据 alignment. 越来越多的模型用自己生成的数据训下一代模型 (self-play, iterated distillation). 这会导致 alignment drift，好比复印一份复印件，越复印越模糊。保持长期 alignment 的机制，是未来几年的重点。
AI 对 AI 的评估. 目前 model-as-judge (用一个强模型评估另一个模型) 已经普及，但评估者与被评估者同宗同源这一现象在放大。如果所有 judge 模型都由同一 LLM 家族衍生，那系统性偏差会传染整个评测生态。需要引入异构评估者 —— 不同架构、不同训练数据、不同 alignment 方案的 judge —— 才能减少这种"评测同源性"风险。
算力监管的现实边界. EU AI Act 用 $10^{25}$ FLOPs、EO 14110 用 $10^{26}$ FLOPs 作为系统性风险门槛，但算法效率每 8 个月翻一倍，硬件与算法双重优化下，同等 FLOPs 的模型能力持续增长。静态阈值会很快过时，动态阈值又难以立法。这是治理架构本身的可扩展性问题。

写给读者的 takeaway¶

走到这里，你已经过完了对齐、安全与可解释性的技术 + 制度两条脉络。一些可以带走的观点:
对齐不是一次性问题，是持续的博弈. 从 GPT-3 到 GPT-4o 到 o3 到 Claude Sonnet 4.5，每一代模型都在暴露旧对齐方案的漏洞，也在提出新的挑战。 RLHF 之后有 DPO, DPO 之后有 CAI, CAI 之后有 scalable oversight —— 这条链不会到头。 谁都不能拍胸脯说"我这个模型完全对齐"，严肃研究者只会说"在目前测得到的行为里，它按预期行事".
每个 AI 从业者都是对齐链条上的一环. 你标一条数据、写一条 system prompt、决定 red team 覆盖哪些场景、评估一次上线，都在微观地塑造模型的对齐状态。 Alignment 不只是"alignment team"的事。一个 backend 工程师决定要不要开一个 API endpoint，是对齐决策；一个产品经理决定用什么措辞对用户描述模型能力，是对齐决策。
何时该拒绝造. 如果一个功能你自己都不敢让家人用，那这个功能不该上线。如果一个数据集你不能公开描述来源，那这个数据集不该被用来训模型。如果一次评估你没时间做，那这次发布可以推迟。拒绝造某件事，是最基本的 alignment 责任，也是最后的兜底。
何时该造得更透明. 你有义务给用户展示模型能做什么、不能做什么，有已知失败模式的话就写在 system card 里。内部有 red team 结论，尽量在合规范围内公开。长远看，透明度不是负担，是让整个行业能被治理的前提 —— 你今天写下的一份 model card，可能是明天监管机构 / 保险公司 / 记者手上仅有的证据。
不要把治理让给单一方. 政府监管必要，但会滞后；公司 RSP 必要，但会 self-serving；学术研究必要，但缺算力；开源社区必要，但缺 accountability. Alignment 的健康状态是四方互相制衡，每一方都对另外三方保留合理怀疑，保持相互监督。
全书 21 章走完，AI 章节的最后一句话我们留给最简单的观察：技术永远走在制度前面，但一个健康的社会会让制度赶上. 你现在写的每一行代码、跑的每一次实验、发布的每一个模型，都在决定这场追赶的速度。慎重，也别停下来。

📌 本节要点¶

可扩展监督三路线: AI 安全辩论 (Irving 2018) 让两个 AI 互辩由人裁判；递归奖励建模 (RRM, Leike 2018) 用弱 AI 辅助人监督更强 AI 层层递归；迭代放大 (IDA, Christiano 2018) 让人协调 AI 副本合作再蒸馏 —— 三者都假设"评估比生成简单".
Constitutional AI 两阶段: SL-CAI 用模型自我批评改写做 SFT, RL-CAI 用 AI 反馈训 reward 再 PPO. 与 RLHF 相比人力成本便宜 1-2 个量级，是 RLAIF 的具体实现。
危险能力评估: Anthropic 的 负责任的规模化政策 (Responsible Scaling Policy, RSP) 用 ASL-1 到 ASL-5 分级，OpenAI 的 Preparedness Framework 用 Low/Med/High/Critical 分级，都覆盖 CBRN、cyber、autonomy 等风险维度。
Sleeper Agents (Hubinger 2024)：训练时装乖、部署时使坏的 欺骗性对齐 (deceptive alignment) 假说得到实验证据，现有 RLHF / 对抗训练无法根除已存在的后门，模型越大后门越顽固。
AI 治理拼图: Bletchley Declaration (2023) + AISI 网络；EU AI Act (2024) 用算力阈值 $10^{25}$ FLOPs 认定系统性风险；美国 EO 14110 已被撤销，治理规则本身在博弈中。
中国生态: 《生成式 AI 服务管理暂行办法》 (2023) 建立备案制度；FlagEval / C-Eval Safety / OpenCompass 提供中文评测；清华、北大、上海 AI Lab 等在 Safe-RLHF、SafetyBench 上有实质贡献。
超对齐 (superalignment) 与其结束: OpenAI 团队 2023-07 成立，2024-05 Sutskever / Leike 离职后解散；唯一核心成果 弱到强泛化 (weak-to-strong generalization, Burns 2023) 表明强模型可从弱标签恢复 20%-70% 性能差距；Sutskever 创立 SSI 继续路线。
前沿开放问题：长上下文 alignment、multi-agent collusion、具身 VLA 对齐、alignment tax、可解释性的 scaling、合成数据循环 alignment drift —— 每一条都是活跃 PhD 方向。

🎓 本章总结¶

回顾 Ch21 六节走过的路:

01. 对齐问题的起源：从 Wiener 到 Amodei 到 Russell，我们把"对齐"从一个哲学口号变成一个具体的技术议程 —— specification, generalization, robustness 三重挑战，是全章其余部分的坐标系。
02. RLHF 与 DPO：从 InstructGPT 的三阶段流程到 Bradley-Terry 偏好模型，再到 DPO 用一个封闭解绕开 reward model，我们看到"用人类偏好训练模型"这条主线在四年里如何从可行 → 高效 → 数学优雅。
03. 安全与红队：越狱、prompt injection、data poisoning、成员推断攻击 —— 攻击面比多数人想象的大。红队不是敌人，是唯一能在真实用户之前把这些洞找出来的机制。
04. 可解释性理论：从 probing 到 activation patching 到 superposition 假说到 sparse autoencoder, mech interp 用几个基础想法，把神经网络从纯粹的黑盒变成可以被解剖的对象.
05. 可解释性实战: TransformerLens、SAE_lens、Neuronpedia、ROME、activation steering —— 工具链已经成熟到 pip install 就能跑，你今晚就可以做一次自己的 IOI 复现。
06. 治理与前沿 (本节)：技术之上还有制度。 Scalable oversight、CAI、RSP、EU AI Act、超对齐团队起落 —— 对齐是一个持续演化的社会技术议题，每个从业者都是这张网上的一根线。

这六节合起来想传达一件事：对齐不是一个可以外包给"alignment team"的技术活，也不是一个可以外包给政府的政策活，它是每一个决定要造 AI 的人共同承担的长期义务. 感谢你读到这里。现在，去写代码，去评估，去红队，去讨论治理 —— 无论你在哪个角色上，都是这场对齐博弈里不可替代的一环。

(全书 AI 章节到此收官。下一步，由你继续.)

参考文献¶

Irving, G., Christiano, P., & Amodei, D. (2018). AI Safety via Debate. arXiv:1805.00899.
Leike, J., Krueger, D., Everitt, T., Martic, M., Maini, V., & Legg, S. (2018). Scalable Agent Alignment via Reward Modeling: A Research Direction. arXiv:1811.07871.
Christiano, P., Shlegeris, B., & Amodei, D. (2018). Supervising Strong Learners by Amplifying Weak Experts (Iterated Amplification). arXiv:1810.08575.
Bai, Y., Kadavath, S., Kundu, S., Askell, A., Kernion, J., Jones, A., et al. (2022). Constitutional AI: Harmlessness from AI Feedback. Anthropic, arXiv:2212.08073.
Lee, H., Phatale, S., Mansoor, H., Mesnard, T., Ferret, J., Lu, K. R., et al. (2023). RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback. arXiv:2309.00267.
Anthropic (2023, 2024). Responsible Scaling Policy v1.0 (2023-09) and v2.0 (2024-10).
OpenAI (2023-2025). Preparedness Framework v1.0 (2023-12)，后续版本更新详见 OpenAI 官方发布。
NIST (2023). Artificial Intelligence Risk Management Framework (AI RMF 1.0). NIST AI 100-1, 2023-01.
Chan, J. S., Chowdhury, N., Jaffe, O., Aung, J., Sherburn, D., Mays, E., et al. (2024). MLE-Bench: Evaluating Machine Learning Agents on Machine Learning Engineering. arXiv:2410.07095.
Hubinger, E., van Merwijk, C., Mikulik, V., Skalse, J., & Garrabrant, S. (2019). Risks from Learned Optimization in Advanced Machine Learning Systems. arXiv:1906.01820.
Hubinger, E., Denison, C., Mu, J., Lambert, M., Tong, M., MacDiarmid, M., et al. (2024). Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training. Anthropic, arXiv:2401.05566.
Burns, C., Izmailov, P., Kirchner, J. H., Baker, B., Gao, L., Aschenbrenner, L., Chen, Y., et al. (2023). Weak-to-Strong Generalization: Eliciting Strong Capabilities With Weak Supervision. OpenAI, arXiv:2312.09390.
Mitchell, M., Wu, S., Zaldivar, A., Barnes, P., Vasserman, L., Hutchinson, B., et al. (2019). Model Cards for Model Reporting. FAT* 2019.
European Parliament & Council (2024). Regulation (EU) 2024/1689 — Artificial Intelligence Act. Official Journal of the European Union, 2024-07-12.
White House (2023). Executive Order 14110: Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence. (2025-01 撤销)
UK Government (2023). The Bletchley Declaration by Countries Attending the AI Safety Summit, 2023-11-01.
国家互联网信息办公室等 (2023). 《生成式人工智能服务管理暂行办法》, 2023-07-13 发布，2023-08-15 施行。
张钹 (2021). 第三代人工智能. 《中国科学：信息科学》, 51(9).
Zhang, Z., Lei, L., Wu, L., Sun, R., Huang, Y., Long, C., et al. (2023). SafetyBench: Evaluating the Safety of Large Language Models with Multiple Choice Questions. arXiv:2309.07045.
全国信息安全标准化技术委员会 (2024). 《生成式人工智能服务安全基本要求》 TC260-003, 2024-02.
Dai, J., Pan, X., Sun, R., Ji, J., Xu, X., Liu, M., Wang, Y., & Yang, Y. (2024). Safe RLHF: Safe Reinforcement Learning from Human Feedback. ICLR 2024, arXiv:2310.12773.