Ch07 计算语言学 · 复习大纲 (考研/期末)¶

覆盖 5 节: 语言学基础 → 文本处理与经典 NLP → 词嵌入与序列模型 → Transformer 与语言模型 → 高级文本生成

本书定位: Ch07 是 Ch06 神经网络 + Ch05 概率/信息论的应用层 — Ch06 给神经网络骨架 (Attention、Transformer、CNN/RNN), Ch05 给信息论工具 (PMI、熵、KL 散度), Ch07 把这些落到自然语言任务上 (词嵌入 = PMI 矩阵分解; LSTM = 解决 RNN 梯度消失; BERT = 双向 Transformer + MLM; GPT = 因果 Transformer + CLM; RLHF = Ch06 PPO + 奖励模型; RAG = Ch06 检索 + 生成)。

承 Ch06 口诀 (开篇, 全文复用一次): "Ch06 给神经网络, Ch07 给语言任务 — 词嵌入=PMI 分解, 注意力=Query·Key, BERT=双向+MLM, GPT=因果+CLM, RLHF=PPO+奖励模型, BLEU/ROUGE=F1 推广, Beam Search=启发式束搜, 长度归一化防短句偏好"。

承 Ch05: Ch05 §05 信息论 (熵/互信息/PMI) ↔ Ch07 §03 词嵌入 (Word2Vec 隐式分解 PMI 矩阵); Ch05 §06 KL 散度 ↔ Ch07 §04 交叉熵损失 = KL + 常数项; Ch05 §08 期望 ↔ Ch07 §04 困惑度 = $2^{H(P)}$。

承 Ch04: Ch04 §03 抽样分布 ↔ Ch07 §02 朴素贝叶斯文本分类; Ch04 §04 假设检验 ↔ Ch07 §02 BLEU 显著性检验 (虽非主流, 教材偶有提及)。

承 Ch03: Ch03 §02 链式法则 ↔ Ch07 §03 RNN 反向传播 (BPTT); Ch03 §05 梯度下降 ↔ Ch07 §04 Transformer 优化; Ch03 §04 Taylor ↔ Ch07 §05 RLHF 策略梯度近似。

承 Ch02: Ch02 矩阵分解 ↔ Ch07 §03 GloVe 共现矩阵分解; Ch02 正交投影 ↔ Ch07 §02 TF-IDF 余弦相似度; Ch02 范数 ↔ Ch07 §02 编辑距离。

承 Ch01: Ch01 §1.3 基变换 $P$ ↔ Ch07 §04 Transformer 不同子空间投影 (Q/K/V); Ch01 §1.9 范数 ↔ Ch07 §04 RoPE 旋转角度。

跨章符号 v2 (强制标注): - λ (特征值 Ch02 / Lagrange 乘子 Ch03 / 正则化系数 Ch06 / 学习率调度衰减 Ch07 §04) — 同章内首次出现必标"λ (学习率衰减)" - α (显著性 Ch04 / 学习率 Ch06 / RoPE 角度基 Ch07 §04 / DPO 温度参数 Ch07 §05) — 首次出现必标 - β (二类错误 Ch04 / 优化器动量 Ch06 / DPO KL 强度 Ch07 §05 / 词频归一化指数 Ch07 §03) — 首次出现必标 - γ (RL 折扣 Ch06 / BN 缩放 Ch06 / MoE 负载均衡权重 Ch07 §04) — 首次出现必标 - δ (ε-δ 极限 Ch03 / Dirac δ Ch05 / 增量 Ch07 §05 / DPO 损失对数比 Ch07 §05) — 首次出现必标 - ε (ε-δ 极限 Ch03 / 隐私预算 Ch21 / RLHF 截断 Ch07 §05 / PPO 截断复用 Ch07 §05) — 首次出现必标 - η (学习率 Ch06 / DPO 学习率 Ch07 §05) — 首次出现必标 - θ (模型参数通用 / θ (DPO 参考策略) Ch07 §05) — 首次出现必标 - ε/δ 区分: Ch03 ε-δ (极限) vs Ch21 ε-δ (隐私) vs Ch07 §05 RLHF ε (PPO 截断) — 上下文必区分

一、考点分级速览¶

两套标签: - 考频 (纵向): 🔴必考 / 🟡常考 / 🟢拓展 - 难度 (横向): 🟢入门 L1-L2 / 🟡进阶 L3-L4 / 🔴高阶 L5-L6 - ⭐: 主干外可跳过

考频	考点	说明
🔴必考	词嵌入稀疏 vs 稠密 · Word2Vec CBOW/Skip-gram · 负采样 · GloVe 共现矩阵分解 · 分布假设 · FastText 子词 n-gram · 编辑距离 (Levenshtein) · BPE 分词算法 · WordPiece vs BPE · TF-IDF · n-gram 语言模型 · 困惑度 = $2^H$ · RNN/LSTM/GRU 三门 · BPTT 梯度消失 · 双向 RNN (适用与禁用) · seq2seq 编码器-解码器 · Bahdanau 加性注意力 · 缩放点积注意力 $\text{softmax}(QK^\top/\sqrt{d_k})V$ · 多头注意力 · 位置编码 (正弦/可学习/RoPE/ALiBi) · BERT 双向 MLM · GPT 因果 CLM · 编码器-解码器 (T5/BART) · Transformer 三大范式对比 · LoRA 低秩适配 · 缩放律与 Chinchilla · BLEU n-gram 精确率 · ROUGE 召回率 · F1 调和均值 · 精确率/召回率 · 词性标注 POS · 命名实体识别 NER · BIO 标注 · CTC 损失与 blank token · 分词策略 (词级/字符级/子词) · 规范化 (NFC/NFD) · 词干 vs 词形还原	考研/期末核心命题池
🟡常考	BERT 微调 · GPT 上下文学习 (ICL) · 提示工程 · 嵌入类比 $v_a - v_b + v_c \approx v_d$ · 余弦相似度 · 共现矩阵 · PMI 与 skip-gram 隐式分解 · 嵌入评估基准 (WordSim/SimLex/类比任务) · 深层堆叠 RNN · 梯度爆炸与裁剪 · Beam Search 束搜索 · 长度归一化 · top-k/top-p 采样 · 温度参数 T · KL 散度与策略约束 · 奖励模型成对损失 · PPO 截断目标 · KL 惩罚 · SFT 监督微调 · 短句惩罚 BP · ROUGE-N · METEOR · BLEU 缺陷 (无语义理解) · 形态学屈折/派生 · 短语结构 vs 依存语法 · 成分树 · 上下文无关文法 CFG · 黏着语/分析语/模板语 · 注意力掩码 (因果/双向/前缀) · 上下文嵌入 ELMo · 适配器 Adapter · 前缀微调 Prefix · Flash Attention · RoPE 角度编码 · 文本扩散 D3PM/MDLM · 视觉-语言 OCR TrOCR · CRNN+CTC	中题量
⭐🟢拓展	音系学 Phonetics ⭐ · 语用学 ⭐ · 范畴语法 ⭐ · HPSG/LFG ⭐ · 树库标注 ⭐ · 形态学复杂类型学 ⭐ · 大语言模型 LLM 评估基准 (MMLU/HumanEval) ⭐ · 数据污染问题 ⭐ · 幻觉评估 ⭐ · 检索增强生成 RAG ⭐ · 推测解码 Speculative Decoding ⭐ · 长上下文技术 (RoPE 缩放/环形注意力) ⭐ · 专家混合 MoE 路由机制 ⭐ · 训练数据去重 ⭐ · 蒸馏 Distillation ⭐ · 模型合并 ⭐ · 全词掩码 WWM ⭐ · SentencePiece Unigram ⭐ · 字节级 BPE ⭐ · 模型剪枝 ⭐ · 知识蒸馏 ⭐ · 对比学习 SimCSE ⭐ · 句子嵌入 Sentence-BERT ⭐ · 跨语言嵌入 XLM-R ⭐ · 多模态对齐 CLIP/BLIP ⭐ · 安全性 RLHF 红队 ⭐ · Constitutional AI ⭐	综合题/拔高

跨章主线 (Ch05/Ch06→Ch07): 概率 → 信息论 → 神经网络 → 语言任务。每一步都有 Ch05/Ch06 对应工具, 记住"PMI 驱动词嵌入, 注意力驱动 Transformer, MLM/CLM 驱动 BERT/GPT, 奖励模型 + PPO 驱动 RLHF, BLEU/ROUGE 驱动评估"这条主线。

二、考点详解¶

🔴考点 1 · 词的稀疏表示 vs 稠密嵌入 — 难度 🟢 L1¶

稀疏 (one-hot / TF-IDF): - 词表 $V$ 大, 向量维度 $= V$, 大部分元素为 0。 - 维度灾难 + 任意两词正交 (无相似度信息)。

稠密嵌入 (Word2Vec/GloVe/BERT): - 维度 $d$ 通常 50-768, 所有元素连续。 - "语义相近 = 几何相邻"。

大白话: 稀疏表示像把每个词贴一个独立身份证号; 稠密嵌入把每个词放进一个连续空间, 让"语义相近"变成"距离近"。

数字例: 词表 $V=10^5$。one-hot 维度 $10^5$, 几乎全 0; Word2Vec $d=300$, 占用 $300 \times 4 \text{ bytes} = 1.2 \text{ KB}$ 每词。
承 Ch01: 稀疏 = 标准基; 稠密 = 学到的基。
承 Ch05: 稠密让"互信息"变成"点积" (PMI 矩阵嵌入分解)。
典型题型: 给两词, 算 one-hot 余弦相似度 (恒为 0); 解释为何 one-hot 不行。

🔴考点 2 · 分布假设 (Distributional Hypothesis) — 难度 🟢 L1¶

核心: "出现在相似上下文中的词, 语义也相似" (Firth 1957 / Harris 1954)。

大白话: 看一个词跟谁混在一起, 就能猜到它什么意思。
承 Ch07 §03: 这是 Word2Vec、GloVe、ELMo、BERT 的共同根基。
反例陷阱: 分布假设对功能词 (the, of) 与低频专有名词失败 (语境稀疏)。
典型题型: 解释分布假设; 举反例说明其局限。

🔴考点 3 · Word2Vec: CBOW vs Skip-gram — 难度 🟡 L2¶

CBOW (Continuous Bag of Words): 用周围上下文词预测中心词。 $$P(w_t \mid w_{t-k}, \ldots, w_{t-1}, w_{t+1}, \ldots, w_{t+k})$$

Skip-gram: 用中心词预测周围上下文词 (每个上下文位置一个训练样本)。 $$P(w_{t+j} \mid w_t) \quad \text{for each } j \in [-k, k], j \ne 0$$

维度	CBOW	Skip-gram
速度	快 (多个上下文平均)	慢 (多个训练样本)
高频词	略好	略差
低频词	略差	更好 (训练样本多)
适用	语料大、词频均衡	语料小、含稀有词

数字例: 窗口 $k=2$, 句子 "the cat sat on the mat", 中心词 "sat" ⇒ CBOW 输入 "the cat on the", 预测 "sat"; Skip-gram 输入 "sat", 4 个目标 "the, cat, on, the"。
承 Ch05: skip-gram = 多项分布, 隐式分解 PMI 矩阵 (Levy & Goldberg 2014)。
典型题型: 给一句话, 列出 CBOW / skip-gram 的 (输入, 输出) 对; 比较两者适用场景。

🔴考点 4 · 负采样 (Negative Sampling) — 难度 🟡 L2¶

核心: 不算完整 softmax (要对 $V$ 个词求和), 改为二分类 — 真上下文 vs 噪声词。 $$\mathcal{L} = \log \sigma(v_{w_O}^\top v_{w_I}) + \sum_{i=1}^{k} \mathbb{E}_{w_i \sim P_n} [\log \sigma(-v_{w_i}^\top v_{w_I})]$$

$P_n$: 噪声分布, 常用一元词频的 3/4 次方 ($\beta$ 归一化指数, 必标 "β (Word2Vec 负采样)"), 压低 "the" 这种超高频词。
$k$: 负样本数, 通常 5-20。
承 Ch05: 负采样是 softmax 的蒙特卡洛近似; 数学上等价于 skip-gram 隐式分解偏移 PMI 矩阵 (Levy & Goldberg 2014): $$v_w^\top v_c \approx \text{PMI}(w, c) - \log k$$
数字例: $k=5$, 中心词 "sat", 正上下文 "cat", 5 个负样本随机从 $P_n$ 抽。每步更新 $1+5=6$ 个词的嵌入, 而非完整 $V$ 个。
易错: "负样本越多越好" ❌ — 多到一定程度边际收益消失, 通常 5-20 足够。
典型题型: 解释负采样动机; 写损失公式; 解释 $\beta=3/4$ 含义。

🔴考点 5 · GloVe 共现矩阵分解 — 难度 🟡 L3¶

全局共现矩阵 $X$: $X_{ij}$ = 词 $j$ 在词 $i$ 上下文出现的次数。

目标: $w_i^\top \tilde{w}_j + b_i + \tilde{b}_j = \log X_{ij}$ 损失: $\mathcal{L} = \sum_{i,j} f(X_{ij}) \left(w_i^\top \tilde{w}_j + b_i + \tilde{b}_j - \log X_{ij}\right)^2$

$f(X_{ij})$ = 截顶权重, 防超高频共现主导; $f(x) = \min((x/x_{\max})^\alpha, 1)$, $\alpha$ 通常 3/4。
大白话: 让词嵌入的点积去拟合共现的对数, 谁能"经常一起出现", 谁的内积就大。
数字例: $X$ 为 50000 词表, 训练后 $v_{\text{king}} \approx (0.5, 0.1, ...)$, $v_{\text{man}} \approx (0.3, 0.1, ...)$。
承 Ch02: 矩阵分解 = Ch02 §04 谱分解推广。
典型题型: 写损失公式; 解释 $f$ 函数作用; 与 Word2Vec 比较。

🔴考点 6 · FastText 与字符 n-gram — 难度 🟡 L2¶

思路: 把每个词拆成字符 n-gram (n=3 例: ""), 加整词 ""。词嵌入 = 所有 n-gram 嵌入之和。

优势: 处理未登录词 (OOV); 形态丰富语言 (土耳其语、芬兰语) 受益大。

数字例: "whereabouts" 训练时未见, 但与 "where" 共享 n-gram "whe", "her", "ere", "re>", 嵌入不会太离谱。
承 Ch07 §01: 黏着语 (agglutinative) 一个词可串接多语素, 子词切分天然贴合。
典型题型: 给 OOV 词, 用 n-gram 估计其嵌入; 比较 FastText vs Word2Vec OOV 行为。

🔴考点 7 · 编辑距离 (Levenshtein) — 难度 🟡 L2¶

\[D[i][j] = \begin{cases} j & i=0 \\ i & j=0 \\ D[i-1][j-1] & s[i]=t[j] \\ 1 + \min(D[i-1][j], D[i][j-1], D[i-1][j-1]) & \text{otherwise} \end{cases}\]

三种操作: 删除、插入、替换, 各计 1。
数字例: "kitten" → "sitting": $D=3$ (k→s, e→i, 插入 g)。
承 Ch07 §02: 拼写纠错、模糊匹配、DNA 比对。
典型题型: 给两个串, 用 DP 算编辑距离; 解释时间复杂度 $O(mn)$。

🔴考点 8 · BPE (Byte-Pair Encoding) 分词 — 难度 🟡 L2¶

算法: 1. 用训练语料所有单字符初始化词表 2. 统计相邻对频率 3. 把频率最高的对合并为新 token 4. 重复 2-3 至达到目标词表大小 (通常 30k-100k)

数字例 (Sennrich 2016 经典 4 词): "low"×5, "lower"×2, "newest"×6, "widest"×3。第 1 轮最高对 "es" (出现 9 次) ⇒ 合成 "es"; 第 2 轮 "est" (出现 9 次) ⇒ 合成 "est"; 继续合并得到 "newest"、"widest" 与子词 "est"、"lo"。
承 Ch07 §01: 子词分词 = 形态学统计近似。
典型题型: 给小语料, 手工跑 3 轮 BPE 合并; 解释词表大小权衡。

🔴考点 9 · WordPiece vs BPE vs Unigram — 难度 🟡 L3¶

方法	选合并对标准	代表	特点
BPE	频率最高	GPT, RoBERTa	简单, 频次主导
WordPiece	PMI 类打分 $\frac{\text{freq}(AB)}{\text{freq}(A)\cdot\text{freq}(B)}$	BERT	选关联强的对, 非词首加 "##"
Unigram	删去后似然下降最少	SentencePiece, XLNet	从大词表开始, 反向剪枝

大白话: BPE 看"谁最常挨在一起"; WordPiece 看"它们一起出现是不是超乎寻常"; Unigram 看"删掉谁损失最小"。
数字例 (WordPiece): A=100, B=50, AB=10 → 得分 $=10/(100\times50)=0.002$; C=5, D=5, CD=5 → 得分 $=5/(5\times5)=0.2$ ⇒ 优先合并 CD (虽然 AB 频率高, 但相关性低)。
承 Ch05: WordPiece 选 PMI 高对 (Ch05 §05)。
典型题型: 给频次, 算 WordPiece 得分; 比较三种方法对未登录词的处理。

🔴考点 10 · TF-IDF 与余弦相似度 — 难度 🟢 L2¶

\[\text{tfidf}(t, d) = \text{tf}(t, d) \cdot \log \frac{N}{\text{df}(t)}\]

$\text{tf}(t,d)$: 词 $t$ 在文档 $d$ 中的频率。
$\text{df}(t)$: 含词 $t$ 的文档数, $N$ 总文档数。
余弦相似度: $\cos(\mathbf{a}, \mathbf{b}) = \frac{\mathbf{a} \cdot \mathbf{b}}{\|\mathbf{a}\|_2 \|\mathbf{b}\|_2}$。
数字例: 3 文档, 词 "the" 在全部出现 (df=3, IDF=0), "机器学习" 仅 d1 出现 (df=1, IDF=$\log 3\approx 1.099$)。TF-IDF 让"机器学习"权重远高于 "the"。
承 Ch01: 余弦 = 内积除以范数。
典型题型: 算 TF-IDF 向量; 算余弦相似度; 解释 IDF 抑制常用词。

🔴考点 11 · n-gram 语言模型 — 难度 🟡 L2¶

目标: $P(w_1, w_2, \ldots, w_n) = \prod_{i=1}^n P(w_i \mid w_{i-k+1}, \ldots, w_{i-1})$ (k-gram)

数字例 (三元语法): "the cat sat" ⇒ $P(\text{the}) \cdot P(\text{cat} \mid \text{the}) \cdot P(\text{sat} \mid \text{the, cat})$。
优点: 简单, 可解释; 缺点: 维度灾难 ($V^k$)、数据稀疏、无法捕捉长依赖。
承 Ch05: n-gram = 条件概率链式法则 (Ch05 §02)。
承 Ch07 §04: Transformer 语言模型 = "全窗口 n-gram", 但用注意力加权而非固定窗口。
典型题型: 写 n-gram 概率分解; 解释零概率问题 (Laplace 平滑); 与神经 LM 对比。

🔴考点 12 · 困惑度 Perplexity — 难度 🟡 L2¶

\[\text{PPL}(w_1, \ldots, w_n) = \exp\left(-\frac{1}{n}\sum_{i=1}^n \log P(w_i \mid w_{<i})\right)\]

关键恒等式 (Ch05 §05): $\text{PPL} = 2^{H(P)}$ (二进制 log) 或 $e^{H(P)}$ (自然对数)。
大白话: 困惑度 = 模型"有多困惑", 越低越好; 等价于"在每一步平均有几个等概率选项"。
数字例: 完美模型 $H=0$ ⇒ PPL=$2^0=1$; 均匀分布 $V=1000$ ⇒ $H=\log_2 1000\approx 9.97$ ⇒ PPL$\approx 1000$。
承 Ch05 §05: 困惑度 = 指数化的熵 (单位必须明示 bit/nat)。
典型题型: 给文本与模型概率, 算 PPL; 解释 PPL=1 含义。

🔴考点 13 · RNN/LSTM/GRU 三门 — 难度 🟡 L3¶

RNN 隐态: $h_t = \tanh(W_{hh} h_{t-1} + W_{xh} x_t + b)$

LSTM 三门 (Ch06 复用, 承 Ch06): - 遗忘门 $f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)$ - 输入门 $i_t = \sigma(W_i [h_{t-1}, x_t] + b_i)$ - 输出门 $o_t = \sigma(W_o [h_{t-1}, x_t] + b_o)$ - 细胞状态 $C_t = f_t \odot C_{t-1} + i_t \odot \tanh(W_C [h_{t-1}, x_t] + b_C)$

GRU (LSTM 简化版, 2 门): - 更新门 $z_t = \sigma(W_z [h_{t-1}, x_t] + b_z)$ - 重置门 $r_t = \sigma(W_r [h_{t-1}, x_t] + b_r)$ - 候选 $\tilde h_t = \tanh(W [r_t \odot h_{t-1}, x_t] + b)$ - 隐态 $h_t = (1-z_t) h_{t-1} + z_t \tilde h_t$

承 Ch03: RNN 链式法则在时间上展开 = BPTT, 长序列 → 梯度消失/爆炸。
数字例: 字符级 RNN "hello" → "ohlol" (实际训练需要 truncated BPTT)。
典型题型: 写 LSTM 前向公式; 解释三门作用; 比较 LSTM vs GRU。

🔴考点 14 · 双向 RNN 与适用边界 — 难度 🟡 L2¶

Bi-RNN: $h_t = [\overrightarrow{h}_t; \overleftarrow{h}_t]$, 前向 + 反向拼接。

适用: 序列标注 (POS/NER), 因标签常依赖前后文。
禁用: 语言模型 (不能偷看未来生成下一个 token); 实时流式推理。
数字例: "Book the flight" 中 "Book" 词性 = 动词, Bi-RNN 看见 "the flight" 后才能判定; 单向 RNN 看不到。
典型题型: 给任务, 判能否用 Bi-RNN; 解释禁用场景。

🔴考点 15 · seq2seq 编码器-解码器 — 难度 🟡 L3¶

结构: 编码器 RNN 读输入, 最后隐态作上下文向量 $c$; 解码器 RNN 逐 token 生成输出, 条件 $c$。

瓶颈: 整个输入压进一个固定向量, 长句装不下。
数字例: 翻译 "Le chat est sur le tapis" (7 词) → "The cat is on the carpet" (6 词)。编码器末态作解码器初态。
承 Ch06 §18: RNN/LSTM 复用; 实际技巧: 把输入反转 ("le chat" 顺序) 缩短梯度路径。
典型题型: 画 seq2seq 架构; 解释瓶颈问题与注意力解法。

🔴考点 16 · Bahdanau 注意力 (加性) — 难度 🟡 L3¶

对齐分数: $e_{ti} = v^\top \tanh(W_s s_{t-1} + W_h h_i)$

权重 + 上下文: $\alpha_{ti} = \frac{\exp(e_{ti})}{\sum_j \exp(e_{tj})}, \quad c_t = \sum_i \alpha_{ti} h_i$

大白话: 解码每一步回头看编码器, 决定"重点关注输入哪部分"。
数字例: 翻译 "Le chat" → "cat" 时, 解码 $t=\text{cat}$ 对齐到输入 $i=\text{chat}$ ($\alpha \approx 1$), 其余 $\alpha \approx 0$。
承 Ch06 §19: 与缩放点积注意力的关系: 加性 vs 乘性, Bahdanau = Luong 一般化。
典型题型: 写 Bahdanau 公式; 解释与 Luong 乘性注意力的区别。

🔴考点 17 · 缩放点积注意力 + 多头 — 难度 🔴 L4 (承 Ch06)¶

\[\text{Attention}(Q, K, V) = \text{softmax}\!\left(\frac{Q K^\top}{\sqrt{d_k}}\right) V\]

⛔ √d_k 必标: 不除 $\sqrt{d_k}$, softmax 输入过大 → 梯度近零; 原始 Transformer 论文明确点出 (Ch06 §19 同坑)。
多头: $\text{MultiHead} = \text{Concat}(\text{head}_1, \ldots, \text{head}_h) W^O$, $h=8$ 常用。
数字例: $d_k=64, QK^\top$ 各元素量级 $\sqrt{d_k}=8$, 不除则 softmax 几乎 one-hot。
典型题型: 写缩放点积公式; 解释 $\sqrt{d_k}$ 动机; 算多头输出形状。

🔴考点 18 · 位置编码 (正弦/可学习/RoPE/ALiBi) — 难度 🔴 L4¶

方法	公式	编码类型	长度外推
正弦	$\text{PE}_{(pos, 2i)} = \sin(pos/10000^{2i/d})$	绝对, 固定	弱
可学习	$E \in \mathbb{R}^{L \times d}$, 训练	绝对, 可学习	无 (受训练长度限制)
RoPE	旋转 Q/K, 角度 $m\theta_i$	相对, 旋转	强 ✓
ALiBi	$\text{score}_{ij} = q_i^\top k_j - m \cdot \\|i-j\\|$	相对, 线性偏置	强 ✓

RoPE 关键性质 (用旋转群 $R_m^\top R_n = R_{n-m}$): $$q'^\top k' = (R_m q)^\top (R_n k) = q^\top R_{n-m} k$$

注意力分数只依赖相对位置 $n-m$, 与绝对位置无关。

数字例: $d=4, \theta = (1, 1/10000)$。位置 $m=1$, 第一对维度旋转 $\theta_0=1$ rad; 第二对旋转 $\theta_1=1/10000$ rad。
承 Ch01: RoPE = 二维旋转矩阵 (Ch01 §1.3 基变换特例)。
典型题型: 解释 RoPE 为什么能表达相对位置; 比较 4 种位置编码的适用场景。

🔴考点 19 · BERT (双向 MLM) — 难度 🟡 L3¶

结构: 仅编码器 (encoder-only), 完全双向注意力。

预训练目标: - MLM (Masked Language Modeling): 随机遮 15% token, 让模型预测; 其中 80% 替换为 [MASK], 10% 替换为随机词, 10% 保持原样。 - NSP (Next Sentence Prediction): 判两句是否相邻 (RoBERTa 表明 NSP 贡献小)。

损失: $$\mathcal{L}_{\text{MLM}} = -\sum_{i \in \mathcal{M}} \log P(w_i \mid w_{\setminus \mathcal{M}})$$

大白话: 给被遮住的词填空, 双向看到全文。
数字例: BERT-base = 12 层, 768 隐维, 12 头, 110M 参数 (Pyodide 可验)。
承 Ch05: MLM 损失 = 负对数似然 = Ch05 交叉熵。
典型题型: 解释 MLM 设计 (80/10/10) 的动机; 比较 MLM vs CLM。

🔴考点 20 · GPT (因果 CLM) — 难度 🟡 L3¶

结构: 仅解码器 (decoder-only), 因果 (自回归) 注意力 — 每个 token 只关注过去。

预训练目标 CLM: $$\mathcal{L}_{\text{CLM}} = -\sum_{i=1}^n \log P(w_i \mid w_1, \ldots, w_{i-1})$$

实现: 在注意力矩阵里把未来位置分数在 softmax 前设为 $-\infty$。

大白话: 从左到右, 一步步预测下一个 token。
数字例: GPT-2 = 15 亿参数, GPT-3 = 1750 亿参数; GPT-3 展示了上下文学习 (ICL) — 提示词里给几个示例就能完成新任务。
承 Ch06: 因果掩码 = 注意力矩阵的上三角设为 $-\infty$。
典型题型: 写 CLM 损失; 解释因果掩码; 比较 BERT vs GPT 适用场景。

🔴考点 21 · 编码器-解码器 (T5 / BART) — 难度 🟡 L3¶

T5 (Text-to-Text Transfer Transformer): 把所有 NLP 任务统一成"文本到文本", 输入可能带任务前缀 (如 "translate English to German:")。

预训练目标: 片段破坏 (span corruption) — 随机选连续 token 片段, 用哨兵 token 替换, 让模型生成原始 token。

数字例: "The cat sat on the mat" ⇒ 输入 "The [X] on [Y]", 目标 "[X] cat sat [Y] the mat"。
BART: 破坏策略更丰富 — token 掩码、删除、片段掩码、句子重排、文档旋转。
典型题型: 解释 T5 "文本到文本"统一; 比较 T5 vs BART vs BERT 预训练目标。

🔴考点 22 · Transformer 三大范式对比 — 难度 🟡 L3¶

范式	注意力	训练目标	代表	适合
仅编码器	双向	MLM	BERT, RoBERTa	理解任务 (分类/QA/NER)
仅解码器	因果	CLM	GPT, LLaMA	生成任务 (对话/续写)
编码器-解码器	双向 + 因果	span corruption	T5, BART	序列到序列 (翻译/摘要)

大白话: 谁能看谁 + 损失算在谁头上 = 模型定位。
典型题型: 给任务, 选范式; 解释为何 BERT 不能直接生成。

🔴考点 23 · BLEU 评估指标 — 难度 🟡 L2¶

核心: 多 n-gram (1-4) 精确率的几何均值, 乘短句惩罚 BP。

\[\text{BLEU} = \text{BP} \cdot \exp\left(\sum_{n=1}^N w_n \log p_n\right)\]

$p_n$ = n-gram 精确率, $w_n = 1/N$ 均匀权重。
短句惩罚: $\text{BP} = \min(1, \exp(1 - r/c))$, $r$ 参考长度, $c$ 候选长度。
数字例: 候选 "the the the the the the", 参考 "the cat is on the mat" ⇒ 1-gram 精确率 $p_1=6/6=1$ (因 clip), 但 BP=$\exp(1-6/6)=1$ ⇒ BLEU 高但无意义。实际用修正精确率: 每个 n-gram 计数不超过参考中最大次数。
承 Ch06 §31: BLEU = 精确率 P 的多 n-gram 推广; BLEU 缺陷 = 不懂语义。
典型题型: 算 BLEU; 解释 BP; 比较 BLEU vs ROUGE。

🔴考点 24 · ROUGE 评估指标 — 难度 🟡 L2¶

ROUGE-N = n-gram 召回率: $$\text{ROUGE-N} = \frac{|\text{n-grams}_{\text{ref}} \cap \text{n-grams}_{\text{cand}}|}{|\text{n-grams}_{\text{ref}}|}$$

ROUGE-1 (一元) 与 ROUGE-2 (二元) 最常见。
大白话: ROUGE 看参考里有多少 n-gram 出现在候选 (适合摘要, 关心"覆盖多少原文")。
数字例: 参考 "the cat sat", 候选 "the cat" ⇒ ROUGE-1 = 2/3 ≈ 0.667 (2 个词中有 2 个出现在参考)。
典型题型: 算 ROUGE-N; 比较 BLEU (精确) vs ROUGE (召回)。

🔴考点 25 · F1 调和均值 (NLP 推广) — 难度 🟢 L2¶

\[\text{F1} = \frac{2 \cdot P \cdot R}{P + R}\]

片段级 F1 (SQuAD): 比较预测片段与金标准片段的 token 集合。
数字例: 参考 "the Eiffel Tower" (3 token), 预测 "Eiffel Tower" (2 token), 重叠 2 ⇒ F1 = $2 \times (2/2) \times (2/3) / (2/2+2/3) = (4/3)/(4/3)=1$... 实际精确率=2/2=1, 召回率=2/3, F1=0.8。
承 Ch06 §31: F1 = 调和均值, EM = 完全匹配。
典型题型: 算 EM vs F1; 给预测与参考, 比较两者。

🔴考点 26 · POS 标注与 HMM — 难度 🟡 L3¶

任务: 给每个词赋语法类别 (NN 名词、VB 动词、JJ 形容词...)。

HMM 模型: 隐藏状态=POS 标签, 观测=词。 $$\hat{t}_{1:n} = \arg\max_{t_{1:n}} \prod_{i=1}^n P(w_i \mid t_i) \cdot P(t_i \mid t_{i-1})$$

大白话: Viterbi 算法找最可能的标签序列 (Ch05 §10 HMM)。
数字例: "Book" 可作名词或动词, 上下文 "the " ⇒ 名词; " a flight" ⇒ 动词。
现代: BiLSTM/Transformer 准确率 > 97%。
典型题型: 写 HMM 公式; 用 Viterbi 找最佳路径。

🔴考点 27 · NER 与 BIO 标注 — 难度 🟡 L2¶

任务: 识别并分类专有名词 (人名/组织/地点/日期)。

BIO 标注: - B-TYPE: 类型 TYPE 实体的开始 (Begin) - I-TYPE: 类型 TYPE 实体的内部 (Inside) - O: 非实体 (Outside)

数字例: "Apple CEO Tim Cook announced in Cupertino on Monday" ⇒ Apple/B-ORG, Tim/B-PER, Cook/I-PER, Cupertino/B-LOC, Monday/B-DATE。
典型题型: 给句子, 标 BIO; 解释 B vs I 区别。

🔴考点 28 · CTC 损失与 blank token — 难度 🟡 L3¶

问题: OCR/语音识别中, 输入帧 $T$ 与输出字符 $L \le T$ 长度不匹配, 不知如何对齐。

解法: 引入 blank token $\epsilon$, 允许重复字符合并: $$P(y \mid x) = \sum_{\pi \in \mathcal{B}^{-1}(y)} \prod_{t=1}^T P(\pi_t \mid x)$$

大白话: 用 blank 隔开重复字符, "HH-ee-ll-ll-oo" $\to$ "Hello"。
关键: 没有 blank, "Hello" 的 "ll" 与单 "l" 无法区分。
计算: 前向-后向算法 (Ch05 HMM 类似) $O(TL)$。
数字例: $T=10$ 帧, 目标 "cat" ($L=3$), $\mathcal{B}^{-1}$ 含 $\binom{10+3+1-1}{...}$ 种对齐。
承 Ch05: 前向算法 = 动态规划, 同 HMM。
典型题型: 解释 blank 必要性; 算某对齐概率。

🔴考点 29 · 文本规范化 (NFC/NFD + 大小写 + 编辑距离) — 难度 🟢 L1¶

大小写折叠: "The" → "the"; 但 "US" (国) vs "us" (代) 会混。
Unicode NFC/NFD: "é" (U+00E9) vs "e" + 重音符 (U+0065 + U+0301) → NFC 合成, NFD 拆开。
承 Ch07 §01: 规范化压掉无关变体, 让 "Hello"/"hello"/"HELLO" 一致。
典型题型: 给两个等价字符串, 判断 NFC/NFD 是否相同。

🔴考点 30 · 词干 vs 词形还原 — 难度 🟢 L2¶

方法	输出	例子	工具
词干提取 (Stemming)	粗糙砍后缀	"running"→"run", "university"→"univers"	Porter stemmer
词形还原 (Lemmatisation)	字典形式 (lemma)	"running"→"run", "better"→"good", "mice"→"mouse"	WordNet, spaCy

词形还原需词性: "saw" 动→"see", 名→"saw"。
典型题型: 给词, 区分 stemmer 与 lemmatiser 输出。

🟡考点 31 · 嵌入类比 $v_a - v_b + v_c \approx v_d$ — 难度 🟡 L2¶

经典例: $v_{\text{king}} - v_{\text{man}} + v_{\text{woman}} \approx v_{\text{queen}}$; "Paris" - "France" + "Italy" ≈ "Rome"。

大白话: 嵌入空间把语义关系编码成近似线性方向 (Ch01 §1.3 线性代数)。
数字例: 余弦相似度 $\cos(v_{\text{king}} - v_{\text{man}} + v_{\text{woman}}, v_{\text{queen}}) \approx 0.7$ 以上为典型良好类比。
承 Ch01: "king - man" 是平行四边形法则。
典型题型: 给三词, 找最匹配第四词; 解释为何线性方向能编码语义。

🟡考点 32 · 上下文嵌入 ELMo — 难度 🟡 L3¶

核心: 用深度双向 LSTM 给每个 token 产生随上下文变化的表示 (而非静态词向量)。

大白话: "bank" 在 "river bank" 与 "bank account" 里有不同表示, ELMo 能区分。
承 Ch07 §03: Word2Vec 静态 (一词一向量) → ELMo 上下文相关 → BERT 进一步用 Transformer。
典型题型: 解释 ELMo 与 Word2Vec 区别; 解释开启"预训练-微调"范式。

🟡考点 33 · LoRA 低秩适配 — 难度 🟡 L3¶

思路: 不更新完整权重 $W$, 而学低秩更新 $W' = W + BA$, $B \in \mathbb{R}^{d \times r}, A \in \mathbb{R}^{r \times d}, r \ll d$ (通常 $r=4$ 到 $r=64$)。原 $W$ 冻结, 只训 $A, B$。

大白话: 改一点点, 不动整体。
数字例: $d=4096, r=8$, 可训参数 $= 2 \times 4096 \times 8 = 65536$, 占原参数 $4096^2 / 65536 = 256$ 分之一。
优势: 新增参数 < 5%, 推理时合并入 $W$ 无额外延迟。
典型题型: 算 LoRA 参数量; 解释为何低秩够用 (预训练权重已接近最优)。

🟡考点 34 · 缩放律与 Chinchilla — 难度 🟡 L3¶

Kaplan 缩放律 (2020): 损失 $L$ 与模型规模 $N$、数据 $D$、算力 $C$ 各服从幂律: $$L(N) \approx (N_c/N)^{\alpha_N}$$

Chinchilla (Hoffmann 2022) 修正: 给定算力 $C$, 最优分配是模型规模与训练数据等比放大: $$N^* \propto C^a, \quad D^* \propto C^b, \quad a \approx b$$

大白话: 大多数大模型训练不足, 数据不够; Chinchilla 让模型大小与数据平衡。
数字例: Chinchilla 70B 模型配 1.4T tokens; 旧 GPT-3 175B 配 300B tokens — 后者训练不足。
典型题型: 解释 Chinchilla 修正; 算给定算力的最优 N/D。

🟡考点 35 · Beam Search 束搜索 — 难度 🟡 L2¶

思路: 每步保留 top $k$ (束宽, beam width) 候选, 不只保留最优。

大白话: 贪心易陷局部最优; 束搜索保留多条路径。
长度归一化: $L = \frac{1}{T^\alpha} \sum \log P(w_t \mid w_{<t})$, $\alpha \in (0,1]$, 防偏短句。
数字例: $k=5$, 翻译时每步保留 5 个最佳前缀, 最后选综合分最高。
典型题型: 给概率表, 跑束搜索; 解释长度归一化必要性。

🟡考点 36 · Top-k / Top-p (Nucleus) 采样 — 难度 🟢 L2¶

Top-k: 每步只从概率最高的 k 个 token 中采样 (截断长尾)。
Top-p (Nucleus): 从累积概率达 p 的最小集合中采样 (动态集合大小)。
温度 T: $P_T(w) \propto \exp(\log P(w)/T)$。$T \to 0$ 趋贪心; $T \to 1$ 原始; $T > 1$ 更随机。
数字例: $T=0.7$, 概率分布 (0.5, 0.3, 0.15, 0.05) ⇒ 锐化为 (0.61, 0.30, 0.08, 0.01), 集中于高概率。
典型题型: 给概率与 T, 算温度后分布; 比较 top-k vs top-p。

🟡考点 37 · RLHF 三步流程 — 难度 🔴 L4 ⭐¶

三步: 1. SFT (Supervised Fine-Tuning): 人类写高质量 (提示, 回复) 数据, 微调基座。 2. 奖励模型训练: 收集人类比较 (给定提示, 哪个回复更好?), 训练 $r_\phi(x, y)$: $$\mathcal{L}_{\text{RM}} = -\log \sigma(r_\phi(x, y_w) - r_\phi(x, y_l))$$ 3. RL 微调: 用 PPO (Ch06 §37) 加 KL 惩罚: $$\mathcal{L}_{\text{RL}} = -\mathbb{E}[r_\phi(x, y) - \beta D_{\text{KL}}(\pi_\theta \| \pi_{\text{SFT}})]$$

β (KL 强度, 必标 "β (RLHF)"): 防模式坍塌与奖励黑客。
承 Ch06 §25: REINFORCE + 基线 → PPO (Ch06 §37)。
典型题型: 写 RLHF 三步; 解释 KL 惩罚必要性 (防奖励黑客)。

🟡考点 38 · DPO 直接偏好优化 — 难度 🔴 L4 ⭐¶

思路: 直接用偏好数据优化策略, 不显式训奖励模型。

\[\mathcal{L}_{\text{DPO}} = -\mathbb{E}\left[\log \sigma \left(\beta \log \frac{\pi_\theta(y_w \mid x)}{\pi_{\text{ref}}(y_w \mid x)} - \beta \log \frac{\pi_\theta(y_l \mid x)}{\pi_{\text{ref}}(y_l \mid x)}\right)\right]\]

β (DPO 温度, 必标 "β (DPO)"): 控制偏离参考策略的程度。
π_ref (参考策略): SFT 模型冻结, 通常 $\theta$ 参数复用。
承 Ch07 §37: DPO = RLHF 简化, 单阶段训练。
数字例: $\pi_\theta(y_w) = 0.4, \pi_{\text{ref}}(y_w) = 0.3$ ⇒ 对数比 $\log(0.4/0.3) \approx 0.288$。
典型题型: 解释 DPO 动机; 比较 DPO vs RLHF。

🟡考点 39 · 短语结构 vs 依存语法 — 难度 🟢 L2¶

短语结构 (CFG): 句法树由嵌套短语组成 (NP, VP, PP); 上下文无关文法产生式 $A \to \alpha$。

依存语法: 词与词之间的直接关系, 每词依附于一个中心词 (根节点除外); 边标语法关系 (主语/宾语/修饰语)。

数字例: "The cat sat on the mat" 短语结构: S → NP VP; VP → V PP; 依存: sat ← cat (主语), sat ← on (修饰), on ← mat (宾语)。
承 Ch07 §01: 两种语法是描述同一语言的不同视角。
典型题型: 给句子, 画短语结构树与依存树。

🟡考点 40 · 余弦相似度与嵌入评估 — 难度 🟢 L2¶

评估基准: - 类比任务: $v_a - v_b + v_c \approx v_d$ (Google analogy) - 相似度基准: 余弦相似度 vs 人类打分 (WordSim-353, SimLex-999)

数字例: $\cos(v_{\text{cat}}, v_{\text{dog}}) \approx 0.8$, $\cos(v_{\text{cat}}, v_{\text{car}}) \approx 0.3$。
承 Ch01 §1.5: 余弦 = 内积除以范数。
典型题型: 给两向量, 算余弦; 解释类比任务与下游任务的差异 (类比好不等于下游好)。

🟡考点 41 · MoE 专家混合 — 难度 🟡 L3 ⭐¶

核心: 多专家前馈层 + 路由器选哪几个专家处理每个 token。 $$y = \sum_{i=1}^N g_i(x) \cdot E_i(x)$$

γ (MoE 负载均衡权重, 必标 "γ (MoE)"): 惩罚专家分配不均。
专家并行: 不同专家分布不同加速器, 需 all-to-all 通信。
数字例: Mixtral 8×7B = 8 专家, 每 token 激活 2 个。
典型题型: 解释 MoE 动机; 算激活参数 vs 总参数。

🟡考点 42 · CTC + CRNN 文字识别 — 难度 🟡 L3 ⭐¶

CRNN: CNN 抽视觉特征 → 沿水平方向切序列 → BiLSTM 建模上下文 → CTC 解码。

承 Ch07 §28: CTC 损失 + blank。
数字例: 输入 32×100 文字图像, CNN 抽 (1, 25) 特征序列, BiLSTM 输出 (25, 类别数), CTC 解码。
典型题型: 画 CRNN 流水线; 解释 CTC 在文字识别中的作用。

三、对比记忆表 (高频 L3-L4 必背)¶

表 A · Word2Vec vs GloVe vs FastText¶

维度	Word2Vec	GloVe	FastText
学习信号	局部上下文窗口	全局共现矩阵	字符 n-gram
目标	预测上下文/中心词	$w_i^\top \tilde w_j \approx \log X_{ij}$	子词嵌入之和
OOV 处理	无 (整词)	无 (整词)	有 (字符 n-gram)
训练效率	高 (负采样)	中 (矩阵分解)	中
嵌入质量	优秀	优秀	略低但更鲁棒
适用	通用语料	通用语料	形态丰富语言

表 B · GPT vs BERT¶

维度	GPT (仅解码器)	BERT (仅编码器)
注意力	因果 (上三角掩码)	双向 (无掩码)
预训练目标	CLM (预测下一个)	MLM (掩码填空) + NSP
上下文	只能用过去	全文
主任务	生成 (对话/续写/翻译)	理解 (分类/QA/NER)
代表规模	GPT-3 1750 亿	BERT-base 1.1 亿
关键能力	ICL (上下文学习)	微调迁移
后续	GPT-4, LLaMA, Claude	RoBERTa, DeBERTa

表 C · RNN/LSTM/GRU 三件套¶

维度	RNN	LSTM	GRU
门数	0	3 (遗忘/输入/输出)	2 (更新/重置)
细胞状态	无	$C_t$ 长期记忆	仅 $h_t$
参数量	少	多 (~4× RNN)	中 (~3× RNN)
梯度消失	严重	缓解	缓解
长依赖	弱	强	中
首选	教学/简单任务	长序列建模	效率优先

表 D · BPE vs WordPiece vs Unigram¶

维度	BPE	WordPiece	Unigram
选合并对标准	频率最高	PMI 类打分 $\text{freq}(AB)/(\text{freq}(A)\text{freq}(B))$	删除后似然下降最少
起点	单字符	单字符	大词表
方向	增量合并	增量合并	反向剪枝
代表	GPT, RoBERTa	BERT	SentencePiece, XLNet
子词标记	无	非词首 "##"	元标记

表 E · BLEU vs ROUGE vs METEOR vs F1¶

指标	类型	核心	适用
BLEU	精确率主导, 多 n-gram 几何均值	$n$-gram 重叠, BP 惩罚	机器翻译
ROUGE	召回率主导	n-gram 召回	摘要
METEOR	同义词 + 词干	加权 + 词序罚	翻译 (克服 BLEU 缺陷)
F1	调和均值 $2PR/(P+R)$	P 与 R 平衡	分类 / QA / NER token 级
EM	精确匹配 (0/1)	完全相同	抽取式 QA

表 F · 正弦 vs 可学习 vs RoPE vs ALiBi 位置编码¶

方法	编码类型	是否需训练	长度外推	代表
正弦	绝对, 固定频率	否	弱	原始 Transformer
可学习	绝对, 可训练	是	无	BERT, GPT-2
RoPE	相对, 旋转	否	强 ✓	LLaMA, Mistral
ALiBi	相对, 线性偏置	否	强 ✓	BLOOM

四、易错点合集 (22 条, 含如何避坑)¶

#	易错陈述	错在哪 / 如何避坑
1	"Word2Vec 没用全局信息"	skip-gram 隐式分解 PMI 矩阵 (Levy & Goldberg 2014), 利用全局统计; 但训练方式是局部上下文窗口。避坑: 区分"训练信号"与"训练方式"。
2	"Word2Vec 词向量是上下文无关的"	Word2Vec/GloVe = 静态嵌入 (一词一向量); ELMo/BERT = 上下文嵌入。避坑: 静态 vs 上下文是两代技术, 首次出现必标。
3	"BPE 越合并越好"	合并到一定程度后, 词表过大, embedding 表爆炸。避坑: 词表 30k-100k 平衡。
4	"WordPiece = BPE"	WordPiece 用 PMI 类打分 (非词首 "##"); BPE 用频率。避坑: 写公式时标清楚。
5	"n-gram 越大越好"	数据稀疏, $V^k$ 维度灾难; 实践中 $n=3,4$ 常见。避坑: 用神经 LM (RNN/Transformer) 突破窗口限制。
6	"困惑度 = 熵"	PPL = $2^H$ (二进制) 或 $e^H$ (自然对数), 单位必标 (Ch05 §05)。避坑: 写 PPL 必带单位; bit → 2^, nat → e^。
7	"Bi-RNN 适合所有序列任务"	Bi-RNN 不能用于语言建模 (偷看未来); 仅适合序列标注。避坑: 给任务先判"能否看未来"。
8	"seq2seq 无瓶颈"	整个输入压进一个固定向量, 长句装不下。避坑: 用注意力 (Bahdanau/Luong/缩放点积)。
9	"BERT 能直接生成文本"	BERT 双向注意力, 无 [MASK] 时无自然生成方向。避坑: 生成用 GPT (因果) 或 T5/BART (编码器-解码器)。
10	"MLM 80/10/10 设计随意"	80% [MASK] 让模型学会填空; 10% 随机词 + 10% 保持原样让模型不只对 [MASK] 有反应, 缓解预训练-微调 mismatch。避坑: 三种替换配比是论文核心, 不能简化。
11	"Attention 中 $\sqrt{d_k}$ 可省"	不除会 softmax 近 one-hot, 梯度消失。避坑: 写公式时必带 $\sqrt{d_k}$ (Ch06 §19 同坑)。
12	"RoPE = 加性位置编码"	RoPE 用旋转, 注意力分数只依赖相对位置; 正弦是加性到 embedding。避坑: 区分编码方式, RoPE 改 Q/K 而非 embedding。
13	"BLEU 高 = 翻译好"	BLEU 不懂语义, 不懂同义; 短句 + 高频词堆叠可刷分 (短句惩罚 BP 缓解)。避坑: BLEU 配合 METEOR/人工评估。
14	"ROUGE-N 越高越好, 不看短句"	ROUGE-N 是召回率, 长候选自然高; ROUGE-L 用 LCS 兼顾词序。避坑: 摘要评估看 ROUGE-1/2/L 综合。
15	"CTC 不需要 blank token"	没 blank, "Hello" 的 "ll" 与单 "l" 无法区分。避坑: blank 是 CTC 核心设计。
16	"LSTM 解决所有 RNN 问题"	LSTM 缓解梯度消失, 不解决梯度爆炸; 仍需梯度裁剪。避坑: 长序列加梯度裁剪 + LayerNorm。
17	"Chinchilla = 模型越大越好"	Chinchilla 是模型与数据等比放大; 旧 GPT-3 训练不足。避坑: 给定算力先算最优 N/D, 再决定模型规模。
18	"LoRA 一定能替代全量微调"	任务与预训练差距大时, 低秩可能不够。避坑: LoRA 适合"风格/指令微调", 不适合"新知识注入"。
19	"RLHF 三步可合并"	SFT / 奖励模型 / PPO 三步有依赖 (SFT 作参考策略)。避坑: 不能跳步; DPO 才是单阶段替代。
20	"DPO 不需要参考模型"	DPO 用 $\pi_{\text{ref}}$ (SFT 模型冻结) 计算对数比。避坑: 实现必加载参考模型副本。
21	"BLEU/ROUGE 数值可直接比较"	BLEU 多个 n-gram 与 BP, ROUGE 多 ROUGE-N/L; 数值不可直接比。避坑: 同任务同指标比较。
22	"Ch07 PPL 与 Ch05 熵单位互不相关"	PPL = $2^H$ (bit) 或 $e^H$ (nat), 必须明示单位; Ch05 §05 已强调。避坑: 写 PPL 必带 bit/nat (见 §1.13)。

五、复习路径 (3 / 7 / 14 天)¶

3 天速成 (考前冲刺, 抓核心 25 考点)¶

Day 1 (主线): §03 词嵌入 (考点 1-6) + §02 文本处理 (考点 7-10)
Day 2 (主线): §03 序列模型 (考点 11-16) + §04 Transformer 三大范式 (考点 17-22)
Day 3 (主线): §02 评估指标 (考点 23-25) + §02 经典任务 (考点 26-28) + 刷闪卡前 30 张

7 天均衡 (期末前 1 周)¶

Day 1: §01-02 语言学 + 文本规范化 (闪卡前 10 张)
Day 2: §02 经典 NLP (POS/NER/HMM/CTC) (闪卡 11-20)
Day 3: §03 词嵌入三件套 (Word2Vec/GloVe/FastText) (闪卡 21-30)
Day 4: §03 序列模型 (RNN/LSTM/seq2seq/Bahdanau) (闪卡 31-40)
Day 5: §04 Transformer + BERT/GPT/T5 (闪卡 41-50)
Day 6: §04 位置编码 + LoRA + 缩放律 + §05 高级生成
Day 7: 阶段测试题 25 题全做 + 易错点表过一遍

14 天扎实 (考研/系统学习)¶

Day 1-2: §01-02 语言学基础 + 文本处理 (闪卡 1-10 + 信息图公式 1-5)
Day 3-4: §03 词嵌入 + 序列模型 (闪卡 11-20 + 信息图公式 6-10)
Day 5-6: §03 seq2seq + 注意力机制 (闪卡 21-30 + 信息图公式 11-15)
Day 7-8: §04 Transformer 架构 + 三大范式 (闪卡 31-40)
Day 9-10: §04 位置编码 + LoRA + 缩放律 (闪卡 41-50)
Day 11-12: §04 评估指标 + §05 高级生成 (阶段测试题 1-13)
Day 13: §05 RLHF/DPO/MoE/扩散模型 (阶段测试题 14-25)
Day 14: 总复盘 + 易错点表 + 跨章对比表

六、自测清单 (10 问, L1-L5)¶

答不出来的考点回 §二对应小节, 或交叉看 ../讲解稿/第07章/01-05.md + ../闪卡/第07章_*.md + ../阶段测试题/第07章.md + ../信息图/第07章_*.md

[ ] L1: Word2Vec 两种架构 (CBOW/Skip-gram) 的输入输出分别是什么? 负采样的损失公式怎么写?
[ ] L1: TF-IDF 公式怎么写? 给 3 篇文档与 5 个词, 算某词的 TF-IDF 向量。
[ ] L2: 困惑度公式怎么写? 完美模型的 PPL 是多少? 均匀分布 (V=1000) 的 PPL 是多少 (单位: bit)?
[ ] L2: BPE 算法 4 步怎么走? 给小语料, 手工跑 3 轮合并, 列出词表。
[ ] L2: Bi-RNN 适合 POS/NER 但不适合语言建模, 为什么?
[ ] L3: LSTM 三门 (遗忘/输入/输出) 各自作用是什么? 写细胞状态更新公式。GRU 与 LSTM 的关键区别?
[ ] L3: 缩放点积注意力公式怎么写? $\sqrt{d_k}$ 在分母的物理意义是什么? 不除会怎样?
[ ] L3: BERT 与 GPT 在注意力掩码与训练目标上的区别? 各适合什么任务?
[ ] L4: BLEU 公式怎么写? 短句惩罚 BP 是什么, 为什么需要? ROUGE-N 公式与 BLEU 的关键区别?
[ ] L5 (错): 下列哪条是错的, 错在哪? (a) Word2Vec 静态嵌入一词一向量, ELMo 上下文嵌入; (b) BLEU 与 ROUGE 都用 n-gram, 可以直接比较数值; (c) BERT 用双向注意力所以能直接生成文本; (d) Bi-RNN 在语言建模中可用。

第 10 题答案 (L5 反例): (b) 错 — BLEU 用 n-gram 精确率 (含 BP), ROUGE-N 用 n-gram 召回率, 量纲与构造不同, 数值不可直接比 (避坑见 §四第 21 条)。(c) 也错 — BERT 双向注意力无 [MASK] 时无自然生成方向, 须用 GPT (因果) 或 T5/BART (编码器-解码器) 做生成 (避坑见 §四第 9 条)。(d) 也错 — Bi-RNN 不能用于语言建模, 因预测下一个 token 时会偷看未来 (避坑见 §四第 7 条)。(a) 对 — Word2Vec/GloVe 静态, ELMo 用 BiLSTM 产生上下文表示。避坑: 严格读 §四易错点表对应条目。

本章结束钩子: Ch07 把 Ch06 神经网络 + Ch05 信息论工具应用到语言任务 — 词嵌入分解 PMI 矩阵, 注意力机制编码上下文, BERT/GPT 定义预训练-微调范式, RLHF 让模型对齐人类偏好。Ch08 计算机视觉将进入图像领域, 用 Ch06 CNN 处理像素 — 卷积、池化、ResNet 与 Vision Transformer 与 Ch07 文本处理形成"对称"。

方法	公式	编码类型	长度外推
正弦	\(\text{PE}_{(pos, 2i)} = \sin(pos/10000^{2i/d})\)	绝对, 固定	弱
可学习	\(E \in \mathbb{R}^{L \times d}\), 训练	绝对, 可学习	无 (受训练长度限制)
RoPE	旋转 Q/K, 角度 \(m\theta_i\)	相对, 旋转	强 ✓
ALiBi	\(\text{score}_{ij} = q_i^\top k_j - m \cdot \\|i-j\\|\)	相对, 线性偏置	强 ✓

维度	BPE	WordPiece	Unigram
选合并对标准	频率最高	PMI 类打分 \(\text{freq}(AB)/(\text{freq}(A)\text{freq}(B))\)	删除后似然下降最少
起点	单字符	单字符	大词表
方向	增量合并	增量合并	反向剪枝
代表	GPT, RoBERTa	BERT	SentencePiece, XLNet
子词标记	无	非词首 "##"	元标记

指标	类型	核心	适用
BLEU	精确率主导, 多 n-gram 几何均值	\(n\)-gram 重叠, BP 惩罚	机器翻译
ROUGE	召回率主导	n-gram 召回	摘要
METEOR	同义词 + 词干	加权 + 词序罚	翻译 (克服 BLEU 缺陷)
F1	调和均值 \(2PR/(P+R)\)	P 与 R 平衡	分类 / QA / NER token 级
EM	精确匹配 (0/1)	完全相同	抽取式 QA