Ch07 计算语言学 · 闪卡 (50 张)¶
类型分布 (实际): 定义 16 (32%) + 公式 26 (52%) + 直觉 2 (4%) + 反例 5 (10%) + 类比 1 (2%) = 50。 注: Ch07 是公式密集章 (Transformer / 注意力 / RLHF 等), 公式卡比例高以满足 ≥8 关键公式覆盖的硬约束; 直觉与类比作为反例 / 定义内的语义补充。 关键公式覆盖 (12 张): BPE、TF-IDF、Word2Vec 负采样 + PMI、LSTM 三门控、Bahdanau 注意力、缩放点积 Attention、GPT CLM 损失、RoPE 旋转、LoRA 低秩适配、Chinchilla 缩放律、MoE 路由 + 均衡损失、BLEU、RLHF 奖励模型、DPO、推测解码、GRPO、BERTScore、Elo — 远超 ≥8 要求。 三色标签: 🟢 16 / 🟡 29 / 🔴 5。
§01 语言学基础 (10 张)¶
卡片 1（🟢 定义）¶
Q: 语素 (morpheme) 与词根 (root) 的关系？给一个具体拆解例。 A: 语素是承载意义的最小单位；词根是语素中承载核心意义的中心语素。"unhappiness" 拆为前缀 "un" + 词根 "happy" + 后缀 "ness"，三个语素里词根是 "happy"。"compute" → "computation" 中 "compute" 是词根，"tion" 是派生后缀。 提示: 语素是建筑砖块，词根是主梁。 来源: 01.语言学基础 §形态学
卡片 2（🟢 定义）¶
Q: 屈折 (inflection) 与派生 (derivation) 的区别？ A: 屈折不改变核心意义或词性，只改语法属性："run" → "runs" / "running" / "ran"。派生造出新词，常改变词性与平移意义："happy" (形) → "happiness" (名)、"compute" (动) → "computational" (形)。派生会在向量空间里把语义推到新位置；屈折只沿同一词条移动。 提示: 同词换皮 vs 换骨头。 来源: 01.语言学基础 §形态学
卡片 3（🟢 定义）¶
Q: 短语结构语法 (CFG) 与依存语法的形式区别？ A: CFG 用嵌套短语搭出成分树：S → NP VP, NP → Det N, VP → V NP。节点是短语类型 (NP/VP/PP)。依存语法直接给词与词的二元关系：每个词 (除根) 恰好挂在一个中心词下，边标 nsubj / pobj / det 等语法关系。CFG 输出嵌套树；依存输出扁平化的词-词边。 提示: 嵌套 vs 关系。 来源: 01.语言学基础 §句法
卡片 4（🟡 公式）¶
Q: Chomsky 范式对 CYK 算法的要求是什么？CYK 时间复杂度？ A: Chomsky 范式要求每条规则右侧要么是两个非终结符 (\(A \to BC\))、要么是一个终结符 (\(A \to a\))。CYK 用 Chomsky 范式才能从下往上填三角表，每个单元 \([i,j]\) 存能生成 \(w_{i:j}\) 的非终结符集合。复杂度 \(O(n^3 \cdot |G|)\)，\(n\) 句长、\(|G|\) 文法大小。例：句长 10、文法 50 条规则 → 上限 50,000 次单元格操作。 提示: 二叉规则 → 多项式算法。 来源: 01.语言学基础 §句法 / 02.文本处理 §CYK
卡片 5（🟢 定义）¶
Q: 上下义 (hypernymy / hyponymy) 与部分整体 (meronymy) 的区别？ A: 上下义是"是一个"关系："dog" 是 "animal" 的下位词 (hyponym)，"animal" 是上位词 (hypernym)，构成"动物类"层级。部分整体是"是一部分"："wheel" 是 "car" 的部分整体词 (meronym)。两条关系都不可传递链扩展到无关词：车的轮子是车的一部分，但车的轮子不是车引擎的一部分。 提示: is-a vs part-of。 来源: 01.语言学基础 §语义
卡片 6（🟡 直觉）¶
Q: 分布假说 (distributional hypothesis) 一句话，并指出它在 Word2Vec / GloVe 的角色。 A: Firth 1957："看一个词，就看它跟什么词一起出现" (you shall know a word by the company it keeps)。两个词若频繁出现在相似上下文，语义也相似。它是 Word2Vec (用局部窗口预测) 与 GloVe (分解全局共现矩阵) 的理论根基 —— 这两条路径在数学上都隐式地分解了"逐点互信息 (PMI) 矩阵"。 提示: 上下文即意义。 来源: 01.语言学基础 §语义 / 03.词嵌入 §Word2Vec
卡片 7（🔴 反例/易错）¶
Q: "I saw the man with the telescope" 至少有两种合法分析，这是为什么？ A: 这是经典的句法歧义。分析 1: "with the telescope" 修饰动词 "saw"（我用望远镜看到了那个人）。分析 2: "with the telescope" 修饰名词 "man"（我看到了一个带着望远镜的人）。CFG 在两种情况下都能套出合法成分树。统计句法分析器靠词性序列的先验概率打破歧义，但纯句法层面两种都合法。 提示: PP 附着歧义。 来源: 01.语言学基础 §句法
卡片 8（🟡 类比）¶
Q: 把语用学的"会话含义"类比成什么最容易理解？ A: 类比成"弦外之音"：字面是水面，会话含义是水下暗流。如果有人问"John 厨艺好吗?" 你回 "他是英国人"，字面答非所问，但借助文化刻板 (且不论公不公平) 暗示 "不好"。Grice 的合作原则把这理解为：听者假设说话人会"切题"，于是从表面不切题的答案里推出隐含信息。类比陷阱：不是所有"不切题"都是会话含义，背景噪音也可能造成。 提示: 水面 vs 水下暗流。 来源: 01.语言学基础 §语用学
卡片 9（🟢 定义）¶
Q: 言语行为 (speech act) 三分法？ A: Austin / Searle 把一句"话"拆成三层：(1) 言内行为 (locutionary) — 字面内容 ("Can you pass the salt?")；(2) 言外行为 (illocutionary) — 说话意图 (这是一个请求，不是问能力)；(3) 言后行为 (perlocutionary) — 对听者的实际效果 (他把盐递过来了)。NLP 对话系统要识别"言外"才能正确响应。 提示: 内容、意图、效果。 来源: 01.语言学基础 §语用学
卡片 10（🟢 定义）¶
Q: 音位 (phoneme) 与音位变体 (allophone) 的关键区别？给一对例子。 A: 音位是能区分意义的最小声音单位。音位变体是同一音位的不同物理实现，不改意义。英语 "pin" 里的 /p/ 送气 (有气流)，"spin" 里的 /p/ 不送气，母语者把它们当同一个音 (同一音位的两个变体)。但 "bat" 的 /b/ 与 "pat" 的 /p/ 是不同音位 (最小对立对)，互换会改意义。 提示: 区分意义 vs 不区分意义。 来源: 01.语言学基础 §音系学
§02 文本处理与经典 NLP (10 张)¶
卡片 11（🟡 公式）¶
Q: TF-IDF 的公式？给一个 3 文档语料中的具体数例。 A: \(\text{TF-IDF}(t,d) = \text{TF}(t,d) \times \text{IDF}(t)\)，其中 \(\text{IDF}(t) = \log\frac{N}{|\{d : t \in d\}|}\)。例：3 文档语料 \(N=3\)，"cat" 出现在 2 篇，\(\text{IDF}(\text{cat}) = \log(3/2) \approx 0.405\)。"the" 出现在 3 篇，\(\text{IDF}(\text{the}) = \log(3/3) = 0\)，被自动压低。"cat" 在文档 1 出现 2 次，\(\text{TF}=2\)，\(\text{TF-IDF} = 2 \times 0.405 = 0.810\)。 提示: 词频 × 稀有度。 来源: 02.文本处理 §TF-IDF
卡片 12（🟡 公式）¶
Q: BPE 算法的 4 步流程？Sennrich 经典 4 词语料中首轮合并的是哪一对？ A: (1) 词表初始化为所有单字符；(2) 统计相邻 token 对频率；(3) 把频率最高的对合并成新 token；(4) 重复 (2)-(3) 至目标词表大小。Sennrich 经典语料 "low"×5 + "lower"×2 + "newest"×6 + "widest"×3，首轮 (e,s) 频率 = 6 (newest) + 3 (widest) = 9 为最高，合并为 "es"。次轮 (es,t) 频率 9 合并为 "est"。 提示: 高频对逐步合并。 来源: 02.文本处理 §BPE
卡片 13（🟡 定义）¶
Q: WordPiece 与 BPE 的合并判据差异？ A: BPE 直接用相邻对绝对频率选合并对。WordPiece 用类 PMI 打分 \(\dfrac{\text{freq}(AB)}{\text{freq}(A)\cdot\text{freq}(B)}\)，优先合并"统计上强关联"的对 (即合起来比独立预期更频繁)。BERT 用 WordPiece；非词首子词带 "##" 前缀 (例："playing" → "play" + "##ing")。两者都是贪心、自底向上的合并算法。 提示: 绝对频率 vs 关联强度。 来源: 02.文本处理 §WordPiece
卡片 14（🟢 定义）¶
Q: 词干提取 (stemming) 与词形还原 (lemmatisation) 的关键区别？ A: 词干提取用粗糙规则砍后缀：Porter 把 "running" → "run"、"happiness" → "happi"、"studies" → "studi"，快但粗，"university" 与 "universe" 都被砍成 "univers"。词形还原查词表 + 词法分析找出字典形式："running" → "run"、"better" → "good"、"mice" → "mouse"，需要 POS ("saw" 作动 = see，作名 = saw)。词形还原比词干精确。 提示: 砍尾 vs 查词表。 来源: 02.文本处理 §词形还原
卡片 15（🟡 公式）¶
Q: 困惑度 (perplexity) 的两种等价公式？给一个数字例。 A: \(\text{PPL} = P(w_{1:N})^{-1/N} = \exp\!\left(-\frac{1}{N}\sum_{i=1}^N \log P(w_i \mid w_{<i})\right)\)。例：3 词测试集 \(w_1,w_2,w_3\)，模型给条件概率 \(0.5, 0.4, 0.5\)，则 \(\text{PPL} = \exp(-( \log 0.5 + \log 0.4 + \log 0.5)/3) = \exp(-( -0.693 - 0.916 - 0.693)/3) = \exp(0.767) \approx 2.15\)。PPL 越低越好；10000 词词表均匀分布时 PPL = 10000，bigram 可降到约 200，神经 LM 可压到 20 以下。 提示: 平均分支因子。 来源: 02.文本处理 §困惑度
卡片 16（🟡 公式）¶
Q: 编辑距离 (Levenshtein) 的动态规划递推与一个数字例。 A: $$ D[i][j] = \begin{cases} j & i=0 \ i & j=0 \ D[i{-}1][j{-}1] & s[i]=t[j] \ 1 + \min(D[i{-}1][j], D[i][j{-}1], D[i{-}1][j{-}1]) & \text{否则} \end{cases} $$。三种操作为插入、删除、替换。例："kitten" → "sitting" 距离 3：k→s、e→i、插入 g。算法时间 \(O(mn)\)。 提示: 删 / 插 / 替换取最小。 来源: 02.文本处理 §编辑距离
卡片 17（🟢 定义）¶
Q: BIO 标注 (BIO tagging) 在 NER 中的角色？举一个具体例。 A: NER 把 token 序列标注为实体边界 + 类型。每个 token 得一个标签：B-TYPE (实体首字)、I-TYPE (实体内部)、O (非实体)。例："Tim Cook visited New York" → Tim/B-PER Cook/I-PER visited/O New/B-LOC York/I-LOC。B 标签在两个同类型实体紧邻时关键：没有 B 就分不出"New York" 与"York York"。 提示: 边界 + 类型。 来源: 02.文本处理 §NER
卡片 18（🟡 公式）¶
Q: 线性链 CRF 的条件概率公式？它对 HMM 的关键优势？ A: \(P(y_{1:n} \mid x_{1:n}) = \dfrac{1}{Z(x)}\exp\!\left(\sum_i [\sum_k \lambda_k f_k(y_i, x, i) + \sum_j \mu_j g_j(y_i, y_{i-1}, x, i)]\right)\)。\(f_k\) 是发射特征 (位置 \(i\) 输入下标签 \(y_i\) 的得分)，\(g_j\) 是转移特征 (前标签 \(y_{i-1}\) → 当前标签 \(y_i\) 的得分)。CRF 是判别式的 (直接建模 \(P(y \mid x)\))，HMM 是生成式的 (\(P(x,y)\))。CRF 的关键优势：可施加结构约束如 I-PER 只能在 B-PER/I-PER 之后出现，绝不能在 O 后。 提示: 判别 vs 生成 + 结构约束。 来源: 02.文本处理 §CRF
卡片 19（🟢 定义）¶
Q: 大小写折叠 (case folding) 在哪些 NLP 任务里会"毁掉有用信息"？ A: 大小写折叠统一把文本转小写，常见但不是无代价。易毁场景：(1) "US" (美国) vs "us" (代词)，国家缩写会被误并；(2) "Apple" (公司) vs "apple" (水果)，专有名词被混；(3) 句首大写 ("The cat" vs "the cat" 在情感任务里有时保留句法信号)。一般做法是：在分类任务可全折；在 NER / 问答保留原始大小写。 提示: 大写常携带实体信号。 来源: 02.文本处理 §规范化
卡片 20（🔴 反例/易错）¶
Q: n-gram 模型 \(P(w_i \mid w_{i-1}) = \text{count}(w_{i-1},w_i) / \text{count}(w_{i-1})\) 直接拿来用会出什么问题？给出至少两种修法。 A: 直接最大似然会让训练集中从未出现的 n-gram 概率为 0，测试时只要遇到一个未登录 (OOV) bigram，整句概率直接归 0。修法：(1) 加一 (Laplace) 平滑 \(P = (\text{count}+1)/(\text{count}+V)\)；(2) 退回低阶：trigram 里若 count=0，回退到 bigram (Katz back-off)；(3) Kneser-Ney：用"前序多样性"替换原始计数 (例："Frisbee" 常在 "San" 后出现，所以 "San Francisco" 不该被视为罕见 bigram)。现代神经 LM 用 subword + 大词表 + 上下文嵌入基本绕过这类问题。 提示: 零概率陷阱。 来源: 02.文本处理 §n-gram
§03 词嵌入与序列模型 (10 张)¶
卡片 21（🟢 定义）¶
Q: Word2Vec 的 CBOW 与 Skip-gram 在数据流上的对称差异？ A: CBOW 用上下文窗口 (如 "the cat ___ on the") 的嵌入平均预测中心词 ("sat")。Skip-gram 反过来：用中心词嵌入逐个预测上下文词 (对 "sat" 分别预测 "the"、"cat"、"on"、"the")。Skip-gram 对低频词更好 (每个词产生多个训练样本)；CBOW 更快、对高频词稍好 (平均多个上下文信号)。 提示: 上下文→中心 vs 中心→上下文。 来源: 03.词嵌入 §Word2Vec
卡片 22（🟡 公式）¶
Q: Word2Vec 负采样 (negative sampling) 的损失函数形式？噪声分布常取什么？ A: \(\mathcal{L} = \log\sigma(v_{w_O}^\top v_{w_I}) + \sum_{i=1}^k \mathbb{E}_{w_i \sim P_n}[\log\sigma(-v_{w_i}^\top v_{w_I})]\)。第一项鼓励真实上下文词 \(w_O\) 与输入词 \(w_I\) 嵌入相似，第二项让 \(k\) 个从噪声分布 \(P_n\) 采的负样本与 \(w_I\) 不相似。\(P_n\) 常取一元词频的 3/4 次方 (压一压 "the" 这种超高频词)。Levy & Goldberg 2014 证明收敛后 \(v_w^\top v_c \approx \text{PMI}(w,c) - \log k\)。 提示: 正样本拉近 + 负样本推远。 来源: 03.词嵌入 §Word2Vec 负采样
卡片 23（🟡 公式）¶
Q: GloVe 的目标方程？它与 Word2Vec 的关系？ A: GloVe 学嵌入让点积近似 log 共现：\(w_i^\top \tilde w_j + b_i + \tilde b_j = \log X_{ij}\)，损失 \(\mathcal{L} = \sum_{i,j} f(X_{ij})(w_i^\top \tilde w_j + b_i + \tilde b_j - \log X_{ij})^2\)，\(f\) 是截顶函数防止超高频共现主导。GloVe 先建全局共现矩阵 \(X\) 再分解；Word2Vec 从局部上下文窗口一次次学。两者在数学上都隐式分解 PMI 矩阵，实践中嵌入质量相当。 提示: 全局分解 vs 局部分布。 来源: 03.词嵌入 §GloVe
卡片 24（🟢 定义）¶
Q: 为什么 \(v_{\text{king}} - v_{\text{man}} + v_{\text{woman}}\) 离 \(v_{\text{queen}}\) 最近？ A: 嵌入空间把语义关系编码成近似线性的方向：皇室方向 ≈ \(v_{\text{king}} - v_{\text{man}}\) (king 是 man 的"皇室版")。把它加到 woman 上 \(v_{\text{woman}} + (v_{\text{king}} - v_{\text{man}})\) 就落在 queen 附近。这是类比任务的"翻译不变性"：性别、皇室、时态等语义关系对应向量空间的平移方向。但要注意：方向只在"语义正交轴"上近似稳定，组合多个关系时常被噪声破坏。 提示: 语义即平移。 来源: 03.词嵌入 §Word2Vec 类比
卡片 25（🟡 公式）¶
Q: LSTM 的三个门控公式与"长期记忆"的来源？ A: LSTM 三门共享 \(\sigma\) 激活但参数独立：\(f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)\) (遗忘门，决定从 cell state 丢掉什么)；\(i_t = \sigma(W_i [h_{t-1}, x_t] + b_i)\) (输入门，决定新写入什么)；\(o_t = \sigma(W_o [h_{t-1}, x_t] + b_o)\) (输出门，决定从 cell state 暴露什么到 \(h_t\))。Cell state \(c_t = f_t \odot c_{t-1} + i_t \odot \tanh(W_c [h_{t-1}, x_t] + b_c)\) 是一条加性通路 — 遗忘门 + 加性更新让梯度可长程传播，这是 LSTM 解决 RNN 梯度消失的关键。 提示: 遗忘 + 输入 + 输出三门 + cell state 加性通路。 来源: 03.词嵌入 §LSTM (跨章引用 Ch06)
卡片 26（🟡 公式）¶
Q: Bahdanau 加性注意力的对齐分数与上下文向量公式？ A: Bahdanau 注意力对齐分数 \(e_{ti} = v^\top \tanh(W_s s_{t-1} + W_h h_i)\)，其中 \(s_{t-1}\) 是上一解码器状态、\(h_i\) 是第 \(i\) 个编码器状态。softmax 归一化 \(\alpha_{ti} = \exp(e_{ti})/\sum_j \exp(e_{tj})\)。上下文向量 \(c_t = \sum_i \alpha_{ti} h_i\) 是编码器状态的加权和。关键洞察：每个解码步都拿到一份"量身定做"的上下文，不是整句共用一个固定向量。 提示: 加性打分 + 加权求和。 来源: 03.词嵌入 §Bahdanau 注意力
卡片 27（🟡 公式）¶
Q: 双向 RNN 在语言建模任务里不能用？为什么？ A: 双向 RNN 在位置 \(t\) 同时用过去 (\(\overrightarrow h_t\)) 和未来 (\(\overleftarrow h_t\))，拼接 \(h_t = [\overrightarrow h_t; \overleftarrow h_t]\)。这对 POS / NER (词义需看上下文) 极有用，但语言建模要求"预测下一个 token 时不能偷看未来" —— 否则目标 \(P(w_i \mid w_{<i})\) 直接泄露。ELMo 用双向 LM 是两个独立的前向 / 后向 LM 分别训练、再组合表示，规避了这个边界。 提示: 双向 ≠ 语言建模。 来源: 03.词嵌入 §ELMo
卡片 28（🟡 定义）¶
Q: 束搜索 (beam search) 的长度归一化为何必要？长度惩罚 \(\alpha\) 取多少？ A: 不归一化时模型偏好短序列：长度 \(L\) 序列的概率是 \(L\) 项乘积，\(L\) 越大自然乘积越小、模型倾向尽早停。归一化分数 \(\text{score}(y) = \dfrac{1}{|y|^\alpha}\sum_{t=1}^{|y|}\log P(y_t \mid y_{<t})\)。\(\alpha=0\) 无归一化；\(\alpha=1\) 等价于几何平均 (每 token 对数概率)；常用 \(\alpha=0.6{-}0.7\) 在"倾向简洁"与"避免过早截断"之间取平衡。 提示: 越长越亏，加 α 补偿。 来源: 03.词嵌入 §束搜索
卡片 29（🟢 定义）¶
Q: FastText 为何能对未见过的词产出嵌入？
A: FastText 把每个词表示成字符 n-gram 的袋 + 整词。词 "where" 在 \(n=3\) 时拆成 "
卡片 30（🔴 反例/易错）¶
Q: 在类比任务上得高分的 Word2Vec 嵌入，在下游任务 (情感分类) 上一定更好吗？ A: 不一定。类比任务衡量"语义平移"的几何性质；情感分类更看"局部判别方向"。两者目标函数不同：类比对低频关系敏感，下游任务对高频特征敏感。最好的评估往往就是任务本身：在自家数据上做微调 / probe，比任何通用基准都更能预测实战表现。教训：基准分数与下游收益的相关性弱，不要盲目追求 leaderboard。 提示: 基准 ≠ 任务本身。 来源: 03.词嵌入 §评估
§04 Transformer 与语言模型 (10 张)¶
卡片 31（🟡 公式）¶
Q: 缩放点积注意力的公式？\(\sqrt{d_k}\) 的作用是什么？ A: \(\text{Attention}(Q, K, V) = \text{softmax}(QK^\top / \sqrt{d_k})V\)。\(Q, K \in \mathbb{R}^{n \times d_k}\)。除以 \(\sqrt{d_k}\) 是为了让 softmax 输入的方差稳定在 1 附近：当 \(Q, K\) 各分量独立零均值方差 1 时，\(QK^\top\) 的方差为 \(d_k\)，不缩放会让 softmax 输入极大、梯度极小 ("softmax saturation")。层数深时这个细节是训练稳定性的关键。 提示: 缩放防 softmax 饱和。 来源: 04.Transformer §缩放点积注意力
卡片 32（🟡 公式）¶
Q: GPT 因果语言建模 (CLM) 的损失函数？ A: \(\mathcal{L}_{\text{CLM}} = -\sum_{i=1}^n \log P(w_i \mid w_1, \ldots, w_{i-1})\)。因果注意力掩码把未来位置的分数在 softmax 前设 \(-\infty\)，让位置 \(i\) 只能看到 \(w_{<i}\)。这是 n-gram LM 目标的"换参数化"版本：条件不再是最后 \(k-1\) 个 token，而是整个历史。训练时把整句一次性 forward，每个位置独立计算损失并求和，无需滚动。 提示: 每位置预测下一个。 来源: 04.Transformer §GPT
卡片 33（🟡 公式）¶
Q: BERT 掩码语言建模 (MLM) 的损失？被遮 token 的 80/10/10 替换策略目的是什么？ A: \(\mathcal{L}_{\text{MLM}} = -\sum_{i \in \mathcal{M}}\log P(w_i \mid w_{\setminus\mathcal{M}})\)，\(\mathcal{M}\) 是被遮位置的集合。选中 token 中：80% 替换 [MASK]、10% 替换随机词、10% 保持原样。10%/10% 策略防止模型只在看到 [MASK] 时才预测（微调阶段没有 [MASK]，纯 [MASK] 训练会让模型不匹配实际输入分布）。 提示: 去噪目标 + 分布匹配。 来源: 04.Transformer §BERT MLM
卡片 34（🟡 公式）¶
Q: RoPE (旋转位置编码) 的二维子空间旋转公式与"相对位置"性质的来源？ A: 对每个 \((q_{2i}, q_{2i+1})\) 维度，按角度 \(m\theta_i\) (其中 \(\theta_i = 10000^{-2i/d}\)、\(m\) 是位置) 旋转：$$ \begin{bmatrix} q'{2i} \ q' $$。键同样旋转 }\end{bmatrix} = \begin{bmatrix} \cos m\theta_i & -\sin m\theta_i \ \sin m\theta_i & \cos m\theta_i\end{bmatrix}\begin{bmatrix} q_{2i} \ q_{2i+1}\end{bmatrix\(n\theta_i\)。注意力分数 \(q'^\top k' = (R_m q)^\top (R_n k) = q^\top R_{n-m} k\)：用到旋转群性质 \(R_m^\top R_n = R_{n-m}\)，仅依赖相对位置 \(n-m\)，与绝对位置无关。 提示: 旋转矩阵相对位移不变。 来源: 04.Transformer §RoPE
卡片 35（🟡 公式）¶
Q: LoRA 低秩适配的权重改写与"零推理延迟"的来源？ A: LoRA 不更新原权重 \(W\)，学低秩增量 \(W' = W + BA\)，\(B \in \mathbb{R}^{d \times r}\)、\(A \in \mathbb{R}^{r \times d}\)、\(r \ll d\) (常 \(r=4{-}64\))。\(W\) 冻结，只训 \(A, B\)。推理时把 \(BA\) 直接合并进 \(W\)：\(W' = W + BA\) 一次性算好存起来，forward 用 \(W' x\) 与用原 \(W\) 等价，零额外延迟。LoRA 把可训练参数量减到 1/32~\(1/8\)，效果追平全量微调。 提示: 低秩增量可合并。 来源: 04.Transformer §LoRA
卡片 36（🟡 公式）¶
Q: Chinchilla 缩放律与"每参数约 20 token"的来源？ A: Chinchilla (Hoffmann 2022) 修正 Kaplan 2020 的结论：对固定算力预算 \(C\)，最优分配是 \(N_{\text{opt}} \propto C^{0.5}\)、\(D_{\text{opt}} \propto C^{0.5}\) (模型规模与训练 token 同等放大)。Chinchilla (70B 参数 + 1.4T token) 在相同算力下追平 Gopher (280B 参数 + 300B token)，证明 Kaplan 时代多数模型严重训练不足。经验法则 ≈ 每参数 20 token 训练。 提示: 算力翻倍，\(N\) 与 \(D\) 各 × \(\sqrt 2\)。 来源: 04.Transformer §Chinchilla
卡片 37（🟡 公式）¶
Q: MoE 路由的门控函数与负载均衡损失的公式？ A: \(G(x) = \text{TopK}(\text{softmax}(W_g x))\)，选 top-\(k\) 个专家 (常 \(k=1\) 或 \(k=2\))。8 专家 + top-2 → 参数量 4× 稠密模型，但激活算力只 2×。负载均衡损失 \(\mathcal{L}_{\text{balance}} = E \cdot \sum_{i=1}^E f_i \cdot p_i\)，\(f_i\) 是分配给专家 \(i\) 的 token 比例、\(p_i\) 是专家 \(i\) 的平均路由概率。仅当 \(f_i = p_i = 1/E\) (均匀) 时乘积最小。DeepSeek-V3 用无辅助损失的偏置项实现均衡，避开拉低质量的辅助损失。 提示: TopK 路由 + 均衡损失。 来源: 04.Transformer §MoE
卡片 38（🟢 定义）¶
Q: 上下文学习 (ICL) 是什么？为什么 GPT-3 才"涌现"它？ A: ICL 指大语言模型能仅凭提示词里的几个输入-输出示例学会执行新任务，不更新任何权重。GPT-3 (175B) 证明：仅靠规模就能激活 ICL，模型把示例当作"隐式规格说明"使用。机理假说之一：注意力层在前向传播中实现了某种"梯度下降"，相当于在上下文示例上"训练"了一遍。它与全量微调 / LoRA 的关键区别是零参数更新，完全在推理时完成。 提示: 演示即训练。 来源: 04.Transformer §ICL
卡片 39（🟡 公式）¶
Q: BLEU 的公式与"短句惩罚 BP"的作用？ A: \(\text{BLEU} = \text{BP} \cdot \exp\!\left(\sum_{n=1}^N w_n \log p_n\right)\)，\(p_n\) 是修改后的 n-gram 精确率 (候选中每个 n-gram 次数被截断到参考中最大次数)，\(w_n\) 常均匀 (\(1/N\)，\(N=4\))。BP = \(\min(1, \exp(1 - r/c))\)，\(c\) 候选长、\(r\) 参考长。BP 惩罚过短候选：没有它，模型只需输出"the the the"这种短而保险的词就能拿高精确率。 提示: 多阶精确率 + 短句惩罚。 来源: 04.Transformer §BLEU
卡片 40（🔴 反例/易错）¶
Q: "the cat is on the mat" 与 "a feline sits atop the rug" 意思几乎相同，BLEU 会给高分吗？ A: 不会，BLEU 给 0 分 (二元组无重叠)。BLEU 奖励精确的 n-gram 字符级匹配，完全错过合理同义改写。这是 BLEU 的根本局限：句子级相关性差，语料级才有合理相关性。改进：(1) METEOR 引入词干 / 同义词匹配 (Porter stemmer + WordNet)；(2) BERTScore 用上下文嵌入的余弦相似度代替字符匹配，"feline" 与 "cat" 的 BERT 嵌入很接近，能拿到高分；(3) BLEURT 直接在人类评分上微调 BERT。 提示: 字符匹配 ≠ 语义匹配。 来源: 04.Transformer §BLEU 局限
§05 高级文本生成 + 评测 (10 张)¶
卡片 41（🟡 公式）¶
Q: RAG 检索器-读者架构两组件各自做什么？检索器如何用稠密向量？ A: 检索器 (retriever) 把查询映射到语料里 top-\(k\) 个相关片段；读者 (reader, 一个 LM) 在查询 + 检索片段共同条件下生成答案。稠密段落检索 (DPR) 用双编码器：一个 BERT 型编码器把问题映射成向量，另一个把段落映射成向量；建索引时所有段落编码存好，查询时用近似最近邻 (FAISS) 找最近段落，相似度 = 问题与段落向量的点积。RAG 优势：知识库可不重训更新、可给引用、减少幻觉。 提示: 检索 + 生成两步。 来源: 05.高级文本生成 §RAG
卡片 42（🟡 公式）¶
Q: RLHF 三步流水线与奖励模型的损失？ A: (1) SFT：在人类写的高质量"提示-回复"对上微调基座 LM。(2) 奖励模型训练：收集人类比较 (给定 \(x\) 与两个回复 \(y_w, y_l\))，训奖励模型 \(r_\phi(x, y)\) 用 Bradley-Terry 损失 \(\mathcal{L}_{\text{RM}} = -\log\sigma(r_\phi(x, y_w) - r_\phi(x, y_l))\)。(3) RL 微调：用 PPO 优化 \(\mathcal{L}_{\text{RL}} = -\mathbb{E}[r_\phi(x,y) - \beta D_{\text{KL}}(\pi_\theta \| \pi_{\text{SFT}})]\)，KL 惩罚防止"奖励黑客"与模式坍塌。 提示: SFT + 奖励模型 + PPO。 来源: 05.高级文本生成 §RLHF
卡片 43（🟡 公式）¶
Q: DPO 损失的公式？它如何"砍掉奖励模型"？ A: \(\mathcal{L}_{\text{DPO}} = -\log\sigma\!\left(\beta\log\dfrac{\pi_\theta(y_w\mid x)}{\pi_{\text{ref}}(y_w\mid x)} - \beta\log\dfrac{\pi_\theta(y_l\mid x)}{\pi_{\text{ref}}(y_l\mid x)}\right)\)。推导：RLHF 的带 KL 约束最优策略有闭式 \(\pi^*(y\mid x) \propto \pi_{\text{ref}}(y\mid x)\exp(r(x,y)/\beta)\)，反解出 \(r(x,y) = \beta\log(\pi^*/\pi_{\text{ref}}) + \beta\log Z(x)\)。代入 Bradley-Terry 后 \(Z(x)\) 项互相抵消，得到直接对当前 vs 参考模型的对数比的 sigmoid 损失。DPO 一步监督完成，无需单独训奖励模型 + PPO。 提示: 反解奖励消 Z(x)。 来源: 05.高级文本生成 §DPO
卡片 44（🟡 公式）¶
Q: 推测解码的接受概率与"分布等价"如何保证？ A: 草稿模型提议 \(k\) 个候选 token \(t\)，以概率 \(\min(1, p_{\text{target}}(t)/p_d(t))\) 接受。拒绝时从修正分布 \(p_{\text{adj}}(t) \propto \max(0, p_{\text{target}}(t) - p_d(t))\) 重采样。发出 \(t\) 的总概率 = 直接接受贡献 + 重采样贡献：(a) \(p_{\text{target}} \le p_d\) 时直接接受贡献 \(p_{\text{target}}\)；(b) \(p_{\text{target}} > p_d\) 时直接接受贡献 \(p_d\)，重采样贡献 \(p_{\text{target}} - p_d\)。两种情形总和都等于 \(p_{\text{target}}(t)\)，所以输出分布严格等于只用目标模型的输出分布，草稿模型只影响速度、不影响质量。 提示: 接受/拒绝守恒分布。 来源: 05.高级文本生成 §推测解码
卡片 45（🟡 公式）¶
Q: GRPO 的组内优势归一化公式？它为何能"砍掉价值网络"？ A: 对每个提示，GRPO 采样一组 \(G\) 个输出，组内归一化优势 \(A_i = \dfrac{r_i - \text{mean}(r_1,\ldots,r_G)}{\text{std}(r_1,\ldots,r_G)}\)。策略梯度直接用这些组相对优势 + PPO 截断目标。PPO 需要 critic 网络估计 baseline；GRPO 用"同提示同组其他输出的奖励均值"作 baseline，砍掉 critic 网络。内存 / 算力开销减半，让 671B 参数模型训 RL 可行。 提示: 组均值作 baseline。 来源: 05.高级文本生成 §GRPO
卡片 46（🟡 公式）¶
Q: BERTScore 的精确率与召回率公式？它如何绕过"字符不匹配"？ A: \(R_{\text{BERT}} = \dfrac{1}{|r|}\sum_{r_i \in r}\max_{c_j \in c}\cos(r_i, c_j)\)，\(P_{\text{BERT}} = \dfrac{1}{|c|}\sum_{c_j \in c}\max_{r_i \in r}\cos(c_j, r_i)\)，\(F_{\text{BERT}}\) 是两者的调和平均 (常加权 \(\beta\))。\(r_i, c_j\) 是参考 / 候选 token 的上下文嵌入 (来自预训练 BERT)。每个参考 token 找候选中余弦最近的，反向亦然。"automobile" 与 "car" 的 BERT 嵌入很接近 → BERTScore 给高分，即使字符无重叠。 提示: 嵌入余弦最近邻。 来源: 05.高级文本生成 §BERTScore
卡片 47（🟡 公式）¶
Q: Elo 评分预期胜率与更新公式？ A: 模型 \(A\) 对 \(B\) 的预期胜率 \(P(A \succ B) = \dfrac{1}{1 + 10^{(R_B - R_A)/400}}\)。每次比较后更新 \(R'_A = R_A + K(S - P(A \succ B))\)，\(S \in \{0,1\}\) 实际结果、\(K\) 控制更新幅度。稳定击败强对手分数迅速上升；输给弱对手分数下滑。Chatbot Arena 用真实用户盲评成对比较，聚合为 Elo 榜 —— 这避免了标定问题 (不同裁判对"5 分制里的 3 分"基线不同)，但仍受位置偏差 / 冗长偏差影响。 提示: 预期胜率 + 增量更新。 来源: 05.高级文本生成 §Elo
卡片 48（🟢 定义）¶
Q: "迷失在中间" (lost in the middle) 现象与缓解方向？ A: Liu et al. 2023 发现：LLM 倾向有效利用上下文窗口的首尾，对中间位置信息力不从心。原因：(1) 训练数据分布：重要信息常在文档开头或结尾；(2) 注意力模式偏向邻近和最靠前 token。缓解：用把关键信息放在不同位置的长上下文训练分散数据分布；推理时把核心指令 / 关键证据放在开头或结尾；大海捞针评测 (任意位置插入"针") 暴露这一效应。 提示: U 型注意力。 来源: 05.高级文本生成 §长上下文
卡片 49（🔴 反例/易错）¶
Q: "pass@k = 1 − C(n−c, k)/C(n, k)" 公式是越简单越好的"取最好"吗？ A: 不是。朴素"取 \(k\) 个样本里最好的"会有偏差 (越大 \(k\) 越容易"撞上"通过，pass@k 越高)。公式 \(\text{pass@}k = 1 - \dfrac{\binom{n-c}{k}}{\binom{n}{k}}\) 是无偏估计：\(\binom{n-c}{k}/\binom{n}{k}\) 是"所有 \(k\) 个都失败"的概率，1 减去它就是"至少一个通过"的概率。这对 HumanEval / MBPP 这类代码基准尤其关键 —— 模型一次生 \(n\) 个解，pass@k 衡量的是真正"题能做对"的概率，而非"取最优解的运气"。 提示: 无偏估计胜于朴素最大。 来源: 05.高级文本生成 §HumanEval
卡片 50（🟡 直觉）¶
Q: SSM 的"双视图"核心洞察是什么？推理与训练各走哪条路径？ A: SSM 写成递推 \(x_k = \bar A x_{k-1} + \bar B u_k\)、\(y_k = C x_k + D u_k\) 像 RNN (推理 \(O(1)\)/步)；但因系统线性，输出也可展开成全局卷积 \(y = \bar K * u\)，\(\bar K = (C\bar B, C\bar A\bar B, C\bar A^2\bar B, \ldots)\) 只依赖固定参数 (训练用 FFT 在 \(O(n\log n)\) 时间高效算)。双视图 = 推理用递推 (自回归高效) + 训练用卷积 (并行高效)，这是 SSM 取代 RNN 的关键数学洞察。Mamba 引入选择性 SSM 让 \(B, C, \Delta\) 依赖输入，打破卷积视图、改用并行扫描算法。 提示: 递推 vs 卷积二象性。 来源: 05.高级文本生成 §SSM
附:关键公式清单 (≥ 8 项核对)¶
| # | 公式 | 涉及卡片 |
|---|---|---|
| 1 | BPE 合并判据 + Sennrich 4 词语料首轮 (e,s)=9 | C12 |
| 2 | TF-IDF = TF × IDF；IDF = log(N/df) | C11 |
| 3 | Word2Vec 负采样损失 + PMI 极限 \(v_w^\top v_c \approx \text{PMI} - \log k\) | C22 |
| 4 | LSTM 三门 f/i/o + cell state 加性通路 | C25 |
| 5 | 缩放点积 Attention = softmax(QK^⊤/√d_k) V | C31 |
| 6 | GPT CLM 损失 = −Σ log P(w_i | w_{<i}) | C32 |
| 7 | RoPE 二维旋转 + \(R_m^\top R_n = R_{n-m}\) 相对位置 | C34 |
| 8 | RAG 检索器-读者 + DPR 双编码器点积 | C41 |
| 9 | RLHF 奖励模型 BT 损失 + KL 惩罚 | C42 |
| 10 | DPO 损失 (β log ratio 差) | C43 |
| 11 | 推测解码接受概率 = min(1, p_target/p_draft) | C44 |
| 12 | BLEU = BP · exp(Σ w_n log p_n) | C39 |
统计: 定义 16 / 公式 26 / 直觉 2 / 反例 5 / 类比 1 = 50 张。🟢 16、🟡 29、🔴 5。Ch07 是公式密集章, 公式卡比例高于通用模板 25%。