Ch06 机器学习 · 闪卡 (50 张)¶

版本: v1.0 (Ch06 启动, 强制写作规范 v1.2 适配) 分布: §01 经典 ML (10) + §02 梯度 ML (10) + §03 深度学习 (12) + §04 分布式 (8) + §05 强化学习 (10) 类型: 定义 13 + 公式 14 + 直觉 12 + 反例/易错 9 + 类比 2 承接: Ch05 信息论承接卡 ≥ 4 (卡 6/9/14/25); 跨章符号卡 ≥ 3 (卡 1/15/32); 关键公式卡 ≥ 8 (MSE/BCE/CCE/SVM/Softmax/Attention/Adam/BN)

卡片 1（🟢 定义）¶

Q: Ch06 符号表约定：本章 \(\lambda\) 在 Ridge/Softmax/AdamW 各代表什么？首次出现的强制标注口诀？ A: 符号表 — \(\lambda_{\text{Ridge}}\) 为 L2 正则系数，\(\lambda_{\text{Softmax}}\) 为温度倒数别名（实际温度记 \(\tau\)），\(\lambda_{\text{AdamW}}\) 为权重衰减系数，三者同形但语义不同。Ch04 \(\lambda\)（特征值/Lagrange 乘子）与本章 \(\lambda\)（正则系数）共用字母，跨章切换必须显式重标。提示: 同一字母不同语义，强制符号表隔离。来源: 跨章符号契约 v2 §1.12

卡片 2（🟡 公式）¶

Q: 朴素贝叶斯 (Naive Bayes) 分类决策规则的形式与一个数字例子？ A: \(\hat{y}=\arg\max_k P(C_k)\prod_{i=1}^n P(x_i\mid C_k)\)。例：垃圾/正常邮件两类，\(P(\text{spam})=0.3\)，词 \(w_1\) 在 spam 出现率 \(0.4\)、在 normal \(0.05\)；\(w_2\) 在 spam \(0.01\)、normal \(0.3\)。新邮件含两词：\(\text{spam 分子}=0.3\cdot0.4\cdot0.01=0.0012\)，\(\text{normal 分子}=0.7\cdot0.05\cdot0.3=0.0105\)，判为 normal。提示: 独立性假设换连乘。来源: 01.经典 ML §朴素贝叶斯

卡片 3（🟢 定义）¶

Q: 高斯朴素贝叶斯 (Gaussian NB) 的类条件概率公式与数字例？ A: \(P(x_i\mid C_k)=\dfrac{1}{\sqrt{2\pi\sigma_{ik}^2}}\exp\!\bigl(-\tfrac{(x_i-\mu_{ik})^2}{2\sigma_{ik}^2}\bigr)\)。例：类别 \(A\) 下特征 \(x\) 的 \(\mu_A=2,\sigma_A^2=1\)，则 \(x=2\) 处密度 \(=\tfrac{1}{\sqrt{2\pi}}\approx0.399\)（非概率！需归一化）。提示: 密度值可大于 1。来源: 01.经典 ML §高斯 NB

卡片 4（🔴 反例/易错）¶

Q: 多项式朴素贝叶斯训练集中某词对某类从未共现，会发生什么？怎么修？ A: 该 \((x_i, C_k)\) 似然为 0，整条连乘塌成 0，后验直接判负。修法：Laplace 平滑 \(P(x_i\mid C_k)=\dfrac{\text{count}(x_i,C_k)+\alpha}{\text{count}(C_k)+\alpha V}\)，取 \(\alpha=1\)。注意 \(\alpha\)（平滑参数）≠ Ch04 显著性水平 \(\alpha\)，符号契约须标。提示: 零概率陷阱；\(\alpha\) 多义，强制消歧。来源: 01.经典 ML §Laplace

卡片 5（🟢 定义）¶

Q: 决策树节点的基尼不纯度 (Gini impurity) 定义、最大值、纯节点取值？ A: \(\text{Gini}(S)=1-\sum_{k=1}^K p_k^2\)。二分类均衡时 \(p_1=p_2=0.5\)，\(\text{Gini}=1-2\cdot0.25=0.5\) 取最大值；单类纯节点 \(p_1=1\)，\(\text{Gini}=0\)。完全信息熵与基尼通常给出几乎相同的分裂序列。提示: \(p_k^2\) 求和而非 \(p_k\log\)。来源: 01.经典 ML §决策树

卡片 6（🟡 公式）[Ch05 信息论承接]¶

Q: 决策树香农熵的定义与一个数字例子？承接 Ch05 信息论的什么？ A: \(H(S)=-\sum_{k=1}^K p_k\log_2 p_k\)，单位 bit。例：二分类 50/50 时 \(H=-2\cdot0.5\cdot\log_2 0.5=1.00\) bit；纯节点 100/0 时 \(H=0\)。承接 Ch05 §05 香农熵：决策树用同公式做节点不纯度度量，把"信息论"直接落到分类准则里。提示: 同 \(H\)，单位 bit 必标。来源: 01.经典 ML §熵

卡片 7（🟡 公式）¶

Q: 信息增益 (Information Gain) 公式与一个数字例子？ A: \(\text{IG}(S,\text{split})=H(S)-\tfrac{|S_L|}{|S|}H(S_L)-\tfrac{|S_R|}{|S|}H(S_R)\)。例：父节点 \(S\)（80 正 20 反）\(H(S)=0.722\) bit；按某特征分裂得 \(S_L\)（70/5）\(H=0.348\)，\(S_R\)（10/15）\(H=0.970\)。\(\text{IG}=0.722-0.75\cdot0.348-0.25\cdot0.970=0.722-0.504=0.218\) bit。提示: 加权而非等权。来源: 01.经典 ML §信息增益

卡片 8（🟡 公式）¶

Q: 软间隔 SVM 主问题形式与正则系数 \(C\) 的作用？ A: \(\min_{w,b,\xi}\tfrac{1}{2}\|w\|^2+C\sum_i\xi_i\) s.t. \(y_i(w\cdot x_i+b)\ge 1-\xi_i\)，\(\xi_i\ge 0\)。\(C\) 大 → 严罚错分（窄间隔、低偏置高方差）；\(C\) 小 → 容忍越界（宽间隔、更正则）。注意 \(C\) 与 L2 正则系数 \(\lambda\) 在对偶里互为倒数 \(C=1/(\lambda n)\)。提示: \(C\) 与 \(\lambda\) 互逆。来源: 01.经典 ML §SVM

卡片 9（🟡 公式）[Ch05 信息论承接]¶

Q: AdaBoost 弱学习器权重公式与一个数字例？同 Ch05 熵有什么关系？ A: \(\alpha_t=\tfrac{1}{2}\ln\bigl(\tfrac{1-\epsilon_t}{\epsilon_t}\bigr)\)。例：\(\epsilon_t=0.2\) → \(\alpha_t=0.5\cdot\ln(0.8/0.2)=0.5\cdot\ln 4=0.693\)；\(\epsilon_t=0.5\) → \(\alpha_t=0\)（学不到东西，不投票）。\(\ln\) 表对数似然，对应 Ch05 §04 最大似然估计的目标 — 同 Ch05 信息论一脉。提示: \(\epsilon=0.5\) 时权重归零。来源: 01.经典 ML §AdaBoost

卡片 10（🟡 直觉）¶

Q: K 均值与高斯混合模型 (GMM) 的关键差别？空簇怎么处理？ A: K 均值做"硬分配"（每点只属一簇）+ 等协方差球形高斯；GMM 给"软分配"（每点对每簇一个责任度）+ 各簇独立 \(\mu_k,\Sigma_k,\pi_k\)。空簇：随机重初始化或最远点重初始化（scikit-learn 默认后者）。提示: 软硬、协方差形状差异。来源: 01.经典 ML §K 均值/GMM

卡片 11（🟢 定义）¶

Q: MSE (均方误差) 的公式与一个可心算数字例？ A: \(\text{MSE}=\tfrac{1}{n}\sum_{i=1}^n(y_i-\hat y_i)^2\)。例：\(n=3\)，真实 \(y=(1,2,3)\)，预测 \(\hat y=(1.1,1.9,3.2)\) → 残差 \((0.1,0.1,0.2)\) → \(\text{MSE}=(0.01+0.01+0.04)/3=0.02\)。例：\(n=2\)，\(y=(0,0)\)，\(\hat y=(0.1,0.1)\) → \(\text{MSE}=0.01\)（典型答案值）。提示: 同公式不同 \(n\) 必标参数。来源: 02.梯度 ML §MSE

卡片 12（🟡 公式）¶

Q: 正规方程 (Normal Equation) 闭式解与何时失效？ A: \(w^*=(X^\top X)^{-1}X^\top y\)。失效条件：\(X^\top X\) 奇异，即特征线性相关或 \(d>n\)（特征数大于样本数）。此时需走正则化（Ridge）或梯度下降。注意 \(X^\top\in\mathbb{R}^{d\times n}\)，\(X^\top X\in\mathbb{R}^{d\times d}\)。提示: 形状与可逆性条件。来源: 02.梯度 ML §正规方程

卡片 13（🟢 定义）¶

Q: Sigmoid 函数与一个数字例？\(\sigma'(z)\) 的漂亮形式？ A: \(\sigma(z)=\tfrac{1}{1+e^{-z}}\)。例：\(z=0\) → \(\sigma=0.5\)；\(z=2\) → \(\sigma\approx0.881\)；\(z=-2\) → \(\sigma\approx0.119\)。导数 \(\sigma'(z)=\sigma(z)(1-\sigma(z))\)，由 \(\sigma(0)=0.5\) 推出 \(\sigma'(0)=0.25\) 最大。提示: 导数形式好记忆。来源: 02.梯度 ML §Sigmoid

卡片 14（🟡 公式）[Ch05 信息论承接]¶

Q: 二元交叉熵 (BCE) 公式与一个数字例？承接 Ch05 信息论的什么？ A: \(\mathcal{L}=-\tfrac{1}{n}\sum_i\bigl[y_i\log\hat y_i+(1-y_i)\log(1-\hat y_i)\bigr]\)。例：\(n=1\)，\(y=1\)，\(\hat y=0.9\) → \(L=-1\cdot\log 0.9-0\cdot\log 0.1=0.105\)；\(y=1\)，\(\hat y=0.5\) → \(L=\log 2=0.693\) bit。承接 Ch05 §05 交叉熵 \(H(P,Q)\)：BCE 是同公式在二分类下的特例，单位 bit（PyTorch 默认 nat，本书口径 bit）。提示: bit vs nat 默认必标。来源: 02.梯度 ML §BCE

卡片 15（🟡 公式）¶

Q: 梯度下降更新式与学习率 \(\eta\) 副作用（跨章符号卡）？ A: \(w\leftarrow w-\eta\tfrac{\partial\mathcal{L}}{\partial w}\)。\(\eta\)（学习率，Ch06 口径）≠ Ch04 显著性水平 \(\eta\)（拒绝水平别名），≠ Ch03 §05 学习率初始定义，但本质同概念；首次出现必标"\(\eta\) — 学习率，\(\eta>0\)"。\(\eta\) 大 → 跨过山谷震荡；\(\eta\) 小 → 蠕动卡局部极小。提示: \(\eta\) 跨章多义，强制消歧。来源: 02.梯度 ML §GD（符号契约 v2 §1.12）

卡片 16（🟢 定义）¶

Q: BGD/SGD/Mini-batch GD 三者的对比与典型 batch 大小？ A: BGD（批量）每步用全部 \(n\) 个样本算精确梯度，慢；SGD（随机）每步只 1 个样本，梯度噪声大但步快；Mini-batch 折中，常用 \(B\in\{32,64,128,256\}\)。噪声反而帮跳浅局部极小，是深度学习主流。提示: 速度 vs 精度的折中。来源: 02.梯度 ML §BGD/SGD

卡片 17（🟡 公式）¶

Q: Adam 优化器四个公式与默认超参数？ A: (1) \(m_t=\beta_1 m_{t-1}+(1-\beta_1)g_t\)；(2) \(v_t=\beta_2 v_{t-1}+(1-\beta_2)g_t^2\)；(3) \(\hat m_t=m_t/(1-\beta_1^t)\)，\(\hat v_t=v_t/(1-\beta_2^t)\)；(4) \(w\leftarrow w-\eta\hat m_t/(\sqrt{\hat v_t}+\epsilon)\)。默认 \(\beta_1=0.9\)（一阶矩 EMA 权重），\(\beta_2=0.999\)（二阶矩 EMA 权重），\(\epsilon=10^{-8}\)。\(\beta_1,\beta_2\) 与 Ch04 二类错误率 \(\beta\)、Ch05 Beta 分布参数 \(\beta\) 同字母，符号契约须标。提示: \(\beta_1,\beta_2\) 跨章多义必标。来源: 02.梯度 ML §Adam（关键公式卡）

卡片 18（🔴 反例/易错）¶

Q: L2 正则化诱导"小权重但不稀疏"，L1 才是稀疏原因。常见错误表述？ A: 错："L1 范数天生稀疏友好/L2 范数致密"。对：\(L^1\) 正则项（在优化目标里）使解稀疏，\(L^2\) 正则项使解幅值小但每个分量非零。范数本身不稀疏，是正则项落到目标函数后改变了解的形态。承接 §1.9 强制规范。提示: 范数 ≠ 正则项。来源: 02.梯度 ML §正则化（WRITING_TEMPLATE §1.9）

卡片 19（🟡 公式）¶

Q: Softmax 函数与一个数字例（含温度缩放）？ A: \(\text{Softmax}(z_i)=e^{z_i}/\sum_j e^{z_j}\)。例：\(z=(2,1,0)\) → \(e^z=(7.389,2.718,1.000)\)，和 \(11.107\) → \(\sigma=(0.665,0.245,0.090)\)，和为 1。温度版 \(\sigma_i=e^{z_i/\tau}/\sum_j e^{z_j/\tau}\)：\(\tau=2\) 拉平（更软），\(\tau\to 0\) 趋 one-hot（更硬）。提示: 概率和为 1。来源: 02.梯度 ML §Softmax（关键公式卡）

卡片 20（🟡 公式）¶

Q: 多类交叉熵 (CCE) 公式与一个数字例？ A: \(\mathcal{L}=-\tfrac{1}{n}\sum_i\sum_{k=1}^K y_{ik}\log\hat y_{ik}\)。例：\(n=1\)，\(K=3\)，真 one-hot \(y=(1,0,0)\)，预测 \(\hat y=(0.7,0.2,0.1)\) → \(L=-\log 0.7=0.357\) bit；若 \(\hat y=(0.5,0.3,0.2)\) → \(L=\log 2=0.693\) bit。CCE 是 BCE 在多分类的推广（BCE 中 \(K=2\)）。提示: \(y\) one-hot 时只剩一项。来源: 02.梯度 ML §CCE（关键公式卡）

卡片 21（🟢 定义）¶

Q: MLP 单层计算与万能逼近定理一句话？ A: \(h=\sigma(Wx+b)\)，\(W\in\mathbb{R}^{d_\text{out}\times d_\text{in}}\)。万能逼近定理：单隐层 + 足够多神经元可在紧定义域上以任意精度逼近任何连续函数，但代价是参数指数级多 — 深度才是效率关键。提示: 表达力 ≠ 效率。来源: 03.深度学习 §MLP

卡片 22（🟡 公式）¶

Q: ReLU/GELU/Swish 三种激活函数的定义与一个数字例？ A: ReLU: \(\max(0,x)\)；GELU: \(x\cdot\Phi(x)\)，\(\Phi\) 标准正态 CDF；Swish: \(x\cdot\sigma(x)\)。例 \(x=-1\)：ReLU 输出 0（神经元"死"），GELU 输出 \(\approx -1\cdot 0.159=-0.159\)（少量负值通过），Swish 输出 \(-1\cdot 0.269=-0.269\)。负半轴差异显著。提示: 负值处理是关键区分。来源: 03.深度学习 §激活函数

卡片 23（🔴 反例/易错）¶

Q: 批归一化 (BatchNorm) 在推理时用什么统计量？为什么？ A: 用运行均值/方差（训练时的指数滑动平均 EMA），而非当前 batch 的统计量。原因：推理时单样本无 batch 维度可算，且训练 batch 统计量噪声大。带来训练/测试不一致风险 — 训练需同步更新 EMA。提示: 训练 batch vs 推理 EMA。来源: 03.深度学习 §BatchNorm

卡片 24（🟡 公式）[关键公式卡]¶

Q: BatchNorm 公式与一个数字例？ A: \(\hat x=(x-\mu_B)/\sqrt{\sigma_B^2+\epsilon}\)，\(y=\gamma\hat x+\beta\)（\(\gamma,\beta\) 可学习）。例：batch 内某特征 \(x=(1,2,3,4,5)\)，\(\mu_B=3\)，\(\sigma_B^2=2\)，\(\epsilon=10^{-5}\) → \(\hat x=(-2,-1,0,1,2)/\sqrt{2}\approx(-1.414,-0.707,0,0.707,1.414)\)；\(\gamma=1,\beta=0\) 时 \(y=\hat x\)。提示: \(\epsilon\) 防除零；与 Adam 的 \(\epsilon\) 角色不同。来源: 03.深度学习 §BN（关键公式卡）

卡片 25（🟡 公式）[Ch05 信息论承接]¶

Q: Xavier 与 He 初始化的方差公式与依据？承接 Ch05 正态分布的什么？ A: Xavier: \(\text{Var}(W)=2/(d_\text{in}+d_\text{out})\)，假设 tanh/线性保持方差；He: \(\text{Var}(W)=2/d_\text{in}\)，专为 ReLU 设计（ReLU 把一半激活置零，需补偿双倍方差）。承接 Ch05 §03 正态分布：两者都从 \(\mathcal{N}(0,\sigma^2)\) 采样权重，把方差不变量推到深度网络里。提示: Xavier ≠ He，因子差 \(d_\text{out}/d_\text{in}\)。来源: 03.深度学习 §初始化

卡片 26（🟢 定义）¶

Q: Dropout 训练时做什么？测试时呢？反向 Dropout 的关键技巧？ A: 训练时每个神经元以概率 \(p\) 被随机置零；测试时所有神经元激活。反向 Dropout (inverted dropout) 训练时把激活乘以 \(1/(1-p)\)，测试时不再缩放 — 这是标准实现，避免部署时漏改代码。提示: 训练除以 \((1-p)\)。来源: 03.深度学习 §Dropout

卡片 27（🟡 公式）¶

Q: 2D 卷积公式与输出尺寸公式？ A: \((\text{input}*K)[i,j]=\sum_{m=0}^{k-1}\sum_{n=0}^{k-1}\text{input}[i+m,j+n]\cdot K[m,n]\)。输出尺寸 \(\text{out}=\lfloor(\text{in}-k+2p)/s\rfloor+1\)。例：in=5, k=3, p=1, s=1 → out=\(\lfloor(5-3+2)/1\rfloor+1=5\)（"same"）；in=5, k=3, p=0, s=1 → out=3（"valid"）。提示: same vs valid 看 padding。来源: 03.深度学习 §CNN

卡片 28（🟡 公式）¶

Q: RNN 单步公式与梯度消失的原因？ A: \(h_t=\tanh(W_h h_{t-1}+W_x x_t+b)\)。反传 \(k\) 步要连乘 \(\tanh'(W_h\cdots)\)，\(\tanh'\le 1\) 且常 \(<1\) → 梯度指数级缩向 0。LSTM/GRU 通过加性细胞状态绕开连乘。提示: 权重共享是双刃剑。来源: 03.深度学习 §RNN

卡片 29（🟡 公式）[关键公式卡]¶

Q: Attention(Q,K,V) 公式与 \(\sqrt{d_k}\) 的作用？ A: \(\text{Attention}(Q,K,V)=\text{softmax}\bigl(QK^\top/\sqrt{d_k}\bigr)V\)。\(\sqrt{d_k}\) 缩放：\(d_k\) 大时 \(QK^\top\) 各分量方差大，softmax 趋 one-hot，梯度消失；除以 \(\sqrt{d_k}\) 把方差拉回 1，让 softmax 处于非饱和区。例：\(d_k=64\) → \(\sqrt{d_k}=8\)。承接 Ch02 内积（点积 + softmax = 加权投影）。提示: \(\sqrt{d_k}\) 必标。来源: 03.深度学习 §Attention（关键公式卡）

卡片 30（🟡 直觉）¶

Q: 多头注意力 (Multi-Head) 拆分维度公式与意义？ A: \(h\) 个头并行，每个头用 \(d_k=d_\text{model}/h\) 维。例：\(d_\text{model}=512\)，\(h=8\) → 每头 \(d_k=64\)。意义：每个头可学不同子空间关系（句法/语义/共指），最后 concat 投影回 \(d_\text{model}\)。总计算量与单头 \(d_\text{model}\) 维基本相当。提示: 拆维度不拆算力。来源: 03.深度学习 §Transformer

卡片 31（🔴 反例/易错）¶

Q: Transformer 位置编码 (Positional Encoding) 为什么必须？不用会怎样？ A: 自注意力是置换不变的（permutation-invariant），打乱输入 token 顺序输出不变。不用 PE：模型分不出 "我打他" vs "他打我"。PE 用 \(\text{PE}(pos,2i)=\sin(pos/10000^{2i/d})\)、偶数维用 cos，把位置信息塞进嵌入。提示: 注意力无序性是坑。来源: 03.深度学习 §PE

卡片 32（🔴 反例/易错）¶

Q: VAE 损失中 KL 正则项的公式与作用？承接 Ch05 哪两个概念？ A: \(\mathcal{L}_{\text{VAE}}=-E_{z\sim q_\phi(z\mid x)}[\log p_\theta(x\mid z)]+D_{\text{KL}}\bigl(q_\phi(z\mid x)\,\|\,p(z)\bigr)\)。第二项：让编码器分布 \(q_\phi\) 逼近先验 \(\mathcal{N}(0,I)\)，避免隐空间各向异性 / 后验坍缩。承接 Ch05 §05 KL 散度（位/单位必标 bit）与 Ch05 §03 正态分布（先验用 \(\mathcal{N}(0,I)\)）。提示: KL 项单位 bit/nat 必标。来源: 03.深度学习 §VAE（关键公式卡）

卡片 33（🟢 定义）¶

Q: 训练显存的四大组成与 7B 模型 FP32 Adam 的典型大小？ A: 参数 + 梯度 + 优化器状态 + 激活值。7B 模型 FP32 Adam：参数 7×4=28 GB；梯度 28 GB；Adam 一阶+二阶矩 2×28=56 GB；总和 112 GB（未计激活值）。A100 80 GB 单卡装不下，必须分布式。提示: 12-16 字节/参数经验值。来源: 04.分布式 §显存墙

卡片 34（🟡 公式）¶

Q: 稠密层前向 FLOPs 公式与一个数字例？ A: 前向 \(2B\,d_\text{in}\,d_\text{out}\)，反向约 2× 前向，合计训练一步 \(\approx 6B\,d_\text{in}\,d_\text{out}\) FLOPs。例：\(B=32\)，\(d_\text{in}=d_\text{out}=1024\) → \(6\cdot32\cdot1024\cdot1024=2.01\times10^8\) FLOPs/步。Transformer 层约 \(O(B\cdot n\cdot 12d^2+B\cdot n^2\cdot d)\)。提示: 乘加各算一次。来源: 04.分布式 §FLOPs

卡片 35（🟢 定义）¶

Q: 数据并行 vs 模型并行的根本差异？ A: 数据并行：模型复制到 \(N\) 张卡，每卡拿不同 mini-batch，等价于 \(N\) 倍大 batch；模型并行：模型本身切到多张卡（张量切层、流水线切深度），数据每张卡都看一遍。数据并行简单但卡多了通信压力大；模型并行能训超大模型。提示: 切数据 vs 切模型。来源: 04.分布式 §并行策略

卡片 36（🟡 公式）¶

Q: Ring AllReduce 的通信复杂度与"带宽最优"含义？ A: 每张卡传输量 \(=2(N-1)/N\cdot\text{数据大小}\to 2\times\text{数据大小}\)（\(N\to\infty\)）。两步：scatter-reduce \(N-1\) 步累加部分和；allgather \(N-1\) 步广播完整和。总通信量与 \(N\) 无关 → 带宽最优。朴素 all-reduce 是 \(O(N)\)，瓶颈在根节点。提示: 与 \(N\) 解耦是关键。来源: 04.分布式 §AllReduce

卡片 37（🟡 公式）¶

Q: Chinchilla 缩放律的最优 token-per-param 比例与一个数字例？ A: 最优 ≈ 20 tokens/param。例：7B 参数模型应训 \(7\times10^9\cdot 20=1.4\times10^{11}=1400\) 亿 token；Llama 1 65B 拿 1.4T token ≈ 21.5 tokens/param 接近最优但仍偏多。Kaplan 2020 早期缩放律 \(L\propto N^{-\alpha}\) 形式类似。提示: Hoffmann 2022 vs Kaplan 2020。来源: 04.分布式 §Scaling Laws

卡片 38（🟢 定义）¶

Q: MoE (Mixture of Experts) 一句话定义？Mixtral 8x7B 实际激活参数？ A: 每层 FFN 换成 \(N\) 个专家 + 一个门控网络，门控把每 token 路由到 top-\(K\) 个专家（\(K=1\) 或 \(2\)）。总参数 = 所有专家参数和；FLOPs ≈ \(K/N\)×总参数。Mixtral 8x7B：8 专家 × 7B = 47B 总参数，但每次前向仅激活约 13B (\(K=2\)) — 小模型算力拿到大模型性能。提示: 总参数 ≠ 激活参数。来源: 04.分布式 §MoE

卡片 39（🟡 直觉）¶

Q: 混合精度训练中 FP16/BF16 各自优劣？为何优化器状态仍保留 FP32？ A: FP16 精度高（10 位尾数）但范围窄易溢出，需损失缩放；BF16 范围同 FP32（8 位指数）几乎不溢出，省去损失缩放。优化器状态保留 FP32：Adam 一阶/二阶矩累加值大，FP16/BF16 精度不够会累积误差。提示: BF16 是 Transformer 训练默认。来源: 04.分布式 §混合精度

卡片 40（🔴 反例/易错）¶

Q: ZeRO/FSDP 优化显存的核心思想与 ZeRO 三阶段分别切什么？ A: 数据并行各卡复制全模型 — 浪费。ZeRO 把优化器状态（Stage1）、梯度（Stage2）、参数（Stage3）分片到各卡。FSDP = ZeRO Stage3 + 全分片。例：7B 模型 + Adam，ZeRO-3 把 112 GB 切到 \(N\) 张卡，每卡 \(112/N\) GB。提示: 三阶段递进切分。来源: 04.分布式 §ZeRO

卡片 41（🟢 定义）¶

Q: MDP 五元组 \((S,A,P,R,\gamma)\) 与折扣回报公式？ A: 状态集 \(S\)、动作集 \(A\)、转移 \(P(s'\mid s,a)\)、奖励 \(R(s,a)\)、折扣 \(\gamma\in[0,1)\)。折扣回报 \(G_t=\sum_{k=0}^\infty \gamma^k r_{t+k}\)。\(\gamma=0\) 只看下一步；\(\gamma\to 1\) 看未来无穷。承接 Ch05 §03 几何级数：保证 \(r\) 有界时 \(G_t\) 收敛。提示: \(\gamma\) 跨章（RL 折扣 vs 学习率衰减）注意消歧。来源: 05.强化学习 §MDP

卡片 42（🟡 公式）¶

Q: Bellman 期望方程（状态值版本）与一个 \(2\times 2\) 数字例？ A: \(V^\pi(s)=\sum_a\pi(a\mid s)\sum_{s'}P(s'\mid s,a)[R(s,a)+\gamma V^\pi(s')]\)。例：两状态 \(\{A,B\}\)，\(\gamma=0.9\)，\(V(B)=0\)（终止）。从 \(A\) 出发有两动作：stay \(A\)（得 0，去 \(A\)）+ go \(B\)（得 1，去 \(B\)），各 0.5。\(V(A)=0.5\cdot[0+0.9\cdot V(A)]+0.5\cdot[1+0.9\cdot 0]\)，解 \(V(A)=0.5/0.55\approx 0.909\)。提示: 解线性方程。来源: 05.强化学习 §Bellman

卡片 43（🟡 公式）¶

Q: Bellman 最优方程（\(Q^*\) 版）与 \(\pi^*\) 提取规则？ A: \(Q^*(s,a)=\sum_{s'}P(s'\mid s,a)\bigl[R(s,a)+\gamma\max_{a'}Q^*(s',a')\bigr]\)。\(\pi^*(s)=\arg\max_a Q^*(s,a)\) — 拿到 \(Q^*\) 后策略就是贪心。一句话：\(Q^*\) 把"未来最优值"折现到当下每对 \((s,a)\)。提示: \(V^*\) 是 max，\(V^\pi\) 是期望。来源: 05.强化学习 §Bellman Optimality

卡片 44（🟡 公式）¶

Q: Q-Learning 更新式与 SARSA 的根本区别？ A: \(Q(s,a)\leftarrow Q(s,a)+\alpha[r+\gamma\max_{a'}Q(s',a')-Q(s,a)]\)（Q-Learning 用 \(\max\)）。SARSA: \(Q(s,a)\leftarrow Q(s,a)+\alpha[r+\gamma Q(s',a')-Q(s,a)]\)（用实际下一个动作 \(a'\)）。Q-Learning 异策略 (off-policy)，SARSA 同策略 (on-policy)。Q-Learning 更"激进"，SARSA 更"保守"（探索噪声进 Q）。提示: \(\max\) vs 实际动作。来源: 05.强化学习 §Q-Learning

卡片 45（🟢 定义）¶

Q: TD 学习更新式与 TD 误差含义？ A: \(V(s_t)\leftarrow V(s_t)+\alpha[r_t+\gamma V(s_{t+1})-V(s_t)]\)。TD 误差 \(\delta_t=r_t+\gamma V(s_{t+1})-V(s_t)\)，为正说明该状态比预期好。自举 (bootstrapping)：用当前值函数估计未来，不等 episode 结束。承接 Ch05 §02 期望：TD 目标是无偏估计时 \(E[\delta_t]=0\)。提示: 自举 = 用估计估计。来源: 05.强化学习 §TD

卡片 46（🟡 公式）¶

Q: REINFORCE 策略梯度公式与一个数字例（\(\log\pi\) 项）？ A: \(\nabla_\theta J(\theta)=E_{\tau\sim\pi_\theta}[\sum_t G_t\nabla_\theta\log\pi_\theta(a_t\mid s_t)]\)。例：某轨迹 \(G_t=10\)，\(\pi_\theta(a_t\mid s_t)=0.5\)，\(\nabla_\theta\log\pi_\theta=2\) → 该样本贡献 \(10\cdot 2=20\) 的梯度方向。直觉：高奖励 + 高概率动作 → 强化该动作。提示: \(\log\) 让乘法变加法。来源: 05.强化学习 §Policy Gradient

卡片 47（🟡 公式）¶

Q: Actor-Critic 的两套输出与优势函数 \(A(s,a)\)？ A: Actor 输出策略 \(\pi_\theta(a\mid s)\)，Critic 输出 \(V_\phi(s)\)。优势 \(A(s,a)=Q(s,a)-V(s)\)。常用 TD 误差估计 \(\hat A_t=r_t+\gamma V(s_{t+1})-V(s_t)\)。A 大 → 该动作相对平均好 → 加权放大；A 小/负 → 抑制。提示: Actor 表演，Critic 评分。来源: 05.强化学习 §Actor-Critic

卡片 48（🟢 定义）[关键公式卡相关]¶

Q: PPO 截断目标 (clipped objective) 公式与 \(\epsilon\) 的角色？ A: \(L^{\text{CLIP}}(\theta)=E_t[\min(r_t(\theta)\hat A_t,\;\text{clip}(r_t(\theta),1-\epsilon,1+\epsilon)\hat A_t)]\)，\(r_t(\theta)=\pi_\theta(a_t\mid s_t)/\pi_{\theta_\text{old}}(a_t\mid s_t)\)。\(\epsilon\in[0.1,0.2]\) 限制新旧策略比，防止一步走太远。承接符号契约 §1.12：\(\epsilon\) 在 PPO 是截断参数，与 \(\epsilon\)-\(\delta\) 极限、隐私预算 \(\epsilon\) 同字母不同义，强制消歧。提示: clip 把 \(r\) 限制在 \([1-\epsilon,1+\epsilon]\)。来源: 05.强化学习 §PPO

卡片 49（🟢 定义）¶

Q: RLHF 三阶段流水线与每步的目标？ A: (1) SFT：监督微调 LLM 在人工写的高质量示范上；(2) RM：训练奖励模型，给 (prompt, response) 打分，人类排序偏好作为监督；(3) PPO：用 RM 作奖励信号，PPO 更新 LLM 策略。RM 是桥，把人类偏好转成可微奖励。提示: SFT → RM → PPO。来源: 05.强化学习 §RLHF

卡片 50（🟢 类比）¶

Q: 用咖啡馆类比三类 ML：监督/无监督/强化各像什么？ A: 监督学习像看菜单点菜（每个菜标好"辣/不辣"标签）— 输入配正确答案。无监督学习像把顾客自动分组（常来的归"老客"，爱坐窗边的归"风景派"）— 没标签自己找结构。强化学习像新厨师试菜，顾客吃完给打星（奖励），靠反复试错把菜做好 — 没有"正确答案菜谱"。提示: 标签 vs 簇 vs 试错。来源: 01.经典 ML §监督/无监督/强化类比

钩子段¶

Ch06 闪卡 50 张覆盖 §01-§05 五大节，关键公式 MSE/BCE/CCE/SVM/Softmax/Attention/Adam/BN 全部入卡；Ch05 信息论承接卡 4 张（卡 6/9/14/25）；跨章符号契约卡 3 张（卡 1/15/32）；同公式不同参数数例显式标参数（卡 11/19/24）；信息论单位 bit 必标（卡 6/14/32）。 → 见讲解稿 §01-§05 / 信息图公式速查 / 阶段测试题 Q1-Q25。