Ch05 概率论 · 复习大纲 (考研/期末)¶
覆盖 5 节: 计数 → 概率概念 → 概率分布 → 贝叶斯方法 → 信息论
本书定位: Ch05 是 Ch04 的测度论深度版 — Ch04 给出应用层先导 (K1/K2/K3 三公理、抽样分布、CLT), Ch05 进入测度版三件套 (Ω, F, P) + 分布函数族 + 条件概率 + Bayes + 信息论。
承 Ch04: 直接复用
STATISTICS_AXIOMS_TEMPLATE.md母版三公理; Ch04 §03 抽样分布 ↔ Ch05 §03 分布族; Ch04 §05 MLE ↔ Ch05 §04 贝叶斯后验; Ch04 §05 假设检验 ↔ Ch05 §05 交叉熵损失。承 Ch03: Ch03 §02 多元 Jacobian ↔ Ch05 §04 多维正态/Beta/Beta-Dirichlet; Ch03 §04 Taylor 展开 ↔ Ch05 §02 概率近似的工程基础; Ch03 §05 Newton/GD ↔ Ch05 §04 MLE 数值解。
跨章符号: λ 三义必显式区分 — Ch03 乘子 / Ch03 正则 / Ch05 Poisson 率参数; α (Beta 形状 / Gamma 形状 / Dirichlet 浓度); β (Beta 形状 / Gamma 速率 / Type II 错误, 必须按上下文标注)。
一、考点分级速览¶
两套标签: - 考频 (纵向): 🔴必考 / 🟡常考 / 🟢拓展 - 难度 (横向): 🟢入门 L1-L2 / 🟡进阶 L3-L4 / 🔴高阶 L5-L6 - ⭐: 主干外可跳过
| 考频 | 考点 | 说明 |
|---|---|---|
| 🔴必考 | K1 非负 + K2 规范化 + K3 可列可加 (Kolmogorov 三公理测度版) · 样本空间 Ω / 事件 σ-algebra · 离散 vs 连续 (PMF/PDF/CDF) · 条件概率 \(P(A\|B)\) · 全概率公式 · Bayes 公式 · 独立性 \(P(AB)=P(A)P(B)\) · 期望 \(E[X]\) (离散 Σ / 连续 ∫) · 方差 \(\text{Var}(X)\) · 协方差 \(\text{Cov}(X,Y)\) · Bernoulli/Binomial/Poisson/Exponential/Normal/Beta/Gamma 七族 · 矩母函数 (MGF) · 条件独立 · 大数定律 (LLN) · 中心极限定理 (CLT) 严格版 · 熵 \(H(X)=-\sum p\log p\) · 交叉熵 \(H(p,q)\) · KL 散度 $D_{KL}(p\ | q)$ |
| 🟡常考 | 排列组合与二项系数 (Ch05 §01 铺垫) · 几何分布 / 负二项 / 几何无记忆性 · 指数无记忆性 · \(\chi^2\)/t 分布与自由度 · 共轭先验 (Beta-Binomial / Gamma-Poisson) · MLE 闭式 + 数值 · MAP 估计 · 自信息 \(I(x)=-\log p(x)\) · 互信息 \(I(X;Y)\) · 微分熵 · Jensen 不等式 | 中题量 |
| 🟢拓展 | 测度论严格公理化 (Ω, F, P) ⭐ · Lindeberg-Feller 条件 ⭐ · Berry-Esseen 界 ⭐ · Cramér 分解 · 三角阵 CLT ⭐ · Dirichlet 分布与多项共轭 · 充分统计量与因子化定理 · Rao-Blackwell · EM 算法 · HMM (隐马尔可夫模型) · 变分推断 (ELBO) · Stein 悖论 · 最大熵原理 | 综合题/拔高 |
口诀承接 Ch04: "K1/K2/K3 公理不变, Ch05 升级为测度版 (Ω, F, P) 三件套, 应用层公式不变"。
二、考点详解¶
🔴考点 1 · 测度版三件套 (Ω, F, P) — 难度 🟢 L1¶
母版出处:
zh/教辅/STATISTICS_AXIOMS_TEMPLATE.md(Ch04 应用层 → Ch05 测度论)
样本空间 Ω: 一次实验所有可能结果的集合 — 抛硬币 \(\{H,T\}\), 掷骰子 \(\{1,2,3,4,5,6\}\), 连续区间 \([0,1]\)。
事件域 (σ-algebra) F: Ω 的子集族, 满足 - \(\varnothing, \Omega \in \mathcal{F}\) - \(A \in \mathcal{F} \Rightarrow A^c \in \mathcal{F}\) - \(A_1, A_2, \ldots \in \mathcal{F} \Rightarrow \bigcup_i A_i \in \mathcal{F}\)
大白话: F 是"可测"的集合族, 概率只能定义在 F 的元素上, 不能定义在任意子集上 (否则 Banach-Tarski 悖论)。
最小例 (Ω={1,2,3}): 教学最常用。 - 平凡 σ-代数: \(\mathcal{F}=\{\varnothing,\Omega\}=\{\varnothing,\{1,2,3\}\}\) (仅 2 个元素, 仍满足三条性质)。 - 全幂集 (最常用): \(\mathcal{F}=2^\Omega=\{\varnothing,\{1\},\{2\},\{3\},\{1,2\},\{1,3\},\{2,3\},\Omega\}\) 共 \(2^3=8\) 个子集。 - 条件: \(\mathcal{F}\) 必须含 \(\varnothing\) 与 \(\Omega\)、对补集封闭、对可列并封闭 — 这是抽象 σ-代数的"教学黄金例"。
概率测度 P: \(\mathcal{F} \to [0,1]\), 满足 K1/K2/K3。
K1 非负性: \(\forall A \in \mathcal{F}, P(A) \ge 0\) - 大白话: 概率像长度, 不能为负 - 反例: P(A) = −0.3, 不合法
K2 规范化: \(P(\Omega) = 1\) - 大白话: 整个样本空间概率 = 1 - 反例: PMF 总和 = 0.8 ≠ 1, 不合法
K3 可列可加性: 互不相交 \(A_1, A_2, \ldots\) ⇒ \(P(\bigcup_i A_i) = \sum_i P(A_i)\) - 大白话: 互不相交事件可加 (无限个也行) - 反例: P(A)=0.6, P(B)=0.5, A∩B=∅, P(A∪B)=0.8 ≠ 1.1, 不合法
派生定理 (从公理推): 单点 ≤ 1; 补集公式; 互斥可加; 容斥; P(∅)=0。
易错: 把派生定理当公理写 — 三件套是公理, 其他都是定理/推论。
🔴考点 2 · 离散 vs 连续: PMF / PDF / CDF — 难度 🟢 L1¶
| 函数 | 适用 | 数学 | 几何含义 |
|---|---|---|---|
| PMF \(p(x)\) | 离散 | \(P(X=x)\) | 柱状图柱子高度 (本身就是概率) |
| PDF \(f(x)\) | 连续 | \(P(a \le X \le b)=\int_a^b f(x)\,dx\) | 曲线下面积才是概率 |
| CDF \(F(x)\) | 通用 | \(F(x)=P(X \le x)\) | 累积, 单调不减, \(F(-\infty)=0, F(\infty)=1\) |
- 离散求和 → 连续积分 的统一原则: 期望 \(E[X]\) 离散 \(\sum x\,p(x)\), 连续 \(\int x\,f(x)\,dx\)。
- 反例陷阱: "PDF 值 > 1 也合法" ❌ — 密度 ≠ 概率! PDF > 1 表示该区域概率集中, 但 PDF 单点值的"概率"是 0 (连续单点概率为 0)。
- 典型题型: 验合法 PMF (K1+K2); 求 CDF; 求 PDF 由 CDF 求导; 连续单点 \(P(X=a)=0\)。
🔴考点 3 · 条件概率 \(P(A|B)\) — 难度 🟢 L2¶
- 大白话: 把样本空间从 Ω 缩到 B, 再问 B 中有多大部分也属于 A。
- 数字例: 抽牌, \(P(\text{king}|\text{red}) = P(\text{king} \cap \text{red})/P(\text{red}) = (2/52)/(26/52) = 1/13\)
- 反例陷阱: \(P(A|B) = P(A)\) 不一定推出独立 — 仅当对所有 B 都成立才独立, 单次相等不算。
- 典型题型: 算条件概率; 验独立; 全概率公式铺垫。
🔴考点 4 · 独立 vs 不相关 — 难度 🟡 L3¶
独立: \(P(AB) = P(A)P(B)\), 或等价地 \(P(A|B) = P(A)\) - 数字例: 抛两枚独立硬币, \(P(H_1 \cap H_2) = 0.25 = 0.5 \times 0.5\) - 正态等价: 对联合正态 X, Y, 独立 ⟺ 不相关 (充要); 对一般分布, 只 "独立 ⟹ 不相关", 反之不成立。 - 反例: \(X \sim U(-1,1)\), \(Y = X^2\) ⇒ \(\text{Cov}(X,Y)=0\) 但显然相关 (Y 由 X 完全决定) - 典型题型: 判独立 vs 不相关; 给场景选独立性假设 (朴素贝叶斯就用它)。
🔴考点 5 · 全概率公式 — 难度 🟡 L2¶
其中 \(\{A_i\}\) 是 Ω 的一个划分 (互斥且穷举)。
- 大白话: 用各种"原因" \(A_i\) 把 \(B\) 拆开加权求和 — 是 Bayes 分母。
- 数字例: 工厂 A 出 50%, 次品率 2%; B 出 30%, 次品率 3%; C 出 20%, 次品率 5%。\(P(\text{次}) = 0.5 \times 0.02 + 0.3 \times 0.03 + 0.2 \times 0.05 = 0.029\)
- 易错: 划分必须是 Ω 的完备集 (覆盖整个样本空间); 漏项直接错。
- 典型题型: 给 P(Ai), P(B|Ai) 求 P(B); 给场景构造划分。
🔴考点 6 · Bayes 公式 (深度版) — 难度 🟡 L3¶
四要素: - 先验 \(P(A)\): 看到数据前的信念 - 似然 \(P(B|A)\): 给定 A, 数据 B 出现概率 - 证据 \(P(B)\): 全概率展开的分母 - 后验 \(P(A|B)\): 看到数据后更新的信念
数字例 1 (假阳性): 患病率 1%, 检测灵敏度 95%, 假阳率 5% $\(P(\text{患}|\text{阳}) = \frac{0.95 \times 0.01}{0.059} \approx 16.1\%\)$ 反直觉: 检测阳性, 实际患病仍只有 16% — base rate 极低时, Bayes 后验小。
数字例 2 (多条件 + 后验更新): 工厂 ABC (见考点 5), 抽到次品, 来自 A 的概率: $\(P(A|\text{次}) = \frac{0.5 \times 0.02}{0.029} \approx 0.345\)$
数字例 3 (连续更新): 抛硬币先验 Beta(2,2), 观测 3 正 1 反 → 后验 Beta(5,3); 再观测 1 正 1 反 → 后验 Beta(7,4); 后验众数随观测更新。
- 易错: 分母漏全概率展开; 误读为因果 (\(P(A|B) \ne\) "A 导致 B")。
- 典型题型: 假阳性; 多事件 Bayes; 共轭更新。
🔴考点 7 · 期望 \(E[X]\) — 难度 🟢 L1¶
- 离散: \(E[X] = \sum_x x\,p(x)\)
- 连续: \(E[X] = \int_{-\infty}^{\infty} x\,f(x)\,dx\)
- 数字锚点: 公平骰子 \(E[X] = (1+2+3+4+5+6)/6 = 3.5\)
- 性质: \(E[aX+b] = aE[X] + b\) (线性, 不要求独立!)
- 反例陷阱: "期望 = 单次结果" ❌ — 期望是长期平均。
- 承 Ch03: 多变量期望 \(E[\mathbf{X}] = \int \mathbf{x}\,f(\mathbf{x})\,d\mathbf{x}\), Jacobian 用于变量替换 (Ch03 §02)。
- 典型题型: 算期望; 算函数期望 \(E[g(X)]\); 用线性性简化。
🔴考点 8 · 方差 \(\text{Var}(X)\) — 难度 🟢 L2¶
- 定义: \(\text{Var}(X) = E[(X-E[X])^2] = E[X^2] - (E[X])^2\) (后者易算)
- 数字锚点: 公平骰子 \(E[X^2] = 91/6\), \(\text{Var} = 91/6 - 12.25 = 35/12 \approx 2.92\)
- 性质: \(\text{Var}(aX+b) = a^2 \text{Var}(X)\) (平移不变, 缩放平方)
- 加性陷阱: \(\text{Var}(X+Y) = \text{Var}(X) + \text{Var}(Y) + 2\text{Cov}(X,Y)\), 仅独立时 \(= \text{Var}(X) + \text{Var}(Y)\)
- 期望 vs 方差的独立性: \(E\) 永远线性 (无论独立), \(\text{Var}\) 仅独立时加性。
- 典型题型: 算方差; 用 \(E[X^2] - (E[X])^2\); 判独立再用加性。
🔴考点 9 · 协方差与相关系数 — 难度 🟡 L2¶
- 独立 vs 不相关: \(X \perp Y \Rightarrow \text{Cov}=0\); \(\text{Cov}=0 \not\Rightarrow X \perp Y\) (一般分布, 仅正态等价)。
- 存在性陷阱: Cauchy 分布无均值, 故 \(\text{Cov}\) 无定义 — 算前先验 \(E[X]\) 存在。
- 数字例: \(X \sim U(-1,1)\), \(Y=X^2\): \(\text{Cov}(X,Y)=E[X^3]-E[X]E[X^2]=0\) (奇函数), 但显然相关。
- 典型题型: 算 \(\text{Cov}\); 判 ρ 强度; 解读 ρ=0。
🔴考点 10 · 常用分布族完整版 — 难度 🟡 L2¶
| 分布 | 类型 | 参数 | 支撑集 | \(E[X]\) | \(\text{Var}(X)\) | ML 应用 |
|---|---|---|---|---|---|---|
| Bernoulli(\(p\)) | 离散 | \(p \in [0,1]\) | \(\{0,1\}\) | \(p\) | \(p(1-p)\) | 二分类; Sigmoid 输出 |
| Binomial(\(n,p\)) | 离散 | \(n,p\) | \(\{0,\ldots,n\}\) | \(np\) | \(np(1-p)\) | 计数; 伯努利试验和 |
| Poisson(\(\lambda\)) | 离散 | \(\lambda>0\) | \(\{0,1,2,\ldots\}\) | \(\lambda\) | \(\lambda\) | 稀有事件; 均值=方差 |
| Geometric(\(p\)) | 离散 | \(p\) | \(\{1,2,\ldots\}\) | \(1/p\) | \((1-p)/p^2\) | 首次成功; 无记忆 |
| Exponential(\(\lambda\)) | 连续 | \(\lambda>0\) | \([0,\infty)\) | \(1/\lambda\) | \(1/\lambda^2\) | 等待时间; 无记忆 |
| Normal(\(\mu,\sigma^2\)) | 连续 | \(\mu,\sigma\) | \(\mathbb{R}\) | \(\mu\) | \(\sigma^2\) | CLT 极限; MSE 损失 |
| Beta(\(\alpha,\beta\)) | 连续 | \(\alpha,\beta>0\) | \([0,1]\) | \(\alpha/(\alpha+\beta)\) | \(\alpha\beta/[(\alpha+\beta)^2(\alpha+\beta+1)]\) | 概率的先验; Bernoulli 共轭 |
| Gamma(\(\alpha,\beta\)) | 连续 | \(\alpha,\beta>0\) | \((0,\infty)\) | \(\alpha/\beta\) | \(\alpha/\beta^2\) | 等待时间推广; Poisson 共轭 |
| Dirichlet(\(\boldsymbol\alpha\)) | 连续 | \(\boldsymbol\alpha>0\) | 单形 | \(E[X_i]=\alpha_i/\sum\alpha_j\) | 复杂 | 多项分布共轭先验 |
⛔ λ 三义强制区分 (本节最高发陷阱): | λ 含义 | 分布/语境 | 单位 | 数字锚点 | |---|---|---|---| | Poisson 率 | 单位时间事件数 | 次/时间 | λ=5 表示每小时 5 次 | | Exponential 率 | 单位时间衰减率 | 1/时间 | λ=2 ⇒ E[X]=0.5 | | Ch03 乘子/正则 | KKT / L2 正则 | 标量 | 完全无关, 务必换符 |
典型题型: 给场景选分布; 算 \(E\)/\(\text{Var}\); 参数估计; λ 三义辨析。
🔴考点 11 · 矩母函数 (MGF) — 难度 🟡 L3¶
- 性质: \(M_X^{(n)}(0) = E[X^n]\), 一阶导=均值, 二阶导=\(E[X^2]\)
- 判定唯一性: MGF 唯一确定分布 (在有限邻域内存在)
- 和的 MGF: \(M_{X+Y}(t) = M_X(t) M_Y(t)\) (若独立)
- 数字例: Poisson(λ) 的 MGF = \(\exp(\lambda(e^t-1))\); Normal(μ,σ²) 的 MGF = \(\exp(\mu t + \sigma^2 t^2/2)\)
- 典型题型: 由 MGF 求矩; 由 MGF 判分布; 独立和的 MGF 拆分。
🔴考点 12 · 大数定律 (LLN) — 难度 🟡 L3¶
陈述 (弱大数定律): 若 \(X_1, X_2, \ldots\) i.i.d. 且 \(E[|X_i|] < \infty\), 则 $\(\bar X_n = \frac{1}{n} \sum_{i=1}^n X_i \xrightarrow{P} \mu\)$
强大数定律 (Kolmogorov): 在更弱条件下, \(\bar X_n \to \mu\) 几乎必然 (a.s.)。
- 大白话: 频率 → 概率; 样本均值 → 期望。
- 数字锚点: 公平骰 \(n=10000\), 实测 \(\bar X \approx 3.5\) ✓ (模拟可验)
- 关键: 不要求原分布是什么, 只要均值存在。
- 典型题型: 用 LLN 解释频率收敛; 区分弱/强大数。
🔴考点 13 · 中心极限定理 (CLT) 严格版 — 难度 🔴 L4 ⭐¶
经典 CLT: \(X_1,\ldots,X_n\) i.i.d., \(E[X]=\mu\), \(\text{Var}(X)=\sigma^2<\infty\), 则 $\(\frac{\sqrt{n}(\bar X_n - \mu)}{\sigma} \xrightarrow{d} \mathcal{N}(0,1)\)$
- 几何直觉: 测度比 — 把总和看成"面积", 标准化后比值收敛到正态密度。
- 数字例: \(X \sim \text{Exp}(\lambda=1)\), \(n=30\), \(\bar X\) 近似 \(\mathcal{N}(1, 1/30)\), 模拟 10000 次验证 ✓
- 不变量: 不管原分布形状 (均匀/指数/Bernoulli), \(\bar X\) 的极限都是正态 — 这是正态的核心地位来源。
Lindeberg-Feller 条件 (进阶 ⭐): 独立但不必同分布情形下 CLT 成立的充要条件族: $\(\forall \varepsilon>0, \quad \frac{1}{s_n^2} \sum_{i=1}^n E[X_i^2 \mathbf{1}_{|X_i|>\varepsilon s_n}] \to 0\)$ 其中 \(s_n^2 = \sum \text{Var}(X_i)\)。
Berry-Esseen 界 (进阶 ⭐): 给收敛速率 $\(\sup_x |F_n(x) - \Phi(x)| \le \frac{C \rho}{\sigma^3 \sqrt{n}}\)$ 其中 \(\rho = E[|X-\mu|^3]\) 是三阶绝对矩, \(C \approx 0.4748\)。
- 典型题型: 用 CLT 近似 \(\bar X\) 分布; 三角阵 CLT 应用; 给收敛速率上界。
🔴考点 14 · 条件独立 — 难度 🟡 L3¶
- 大白话: 给定 Z 后, X 和 Y 互不影响。
- 数字例: 抛两枚硬币 X, Y, 给定总数 Z=X+Y 后, X|Z 与 Y|Z 不独立 (总和定了, 单个概率变了)。
- ML 角色: 朴素贝叶斯的核心假设 = 特征条件独立 给定类别 — 这就是它"朴素"的来源。
- 典型题型: 判条件独立; 朴素贝叶斯公式推导; HMM 中观测独立假设。
🔴考点 15 · 信息论入门 — 难度 🟡 L3 (AI/ML 桥梁)¶
自信息 (surprisal): \(I(x) = -\log_2 p(x)\) - 数字例: 公平硬币正面的自信息 = \(-\log_2 0.5 = 1\) 比特; 概率 1/8 事件 = 3 比特 - 大白话: 概率越低的事件, 自信息越大 (越意外)。
熵 (entropy): \(H(X) = E[I(X)] = -\sum_x p(x) \log_2 p(x)\) - 数字例: 公平硬币 \(H=1\) 比特; 偏心 \(p=0.9\), \(H \approx 0.469\) 比特; 必然事件 \(H=0\)。 - 最大熵原理: \(n\) 个等可能结果的熵最大 \(= \log_2 n\)。 - 压缩下界: Shannon 信源编码定理 — 无损压缩极限 = 熵率。
微分熵: \(h(X) = -\int f(x) \log f(x)\,dx\) - 数字例: \(X \sim \mathcal{N}(0,\sigma^2)\), \(h = \frac{1}{2}\log_2(2\pi e \sigma^2)\) - 关键性质: 等方差分布中, 正态微分熵最大 — 这就是正态在建模中常见的原因。
交叉熵: \(H(p,q) = -\sum_x p(x) \log_2 q(x)\) - 数字例: 单标签 \(c\) 的样本, \(\mathcal{L} = -\log \hat{y}_c\) - ML 应用: 分类标准损失 = 交叉熵损失 (BCE / CCE)。
KL 散度 (相对熵): \(D_{KL}(p\|q) = \sum_x p(x) \log \frac{p(x)}{q(x)} = H(p,q) - H(p) \ge 0\) - 数字例: \(p = \mathcal{N}(0,1)\), \(q = \mathcal{N}(0,2)\), \(D_{KL}(p\|q) = \frac{1}{2}\log(4) + \frac{1}{2}(1/4-1) = \log 2 - 3/8 \approx 0.318\) (用 \(\log_2\) 单位为 bit, 用 \(\ln\) 单位为 nat) - ⛔ 不对称: \(D_{KL}(p\|q) \ne D_{KL}(q\|p)\), 这是 KL 与距离的根本区别。
KL 三性质 (考点 🔴): 1. 非负 \(D_{KL}(P\|Q) \ge 0\) (Jensen 不等式证明); 2. \(P=Q\) 时为 0 \(D_{KL}(P\|P)=0\) (等号当且仅当 \(P=Q\)); 3. 不对称 \(D_{KL}(P\|Q) \ne D_{KL}(Q\|P)\) (KL 不是距离)。
互信息: \(I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = \sum_{x,y} p(x,y) \log_2 \frac{p(x,y)}{p(x)p(y)}\) - 数字例: \(X \perp Y \Rightarrow I(X;Y) = 0\) - ML 应用: 决策树信息增益 = \(I(X_{\text{split}}; Y)\); 特征选择度量。
- 典型题型: 算熵/KL/互信息; 验不对称; 判 ML 损失对应。
🟡考点 16 · 排列组合与二项系数 — 难度 🟢 L1¶
- 乘法法则: \(m \times n\) (独立选择)
- 加法法则: 互斥情形相加
- 排列: \(P(n,k) = n!/(n-k)!\)
- 组合: \(C(n,k) = \binom{n}{k} = n!/[k!(n-k)!]\)
- 数字例: 5 张牌抽 3 张 = \(\binom{5}{3} = 10\); 抛 8 次硬币 6 正 = \(\binom{8}{6}(0.7)^6(0.3)^2 \approx 0.296\)
- 典型题型: 二项系数计算; 古典概型 (\(P(A) = |A|/|S|\)); Pascal 三角。
🟡考点 17 · 几何分布与无记忆性 — 难度 🟢 L2¶
\(P(X=k) = (1-p)^{k-1} p\), \(k=1,2,\ldots\)
- 无记忆: \(P(X > s+t | X > s) = P(X > t)\)
- 数字例: \(p=0.5\), 抛 3 次都没正面, 还要等 \(k\) 次才正面 = 几何重新开始, 与之前无关。
- 离散分布中独此一家: 仅几何分布有无记忆性 (除退化情形)。
- 典型题型: 算概率; 验证无记忆; 与指数分布类比。
🟡考点 18 · 指数分布与无记忆性 — 难度 🟢 L2¶
\(f(x) = \lambda e^{-\lambda x}\), \(E[X] = 1/\lambda\), \(\text{Var}(X) = 1/\lambda^2\)
- 无记忆: \(P(X > s+t | X > s) = P(X > t)\)
- 数字例: 灯泡寿命 Exp(λ=1/1000 小时), 已用 500 小时还能再用 1000 小时的概率 = \(P(X>1000)\) — 与已用多久无关。
- Poisson 联系: Poisson 过程相邻事件间隔 ~ Exponential(λ)。
- 典型题型: 算概率; 验无记忆; 联系 Poisson 过程。
🟡考点 19 · \(\chi^2\) 与 t 分布 — 难度 🟡 L3¶
- \(\chi^2(k)\): \(k\) 个独立标准正态平方和 — 均值 \(k\), 方差 \(2k\)
- Student \(t(\nu)\): \(\nu\) 自由度 — 尾部比正态重, \(\nu \to \infty\) 收敛到 \(\mathcal{N}(0,1)\)
- 承 Ch04: t 检验/\(\chi^2\) 检验的分布基础
- 数字例: \(\nu=5\) 的 t 分布, \(|t|>2.571\) ⇒ 双侧 \(p<0.05\)
- 典型题型: 查表/算临界值; 与正态关系; 自由度解释。
🟡考点 20 · 共轭先验 — 难度 🟡 L3¶
Beta-Binomial: 先验 \(p \sim \text{Beta}(\alpha,\beta)\), 数据 \(k\) 成功 \(n-k\) 失败 \(\Rightarrow\) 后验 \(p|D \sim \text{Beta}(\alpha+k, \beta+n-k)\)
Gamma-Poisson: 先验 \(\lambda \sim \text{Gamma}(\alpha,\beta)\), 数据 \(k\) 个事件 \(\Rightarrow\) 后验 \(\lambda|D \sim \text{Gamma}(\alpha+k, \beta+n)\)
- 数字例: Beta(1,1) 先验 (均匀), 观测 3 正 1 反 \(\Rightarrow\) Beta(4,2); 后验众数 \(= (\alpha-1)/(\alpha+\beta-2) = 3/4 = 0.75\)
- 意义: 后验 = 同一族 = 解析上可继续更新; 是 Bayes 推断的"主力"。
- 典型题型: 验共轭; 多步更新; 选先验参数 (\(\alpha=1, \beta=1\) 是无信息先验)。
🟡考点 21 · 极大似然估计 (MLE) — 难度 🔴 L4¶
- 似然: \(L(\theta) = \prod_i p(x_i|\theta)\)
- 对数似然: \(\ell(\theta) = \sum_i \log p(x_i|\theta)\)
- MLE: \(\hat\theta_{\text{MLE}} = \arg\max \ell(\theta)\)
- 数字例: \(n\) 次 Bernoulli, \(k\) 次成功 \(\Rightarrow \hat p = k/n\) (单步可验)
- 数值法: 闭式不存在时, 用 Ch03 §05 Newton/GD 迭代
- 典型题型: 求 MLE; 对数似然; 数值解; Fisher 信息计算铺垫。
🟡考点 22 · MAP 估计 — 难度 🟡 L3¶
- 数字例: 10 次全正面, MLE 给 \(\hat p=1\); Beta(2,2) 先验下, MAP 给 \(\hat p = 9/12 = 0.75\) (有先验修正)
- 与 MLE 关系: MAP = MLE + 先验; 先验 → 0 时 MAP → MLE
- 典型题型: 给先验求 MAP; 与 MLE 对比; 共轭下 MAP 闭式。
🟡考点 23 · Jensen 不等式 — 难度 🟡 L3¶
\(\varphi\) 凸函数 \(\Rightarrow \varphi(E[X]) \le E[\varphi(X)]\)
- 数字例: \(\log\) 凸, 故 \(\log E[X] \ge E[\log X]\); 故 \(E[\log X] \le \log E[X]\)
- 应用: KL 散度非负性 (\(D_{KL} \ge 0\)); 信息不等式; EM 算法推导。
- 典型题型: 判凸/凹; 写 Jensen 不等式方向; 推 KL 非负。
🟢考点 24 · 测度论严格公理化 (Ω, F, P) — 难度 🔴 L5 ⭐¶
- 动机: 不可数集合上"任意子集"概率定义会撞 Banach-Tarski 悖论, 故限制到 σ-algebra。
- 完备性: 若 \(A \supseteq B, P(B)=0\), 则 \(P(A)=0\) — 完备测度空间。
- 数字锚点: Lebesgue 测度在 Borel 集上是完备的; 连续随机变量 \(X\) 的事件用 Borel 集即可。
- 典型题型: 验证 σ-algebra (补、可列并、闭); 给不可测集反例 (Vitali 集)。
🟢考点 25 · Dirichlet 分布与多项共轭 — 难度 🔴 L5¶
- 大白话: Beta 分布到多维的推广 — 描述"多个概率的联合分布, 总和为 1"。
- ML 应用: LDA 主题模型; 多项分布的共轭先验; Softmax 输出层先验。
- 数字例: \(\text{Dir}(1,1,1)\) = 均匀 (单形内); \(\text{Dir}(100,1,1)\) 集中在顶点 1。
- 典型题型: Beta 多维推广; LDA 应用; 验共轭。
🟢考点 26 · 充分统计量与 Rao-Blackwell — 难度 🔴 L5 ⭐¶
- 充分统计量: \(T(X)\) 充分当给定 \(T\) 后, 样本条件分布不含 \(\theta\)
- Fisher-Neyman 因子化: \(p(x|\theta) = g(T(x), \theta) h(x)\)
- Rao-Blackwell: 给定无偏估计, 对充分统计量取条件期望, 方差不减
- 数字例: \(n\) 次 Bernoulli, \(T = \sum X_i\) 充分 (似然只通过 \(T\) 依赖 θ)
- 典型题型: 验证充分性; Rao-Blackwell 改善估计。
🟢考点 27 · EM 算法 — 难度 🔴 L5 ⭐¶
- 场景: 含隐变量 \(Z\) 的参数估计, 直接 MLE 难
- E 步: 给当前 \(\theta\), 算 \(Q(\theta|\theta^{(t)}) = E[\log P(X,Z|\theta) | X, \theta^{(t)}]\)
- M 步: \(\theta^{(t+1)} = \arg\max_\theta Q(\theta|\theta^{(t)})\)
- 数字例: 三硬币模型 (经典); GMM 拟合
- 理论保证: 似然单调不减, 收敛到局部极值
- 典型题型: 写 E/M 步; 解释为何单调; Jensen 不等式推导。
🟢考点 28 · HMM 与维特比 — 难度 🔴 L5 ⭐¶
- 三要素: 初始 \(\pi\), 转移 \(A\), 发射 \(B\)
- 三个问题: 评估 (前向) / 解码 (维特比) / 学习 (Baum-Welch = EM)
- ML 应用: 语音识别; 词性标注; 命名实体识别
- 典型题型: 写前向/后向; 维特比路径; Baum-Welch 更新。
三、易错点合集 (25 条, 症状 → 为何错 → 如何避坑)¶
| # | 症状 | 为何错 | 如何避坑 |
|---|---|---|---|
| 1 | 验 K1/K2/K3 不全 | 概率可负 / 总和 ≠ 1 / 不可列可加 | 验任何"概率"必须三公理全过 |
| 2 | 密度当概率 | PDF 值 > 1 看着像"概率 > 1" | 记 "PDF 单点值不是概率, 面积才是" |
| 3 | 连续单点概率 = 0 | \(P(X=a) = \int_a^a f = 0\) 易忘 | "\(X\) 恰为某实数" 概率为 0 |
| 4 | 独立 = 不相关 (一般) | 仅正态等价; 一般独立 ⟹ 不相关, 反之不 | 反例: \(Y=X^2\), \(X\sim U(-1,1)\), \(\text{Cov}=0\) 但相关 |
| 5 | 条件概率误读为因果 | \(P(A\|B) \ne\) "A 导致 B" | 记 "相关 ≠ 因果"; 配实验设计 |
| 6 | Bayes 分母漏全概率展开 | 漏 \(P(\neg A_i)P(B\|\neg A_i)\) 项 | 写全概率公式作分母 |
| 7 | \(\text{Var}(aX+b) = a\,\text{Var}(X)\) | 漏平方 | \(\text{Var}(aX+b) = a^2 \text{Var}(X)\) |
| 8 | \(\text{Var}(X+Y) = \text{Var}(X) + \text{Var}(Y)\) (非独立) | 漏协方差项 | 加 \(2\text{Cov}(X,Y)\), 仅独立才省 |
| 9 | 期望当单次结果 | 期望是长期平均 | "\(E[X]=3.5\)" 不代表"下一次必 3.5" |
| 10 | λ 三义混淆 | Ch03 乘子 / Ch03 正则 / Ch05 Poisson 率 | 每次出现 λ 显式标 "λ (Poisson 率)" 等 |
| 11 | 大数定律当 CLT | LLN 与 CLT 是两件事 | LLN: \(\bar X \to \mu\) a.s.; CLT: \(\bar X\) 分布趋正态 |
| 12 | CLT \(n=30\) 普适阈值 | 偏态分布可能需更大 n | 看分布偏度, \(n \ge 30\) 是经验值 |
| 13 | KL 散度对称 | $D_{KL}(p\ | q) \ne D_{KL}(q\ |
| 14 | Cauchy 分布算期望 | Cauchy 无均值 | 算前先验 \(E[X]\) 存在 |
| 15 | 几何分布 = 指数分布 | 一个离散一个连续, 形式相近 | 区分 PMF/PDF; 离散无记忆唯独几何 |
| 16 | "独立 ⟹ 不相关" 反推 | 一般不成立, 仅联合正态 | 记 "反例: \(Y=X^2\)" |
| 17 | \(\chi^2\) 分布 = 卡方检验 | 分布 vs 检验方法 | \(\chi^2\) 是分布; 卡方检验是用它做检验 |
| 18 | 假设 \(\sigma\) 已知用 t 检验 | t 用于 σ 未知 | 检查 σ 是否已知, 选 z 或 t |
| 19 | MLE 当 MAP | MLE 不带先验, MAP 带 | MAP = MLE + log 先验; 先验 → 0 时 MAP → MLE |
| 20 | 朴素贝叶斯假设"特征独立" | 实际是条件独立给定类别 | 记 "条件独立: 给定 \(Y\), \(X_1, X_2, \ldots\) 独立" |
| 21 | 几何/指数"无记忆"二义 | 二者都无记忆, 但含义不同 | 离散/连续都要无记忆; 形式独立 |
| 22 | 互信息 \(I(X;Y)\) 与 \(\text{Cov}\) | 互信息捕获任何依赖, 不止线性 | 互信息=0 仅在完全独立; \(\text{Cov}=0\) 未必 |
| 23 | 微分熵可负 | \(h\) 不是真的"熵", 可负 | 离散熵 \(\ge 0\), 微分熵可负, 不矛盾 |
| 24 | Jensen 不等式方向反 | 凸函数 \(\varphi(E[X]) \le E[\varphi(X)]\) | 凸: 期望在外 ≤ 期望在内; 凹相反 |
| 25 | Bayes 信用区间 = 置信区间 | 一个频率派, 一个 Bayes | Bayes 说 "μ 有 95% 在此", 频率派不说 |
四、对比记忆表 (10 张)¶
表 1 · Ch04 vs Ch05 公理体系对比¶
| 维度 | Ch04 应用层 | Ch05 测度层 |
|---|---|---|
| 样本空间 | 隐式 (实验描述) | 显式 \(\Omega\) |
| 事件 | 子集 | \(\sigma\)-algebra \(\mathcal{F}\) 的元素 |
| 概率 | K1/K2/K3 (应用版) | 测度 \(P:\mathcal{F}\to[0,1]\) (严格) |
| 公理 | 相同三件套 | 相同三件套, 加"完备性" |
| 派生公式 | 同 | 同 |
表 2 · PMF vs PDF vs CDF¶
| PMF | CDF | ||
|---|---|---|---|
| 适用 | 离散 | 连续 | 通用 |
| 数学 | \(P(X=x)\) | \(f(x)\) (曲线下面积) | \(F(x) = P(X \le x)\) |
| 性质 | \(0 \le p \le 1\), 和 = 1 | \(\ge 0\), 积分 = 1 | 单调不减, \(F(-\infty)=0, F(\infty)=1\) |
| 单点 | 可能是正值 | \(f(a)\) 任意正实数 | \(F(a) - F(a^-) = P(X=a)\) |
| 例 | \(P(X=3) = 0.2\) | \(f(3)\) 可大于 1 | \(F(3) = P(X \le 3)\) |
表 3 · 独立 vs 不相关 vs 条件独立¶
| 概念 | 定义 | 关系 |
|---|---|---|
| 独立 \(X \perp Y\) | \(P(AB) = P(A)P(B)\) | 独立 ⟹ 不相关 |
| 不相关 | \(\text{Cov}(X,Y) = 0\) | 不相关 ⟹ 独立 (仅正态) |
| 条件独立 \(X \perp Y \| Z\) | \(P(X,Y\|Z) = P(X\|Z)P(Y\|Z)\) | 给定 Z 后独立 |
表 4 · LLN vs CLT (考点 🔴)¶
| 维度 | LLN 大数定律 | CLT 中心极限定理 |
|---|---|---|
| 收敛对象 | 样本均值 \(\bar X_n\) (一个数) | 样本均值 \(\bar X_n\) 的分布 (一族分布) |
| 收敛意义 | \(\bar X_n \xrightarrow{a.s./P} \mu\) (依概率 / 几乎必然) | \(\sqrt{n}(\bar X_n - \mu)/\sigma \xrightarrow{d} \mathcal{N}(0,1)\) (依分布) |
| 前提条件 | \(E\lvert X\rvert < \infty\) (一阶矩有限) | 各 \(X_i\) i.i.d., \(0<\sigma^2<\infty\) (二阶矩有限); Lindeberg 条件放宽到独立 |
| 收敛速度 | 无显式速率 (强大数律 \(O(\text{?})\)) | \(O(1/\sqrt n)\) (Berry-Esseen 界 \(\le C\rho/(\sigma^3\sqrt n)\)) |
| 适用场景 | 频率 → 概率的论证; 大样本均值近似 | 构造 CI; 近似 \(\bar X_n\) 分布; 给定 \(n\) 算尾部概率 |
| 数字例 | 公平骰 \(n=10000\), \(\bar X \approx 3.5\) (LLN 兑现) | 公平骰 \(n=100\), \(\bar X\) 的直方图近似正态钟形 (CLT 兑现) |
| 关键差异 | 答 "\(\bar X_n\) 走向哪个值" | 答 "\(\bar X_n\) 长成什么形状" |
表 5 · λ 三义强制区分¶
| 语境 | 含义 | 章节 | 单位/角色 |
|---|---|---|---|
| Poisson 率 | 单位时间事件数 | Ch05 §03 | λ=5 表示每小时 5 次 |
| Exponential 率 | 衰减率 | Ch05 §03 | λ=2 ⇒ E[X]=0.5 |
| Gamma 速率 | β (速率参数) | Ch05 §03 | 与 α (形状) 配对 |
| Ch03 乘子 | \(\nabla f = \lambda \nabla g\) | Ch03 §05 | KKT 条件 |
| Ch03 正则 | \(\mathcal L = f + \lambda \|w\|^2\) | Ch03 §05 | L2 权重衰减 |
表 6 · 频率派 vs Bayes 派¶
| 频率派 | Bayes 派 | |
|---|---|---|
| 概率解释 | 长期频率 | 信念强度 |
| 参数 | 固定未知 | 有先验分布 |
| 输出 | 点估计 + CI | 后验分布 |
| 区间解读 | "重复抽样 95% 覆盖 μ" | "μ 有 95% 在此区间" |
| 例子 | MLE + 频率 CI | MAP + 后验信用区间 |
表 7 · 熵 vs KL 散度 vs 交叉熵¶
| | 熵 \(H(p)\) | KL 散度 \(D_{KL}(p\\|q)\) | 交叉熵 \(H(p,q)\) | |---|---|---|---| | 度量 | 分布不确定性 | 两分布差异 | 用 \(q\) 编码 \(p\) 的代价 | | 对称 | - | ❌ 不对称 | ❌ 不对称 | | 关系 | - | \(D_{KL}(p\\|q) = H(p,q) - H(p)\) | \(H(p,q) \ge H(p)\) (Jensen) | | ML 应用 | 信息增益 (DT) | VAE 正则, RL | 分类损失 | | 三性质 | \(H \ge 0\), 最大 \(\log_2 n\) | (1) 非负; (2) \(P=Q\) 时为 0; (3) 不对称 | - |
表 8 · 常用分布族速查 (按家族分组)¶
| 家族 | 离散成员 | 连续成员 |
|---|---|---|
| 二项族 (伯努利试验) | Bernoulli, Binomial, Geometric, NegBin | - |
| Poisson 族 (事件计数) | Poisson | - |
| 指数族 (无记忆/等待) | Geometric (无记忆) | Exponential, Gamma |
| 正态族 (CLT 极限) | - | Normal, \(\chi^2\), t, F |
| Beta 族 (\([0,1]\) 上) | - | Beta, Dirichlet (单形) |
表 9 · 充分统计量判别¶
| 分布 | 充分统计量 \(T\) | 备注 |
|---|---|---|
| Bernoulli(\(p\)) | \(\sum X_i\) | 似然只通过 \(T\) 依赖 \(p\) |
| Normal(\(\mu,\sigma^2\)), σ 已知 | \(\sum X_i\) 或 \(\bar X\) | \(\bar X\) 也是充分 |
| Normal(\(\mu,\sigma^2\)), 都未知 | \((\bar X, S^2)\) | 联合充分 |
| Poisson(\(\lambda\)) | \(\sum X_i\) | 经典例 |
| Exponential(\(\lambda\)) | \(\sum X_i\) | 似然 = \(\lambda^n e^{-\lambda T}\) |
表 10 · AI/ML 应用速查¶
| 概率论概念 | ML 对应 | Ch 引用 |
|---|---|---|
| Bayes 公式 | 朴素贝叶斯 / 后验推断 | Ch06 |
| 条件独立 | 朴素贝叶斯假设 / HMM | Ch06, Ch07 |
| MLE / MAP | 监督学习损失最小化 | Ch06 §02 |
| Beta-Binomial 共轭 | 信用区间 / Thompson 采样 | Ch05 §04 |
| Normal + MLE | 线性回归 (高斯噪声) | Ch06 §02 |
| KL 散度 | VAE 损失 / RL 正则 | Ch06 §08 |
| 交叉熵 | 分类损失 (BCE / CCE) | Ch06 §02 |
| 互信息 | 决策树信息增益 / 特征选择 | Ch06 §01 |
| 微分熵 | 连续分布建模 | Ch06 §08 |
| CLT | SGD 收敛理论 | Ch06 §05 |
五、识别他人错误陈述题型 (L5, 6 题)¶
5.1 密度当概率 — 学生说 "某连续分布在 \(x=2\) 处的密度是 2.5, 所以 \(P(X=2)=2.5\)"。 - 错: \(f(2)=2.5\) 不是概率, 仅是密度。\(P(X=2) = \int_2^2 f(x)\,dx = 0\)。 - 正: 密度 > 1 完全合法; 单点概率恒为 0; 概率是面积。 - 修: 看 \(f(x)\) 与 \(F(x)\) 的关系: \(F'(x) = f(x)\), \(F\) 才是概率。
5.2 独立 = 不相关 — 学生对正态之外的 \(X,Y\) 说 "\(\text{Cov}=0\) 所以独立"。 - 错: 一般 \(\text{Cov}=0 \not\Rightarrow\) 独立; 反例 \(Y=X^2\), \(X\sim U(-1,1)\)。 - 正: 仅联合正态下独立等价不相关。 - 修: 改说"\(\text{Cov}=0\) 只能排除线性相关, 不能排除非线性相关"。
5.3 KL 对称 — 学生写 \(D_{KL}(p\|q) = D_{KL}(q\|p)\)。 - 错: KL 不对称, \(D_{KL}(p\|q) \ne D_{KL}(q\|p)\)。 - 正: 数字例 \(p=\mathcal{N}(0,1)\), \(q=\mathcal{N}(0,2)\): \(D_{KL}(p\|q) = \frac{1}{2}\log 4 - 1/2 + 1/8\), 而 \(D_{KL}(q\|p) = \frac{1}{2}\log(1/4) - 1 + 2 = -\log 2 + 1\) — 不等。 - 修: 用 Jensen 证明 \(D_{KL} \ge 0\), 但不证明对称。
5.4 MLE = MAP — 学生认为先验不影响估计。 - 错: MLE 无先验; MAP 带先验。 - 正: 数字例 10 次全正面, MLE 给 \(\hat p=1\); Beta(2,2) 先验下 MAP 给 \(9/12=0.75\)。 - 修: 写 MAP = \(\arg\max [\log P(D|\theta) + \log P(\theta)]\)。
5.5 条件独立 = 独立 — 学生写 "朴素贝叶斯假设特征独立"。 - 错: 朴素贝叶斯假设特征给定类别 \(Y\) 后条件独立, 不是无条件独立。 - 正: 写 \(P(X_1, X_2, \ldots, X_d | Y) = \prod_i P(X_i | Y)\)。 - 修: 特征之间仍可能相关 (边缘), 仅条件独立。
5.6 λ 三义混淆 — 学生写 \(\lambda = 5\) 时不标语境。 - 错: λ 在不同章节含义不同。 - 正: 标 "λ (Poisson 率)" 或 "λ (Ch03 乘子)"。 - 修: 每次首现写符号表, 持续到不再歧义。
六、AI/ML 应用速查 (入门向)¶
| 概念 | 含义 | Ch 引用 |
|---|---|---|
| 朴素贝叶斯 | 特征条件独立 + Bayes | Ch06 §01 |
| Logistic 回归 | Sigmoid 输出 + 交叉熵 | Ch06 §02 |
| 交叉熵损失 | \(H(p,q)\) = ML 分类标准 | Ch06 §02 |
| KL 正则 | VAE 损失中 \(D_{KL}(q(z\|x)\|p(z))\) | Ch06 §08 |
| 互信息 | 决策树特征选择 | Ch06 §01 |
| EM 算法 | 含隐变量参数估计 | Ch06 §03 |
| HMM | 序列标注 (语音/词性) | Ch07 §03 |
| MLE = 最小化 NLL | 监督学习通用套路 | Ch06 §02 |
| 微分熵 | 连续分布建模基础 | Ch06 §08 |
| Thompson 采样 | Beta 后验驱动的探索 | Ch06 §07 |
| 语言模型 perplexity | \(2^{H(P)}\) 度量 LM 质量 | Ch07 §02 |
七、复习路径¶
3 天冲刺: - Day 1: 三公理 (测度版) + PMF/PDF/CDF + 期望方差 + 7 常用分布族 - Day 2: 条件概率 + 全概率 + Bayes + LLN + CLT - Day 3: 信息论 (熵/KL/交叉熵/互信息) + MLE/MAP + 错题本
7 天扎实: 见每节考点顺序 - Day 1-2: §01 计数 + §02 概率概念 - Day 3-4: §03 概率分布族 - Day 5: §04 贝叶斯方法 - Day 6: §05 信息论 - Day 7: 综合 + 自测清单
14 天精通: 加 Dirichlet + 充分统计量 + Rao-Blackwell + EM + HMM + Lindeberg-Feller + Berry-Esseen
八、自测清单 (10 问, 覆盖 Bloom L1-L5)¶
- L1 记忆: 写 Kolmogorov 三公理 (K1/K2/K3), 各举 1 反例, 并说明它们在测度版 (Ω, F, P) 中如何升级。
- L2 理解: 解释 "PDF 值 > 1 是合法的" 这一事实, 并用面积论证反驳 "PDF 是概率"。
- L3 应用: 给定 \(p=0.3\) 的偏心硬币抛 10 次, 用 Bayes 公式算 "3 次正面后, 第 4 次也是正面的概率" (用条件独立简化)。
- L3 应用: 给定 \(X \sim \text{Exp}(\lambda=2)\), 算 \(E[X]\), \(\text{Var}(X)\), \(P(X>1)\), 验证无记忆性 \(P(X>3|X>1) = P(X>2)\)。
- L4 分析: 区分 LLN 和 CLT, 各举一个具体场景 (例如公平骰子和指数分布), 说明两者描述什么。
- L4 分析: 解释为什么 \(\text{Cov}(X,Y) = 0\) 不能推出 \(X \perp Y\), 给出一个非正态的具体反例 (如 \(Y=X^2\)) 并验证 \(\text{Cov}=0\)。
- L4 分析: 验证给定概率分布是否合法 (用 Ch04 母版 K1/K2/K3); 给定 \(p \sim \text{Beta}(2,2)\) 先验, 观测 3 正 1 反, 算后验分布和 MAP 估计。
- L5 评价: 指出 KL 散度与"距离"的根本区别, 用 Jensen 不等式证明 \(D_{KL}(p\|q) \ge 0\) 且等号当 \(p=q\)。
- L5 评价: 指出他人对条件概率的 3 种常见误读 (因果/时间倒置/概率乘法), 并改写为正确表述。
- L6 综合: 给定场景 (医学诊断 / 朴素贝叶斯垃圾邮件 / 语言模型 perplexity), 写出涉及的 Ch05 概念 (Bayes / 条件独立 / 交叉熵), 列出公式, 并给出 1 个数字例。
附录 · 跨章衔接¶
| Ch04 考点 | → Ch05 对应深化 |
|---|---|
| Ch04 §01 K1/K2/K3 应用层 | Ch05 §02 测度版 (Ω, F, P) |
| Ch04 §02 期望/方差 (单变量) | Ch05 §03 多变量 (协方差 + 矩阵) |
| Ch04 §03 抽样分布 | Ch05 §03 分布族完整版 |
| Ch04 §03 LLN/CLT | Ch05 §02 LLN + Ch05 §02 CLT 严格版 (Lindeberg/Berry-Esseen) |
| Ch04 §05 Bayes 公式 | Ch05 §04 Bayes + 共轭 + EM |
| Ch04 §05 MLE | Ch05 §04 MLE + MAP + Fisher 信息 |
| Ch04 §05 CI | Ch05 §04 Bayes 信用区间 |
| Ch04 §06 Bootstrap (重采样) | Ch05 §04 与 Ch04 联合 (略) |
| - | Ch05 §05 信息论新增 (无对应 Ch04 内容) |
| - | Ch05 §04 Dirichlet/HMM (无对应 Ch04 内容) |
| Ch05 考点 | → 后续章节对接 |
|---|---|
| 交叉熵损失 | Ch06 §02 逻辑回归 / Softmax |
| KL 散度 | Ch06 §08 VAE |
| MLE/MAP | Ch06 §02 监督学习 |
| EM | Ch06 §03 GMM / Ch07 §03 HMM |
| 互信息 | Ch06 §01 决策树 / Ch07 特征选择 |
| 共轭先验 | Ch06 §07 Thompson 采样 |
| 微分熵 | Ch06 §08 连续潜变量模型 |
参考文件:
- chapter 05 - 概率论/*.md (5 节源材料)
- 公理母版: zh/教辅/STATISTICS_AXIOMS_TEMPLATE.md
- Ch04 复习大纲: zh/教辅/复习大纲/第04章.md (Ch05 直接引用)
- Ch03 复习大纲: zh/教辅/复习大纲/第03章.md (Taylor/Jacobian 衔接)
- 全书规范: zh/教辅/WRITING_TEMPLATE.md v1.1