第05章 概率论 · 思维导图

一句话总结: Ch05 是 Ch04 概率公理三件套的深度版, 进入测度论与分布函数族, 给出连续/离散分布家族、条件概率与 Bayes 推断、随机过程与信息论, 全部服务于 ML 损失函数、生成模型与序列建模。

承接 Ch04: 复用 STATISTICS_AXIOMS_TEMPLATE.md 的 K1/K2/K3 母版, 在 Ch05 进入"测度论"严格定义 (Ω / σ-algebra F / 测度 P 三件套)。

跨章桥接: softmax / GMM / VAE → Ch06 ML; 熵 / 互信息 → Ch06 决策树信息增益、Ch07 计算语言学 perplexity、Ch08 CV 特征选择。

---

思维导图 (Mermaid mindmap)

🌳 Ch5 章 知识图谱
├─ §01 计数
│  └─ 概率的分母与分子
│  └─ 乘法法则 m×n 🟢
│  │  └─ 3 衬衫 × 4 裤子 = 12 套
│  └─ 加法法则 m+n (互斥) 🟢
│  │  └─ 开车 3 路 + 火车 2 路 = 5
│  └─ 容斥原理 |A∪B|=|A|+|B|−|A∩B| 🟢
│  │  └─ 红桃与 K 重叠
│  └─ 阶乘 n! 与 0!=1 🟢
│  │  └─ 10! = 3,628,800
│  └─ 排列 P(n,r)=n!/(n-r)! 🟢
│  │  └─ 10 选 3 主席/副主席/司库 = 720
│  └─ 组合 C(n,r)=n!/ 🟢
│  │  └─ 10 人委员会 3 人 = 120
│  └─ 可重复排列 n^r 🟢
│  │  └─ 4 位 PIN 码 = 10^4
│  └─ 隔板法 ⭐ C(n+r-1, r) 🟡
│  │  └─ 4 口味 3 勺冰淇淋 = 20
│  └─ 二项系数通向 Binomial(n,p) 🟢
│  └─ 生日问题 k=23 越 50% 🟡
├─ §02 概率概念
│  └─ 测度三件套
│  │  └─ 样本空间 Ω 🟡
│  │  │  └─ 掷骰子 Ω = {1,2,3,4,5,6}
│  │  └─ 事件域 σ-algebra F ⭐ 🔴
│  │  │  └─ 事件族对补/可列并封闭
│  │  │  └─ <!-- FIX: P1-7 -->
│  │  │  └─ 最小例: Ω={1,2,3} 时 F={∅,Ω} (平凡) 或 F=2^Ω (4 子集: ∅/{1}/{2}/{3}/{1,2}/{1,3}/{2,3}/Ω, 最常用); 条件: F 含 ∅, 对补/可列并封闭
│  │  └─ 概率测度 P 🟡
│  │  │  └─ K1/K2/K3 严格定义
│  └─ Kolmogorov 三公理
│  │  └─ K1 非负性 P(A)≥0 🟢
│  │  │  └─ 概率像长度, 不能 −0.3
│  │  └─ K2 规范化 P(Ω)=1 🟢
│  │  │  └─ 饼图必须分完
│  │  └─ K3 可列可加性 🟡
│  │  │  └─ 互斥可加, 无限也能加
│  └─ 派生定理
│  │  └─ P(∅)=0, P(Aᶜ)=1−P(A) 🟢
│  │  └─ 互斥可加 n=2 情形 🟢
│  │  └─ 容斥 P(A∪B)=P(A)+P(B)−P(A∩B) 🟢
│  └─ 频率派 vs 贝叶斯派 🟢
│  │  └─ 长期频率 vs 信念强度
│  │  └─ 同一套数学, 哲学不同
│  └─ 条件概率 P(A|B)=P(A∩B)/P(B) 🟢
│  │  └─ 缩样本空间到 B
│  │  └─ 红牌中 K 概率 = 1/13
│  └─ 独立性 P(A∩B)=P(A)P(B) 🟡
│  │  └─ P(A|B)=P(A) iff 独立
│  │  └─ 不放回抽牌不独立
│  └─ 全概率公式 P(B)=ΣP(B|Aᵢ)P(Aᵢ) 🟡
│  │  └─ 划分 {Aᵢ} 完备且互斥
│  │  └─ Bayes 公式的分母
│  └─ Bayes 定理 P(A|B)=P(B|A)P(A)/P(B) 🟡
│  │  └─ 医学诊断 95% 准 → 阳性真病 8.8%
│  │  └─ 先验 → 似然 → 证据 → 后验
│  └─ 链式法则 🟡
│  │  └─ 联合 = 条件概率连乘
│  │  └─ 自回归语言模型骨架
│  └─ 条件独立 P(A∩B|C)=P(A|C)P(B|C) 🟡
│  │  └─ 边缘相关可条件独立
│  │  └─ 贝叶斯网络假设
├─ §03 概率分布
│  └─ 三种视角
│  │  └─ PMF P(X=x) 离散 🟢
│  │  │  └─ 柱状图的柱子
│  │  └─ PDF f(x) 连续 🟢
│  │  │  └─ 曲线下面积 = 概率
│  │  │  └─ 密度值 > 1 合法
│  │  └─ CDF F(x)=P(X≤x) 🟢
│  │  │  └─ 单调不减, 0→1
│  └─ 离散家族
│  │  └─ Bernoulli(p) 🟢
│  │  │  └─ 单次二元, Sigmoid 输出
│  │  │  └─ E=p, Var=p
│  │  └─ Binomial(n,p) 🟢
│  │  │  └─ n 次独立 Bern 之和
│  │  │  └─ 8 抛 6 正: 0.109
│  │  │  └─ E, Var
│  │  └─ Poisson(λ) 🟢
│  │  │  └─ 固定窗口稀有事件
│  │  │  └─ 邮件数 / 错别字
│  │  │  └─ E=Var=λ
│  │  │  └─ Binomial(n→∞,p→0) 极限
│  │  └─ Geometric(p) 🟡
│  │  │  └─ 首次成功等待次数
│  │  │  └─ 无记忆
│  │  │  └─ E=1/p
│  │  └─ Negative Binomial(r,p) 🟡
│  │  │  └─ 第 r 次成功总试验数
│  │  │  └─ 过离散计数数据
│  └─ 连续家族
│  │  └─ Uniform(a,b) 🟢
│  │  │  └─ 矩形 PDF
│  │  │  └─ RNG 起点的母分布
│  │  └─ Normal(μ,σ²) 🟢
│  │  │  └─ 钟形曲线, CLT 自然涌现
│  │  │  └─ 权重初始化 / VAE 重参数化
│  │  │  └─ 经验法则 68-95-99.7
│  │  └─ Exponential(λ) 🟡
│  │  │  └─ Poisson 过程等待时间
│  │  │  └─ 无记忆: P
│  │  └─ Gamma(α,β) 🟡
│  │  │  └─ 第 α 次事件等待时间
│  │  │  └─ 形状 α + 速率 β
│  │  │  └─ 指数是 α=1 特例
│  │  └─ Beta(α,β) 🟡
│  │  │  └─ 上的概率分布
│  │  │  └─ Bern/Bin 似然共轭先验
│  │  └─ χ²(k) 🔴
│  │  │  └─ k 个标准正态平方和
│  │  │  └─ Gamma 特例 α=k/2
│  │  └─ Student's t(ν) 🔴
│  │  │  └─ 重尾正态
│  │  │  └─ 小样本 + 未知方差
│  │  │  └─ ν→∞ 收标准正态
│  └─ 共轭先验 (重要骨架) 🟡
│  │  └─ Beta + Bern → 后验仍 Beta
│  │  └─ 更新只需改超参数
│  │  └─ MLE / MAP / 完整后验
├─ §04 贝叶斯方法
│  └─ 三种估计谱系
│  │  └─ MLE argmax L(θ|D) 🟢
│  │  │  └─ 抛 7 正 3 反 → p̂=0.7
│  │  │  └─ 全 1 时过于自信
│  │  │  └─ 对数似然连乘→连加
│  │  └─ MAP argmax P(θ|D) 🟡
│  │  │  └─ Beta(2,2) 先验 → 0.667
│  │  │  └─ 拉向先验均值
│  │  │  └─ L2 正则 = 高斯先验 MAP
│  │  └─ 完整贝叶斯推断 🟡
│  │  │  └─ Beta(9,5) 整条后验
│  │  │  └─ 点估计 + 不确定性
│  │  │  └─ 计算贵但信息全
│  └─ ⭐ 马尔可夫链
│  │  └─ 马尔可夫性质 🟡
│  │  │  └─ 未来仅依赖当下
│  │  │  └─ P
│  │  └─ 状态与转移矩阵 T 🟡
│  │  │  └─ T 每行和 = 1
│  │  │  └─ s_{t+1} = s_t T
│  │  └─ 平稳分布 π T=π 🟡
│  │  │  └─ 极限不依赖起点
│  │  │  └─ MCMC 采样基础
│  └─ ⭐ HMM 隐马尔可夫模型 🔴
│  │  └─ 隐藏状态 + 发射观测
│  │  │  └─ 雨/晴天 → 带伞/不带伞
│  │  └─ 转移 / 发射 / 初始分布
│  │  └─ 三问
│  │  │  └─ 解码 (Viterbi) 🟡
│  │  │  └─ 评估 (Forward) 🟡
│  │  │  └─ 学习 (Baum-Welch = EM) 🔴
│  │  └─ 生成式 (HMM) vs 判别式 (CRF) 🟡
│  │  └─ NLP 应用: BiLSTM-CRF / BERT-CRF
├─ §05 信息论
│  └─ Shannon 1948 框架
│  └─ 自信息 I(x) = −log₂ p(x) 🟢
│  │  └─ 必然事件 0 比特
│  │  └─ 公平硬币 1 比特
│  │  └─ 罕见事件信息量大
│  └─ 熵 H(X)=−Σp log₂ p 🟢
│  │  └─ 分布的不确定性
│  │  └─ 公平硬币 1 比特
│  │  └─ 均匀分布熵最大
│  │  └─ 公平骰子 log₂6 ≈ 2.585
│  │  └─ 香农源编码: 压缩不能低于熵率
│  │  └─ JPEG/PNG 有效根因
│  └─ 微分熵 h(X) 🟡
│  │  └─ 连续版
│  │  └─ 方差固定时高斯取最大
│  └─ 互信息 I(X;Y) 🟡
│  │  └─ H
│  │  └─ 独立时 = 0
│  │  └─ 决策树信息增益
│  │  └─ 特征选择
│  └─ 交叉熵 H(p,q) 🟡
│  │  └─ 用 q 编码 p 的代价
│  │  └─ 完美匹配 = 熵
│  │  └─ 分类标准损失 L = −Σ y_c log ŷ_c
│  └─ KL 散度 D_KL(p‖q) 🟡
│  │  └─ 非负, 不对称 D_KL
│  │  └─ = 交叉熵 − 熵
│  │  └─ 矩匹配 vs 寻模
│  │  └─ 贝叶斯更新核心
│  │  └─ VAE 潜空间正则项
│  └─ ML 全栈
│  │  └─ 熵 = 分布不确定性
│  │  └─ 交叉熵 = 模型近似代价
│  │  └─ KL = 近似差距
│  │  └─ 三者 = 现代优化骨架
├─ ⭐ 进阶分支
│  └─ ⭐ 大数定律
│  │  └─ 弱大数 X̄ₙ →ᵖ μ
│  │  └─ 强大数 X̄ₙ →ᵃˢ μ
│  │  └─ 几乎必然 vs 概率
│  │  └─ 频率派概率的数学根基 🟡
│  └─ ⭐ 中心极限定理 (CLT) 严格版
│  │  └─ 三角阵形式 ⭐ 🔴
│  │  └─ Lindeberg 条件 ⭐ 🔴
│  │  └─ Berry-Esseen 界 ⭐ 🔴
│  │  │  └─ |F_n
│  │  └─ 标准化 Zₙ =
│  │  └─ 样本均值近似正态 🟡
│  │  └─ 与 Ch04 §03 抽样承上
│  └─ ⭐ 测度论铺垫
│  │  └─ 测度空间 (Ω, F, P) 🔴
│  │  └─ 随机变量 X: Ω → ℝ 可测映射
│  │  └─ 期望 E = ∫ x dP
│  │  └─ Lebesgue 积分动机 🔴
│  │  └─ 密度 ≠ 概率 ⭐ 重要陷阱 🟡
│  │  │  └─ PDF 值 > 1 合法
│  │  │  └─ 曲线下面积 = 概率
│  │  └─ 支撑集 support 🟢
│  │  │  └─ PMF/PDF 取正值的点
│  └─ ⭐ 不等式工具箱
│  │  └─ Markov 不等式 P(X≥a)≤E/a 🟡
│  │  └─ Chebyshev 不等式 P(|X−μ|≥kσ)≤1/k² 🟡
│  │  └─ Jensen 不等式 E≥φ(E) 🟡
│  │  └─ φ 凸时成立
│  │  └─ Hoeffding 集中不等式 🔴
│  └─ ⭐ 多元分布与统计量
│  │  └─ 联合分布与协方差 🟡
│  │  └─ 协方差矩阵 Σ ∈ ℝ^{d×d}
│  │  └─ 相关 ≠ 因果
│  │  └─ 充分统计量 🔴
│  │  └─ 抽样分布 (χ², t, F) 🟡
├─ 跨章桥接
│  └─ 软连接
│  │  └─ Softmax = 归一化
│  │  └─ GMM 高斯混合
│  │  └─ VAE KL 正则
│  │  └─ 交叉熵损失
│  └─ 软连接
│  │  └─ 自回归 = 链式法则
│  │  └─ Perplexity = 2^H
│  │  └─ 词分布的熵
│  └─ 软连接
│  │  └─ 互信息特征选择
│  │  └─ 图像熵与 JPEG
│  │  └─ 像素分布的微分熵
│  └─ 测度桥梁
│  │  └─ 测度空间
│  │  └─ L^p 空间 L¹ / L²
│  │  └─ 期望作为 L¹ 范数范数
│  └─ 概率根基
│  │  └─ Ch04 抽样承上
│  │  └─ 假设检验的 p 值
│  │  └─ 置信区间的频率派

---

学习路径建议

Week 1 (主干 L1-L3): - Day 1-2: §01 计数 (排列组合 / 二项系数) + §02 概率公理 K1/K2/K3 复盘 - Day 3-4: §02 条件概率 / 独立性 / Bayes 公式 (医学诊断数字例走通) - Day 5-7: §03 离散家族 (Bernoulli / Binomial / Poisson) + 连续家族 (Uniform / Normal / Exponential)

Week 2 (主干 L3-L4): - Day 8-9: §03 进阶分布 (Gamma / Beta / χ² / t) + 共轭先验概念 - Day 10-12: §04 MLE / MAP / 完整贝叶斯 + 马尔可夫链 - Day 13-14: §05 熵 / 交叉熵 / KL 散度 + 训练循环数字验证

Week 3 (进阶 L5-L6): - Day 15-17: ⭐ 大数定律 + CLT 严格版 (Lindeberg / Berry-Esseen) - Day 18-20: ⭐ 测度论铺垫 + 不等式工具箱 - Day 21: 阶段测试 + 跨章桥接复盘 (softmax / GMM / VAE / perplexity)

---

依赖关系

Ch01 计数 (组合工具)
  ↓
Ch02 概率概念 (公理 + 条件概率 + Bayes)
  ↓
Ch03 概率分布 (PMF/PDF/CDF + 分布族)
  ↓
Ch04 贝叶斯方法 (MLE/MAP/后验 + 序列模型)
  ↓
Ch05 信息论 (熵 + 交叉熵 + KL)

外部依赖:
  Ch04 §03 抽样 (X̄ₙ 统计量) ← Ch05 ⭐ 大数定律
  Ch06 经典 ML (交叉熵损失 / 信息增益) ← Ch05 §05
  Ch06 深度学习 (VAE / GMM) ← Ch05 §04 §05
  Ch07 NLP (Perplexity / 链式法则) ← Ch05 §02 §05
  Ch08 CV (互信息 / 图像熵) ← Ch05 §05
  Ch10 泛函 (L^p 空间 / 测度) ← Ch05 ⭐ 测度论
  Ch12 统计推断 (p 值 / 置信区间) ← Ch05 §04 + Ch04

---

常见误区

误区	错在哪	修正
PDF 值必须 ≤ 1	混淆"密度"与"概率"	密度值可以 > 1 (例 Uniform(0, 0.5) 的 PDF = 2), 关键是曲线下面积 = 1
P(A|B) = P(B|A)	颠倒条件方向	走 Bayes 公式: P(A|B) = P(B|A)·P(A)/P(B), 分母含全概率
互斥 = 独立	互斥且非零概率时不可能独立	互斥: A∩B=∅; 独立: P(A∩B)=P(A)P(B), 仅 P(·)=0 或 1 时同时成立
MLE 全 1 是好估计	没考虑先验	10 次全 1 → MLE 1.0, MAP 拉回, 完整后验保留不确定性
λ 在三处含义相同	跨章符号漂移	Ch05 Poisson λ=率参数, Ch03 乘子 λ=Lagrange, Ch03 正则 λ=系数, 必须显式区分
KL 散度对称	误用对称距离	D_KL(p‖q) ≠ D_KL(q‖p), 矩匹配 vs 寻模两种风格
几何/指数无记忆 = 一般无记忆	误推广	离散只有几何无记忆, 连续只有指数无记忆, 其他分布不成立
互信息总为正	误把 MI 当绝对值	互信息 I(X;Y) ≥ 0, 但与"相关性"方向无关 (相关有正负, MI 只有大小)
CLT 要求 X_i 同分布	误以为需要严格 i.i.d.	Lindeberg 条件允许不同分布, 只要求"每个小到可忽略"
期望线性 = 独立	误用 E[XY]=E[X]E[Y]	期望线性永远成立, 但 E[XY]=E[X]E[Y] 要求独立, 否则要用协方差
把 P(A) 当密度	离散 vs 连续混用	离散 PMF 给单点概率, 连续 PDF 给密度; P(X=x)=0 但 f(x)>0 在连续时不矛盾

---

节点统计

• 总节点数: 92 (在 60-100 区间内)
• 难度分布: 🟢 ≈ 40 (43%), 🟡 ≈ 38 (41%), 🔴 ≈ 14 (15%) — 略偏重基础, 反映 Ch05 是 Ch04 的"深度版"而非"高阶版"
• 进阶 (⭐) 分支覆盖: 大数定律、CLT 严格版、测度论、不等式工具箱 (4 项, 满足 ≥2 要求)
• 跨章桥接: Ch06 (ML 4 处) / Ch07 (NLP 3 处) / Ch08 (CV 3 处) / Ch10 (泛函 3 处) / Ch12 (统计 3 处)
• 数字锚点: 医学诊断 8.8% / 抛硬币 MAP 0.667 / 公平硬币 1 比特 / 生日问题 k=23 / 二项 8 抛 6 正 0.109

---

文件路径: zh/教辅/思维导图/第05章.md