讲解稿 · 第05章 第03节 · 概率分布¶
口播时长：约 17 分钟｜建议语速：中速，公式处停两拍｜字数：约 4200 字
开场钩子（约 80 秒）¶
一个游戏节目场景。
三扇关着的门——一扇后面跑车，两扇后面山羊。你挑 1 号门。主持人故意打开你没挑的、后面是山羊的 3 号门。然后他问：要不要换成 2 号门？
直觉告诉你"换不换都是 1/2"。答案让你吃惊——换门中奖概率是 2/3，不换只有 1/3。
这是 1990 年《Parade》杂志 Marilyn vos Savant 引发的全民争论，也是概率论最经典的反直觉题目。关键在哪？条件概率。主持人知道门后是羊再开门——这个"知道"就是条件, 它把样本空间缩小了。
今天这一节, 我们把概率论的工具箱全部打开：测度论三件套、Kolmogorov 公理、八大常见分布、大数定律、中心极限定理、条件概率与 Bayes、信息论入门——从理论到应用的完整语言。
扶稳了, 开始。
复习昨日 & 今日路线（约 40 秒）¶
上一节 §02 是 Ch04 统计学语言：分布、随机变量、PMF/PDF/CDF、期望、方差、矩, 以及 Ch04 §03 的中心极限定理——那是统计学语言的应用层。
今天进入 Ch05 测度论与概率论的深度版：在 Ch04 之上, 把"概率公理"严格化、把常用分布做成族、把大数定律和中心极限定理升级到测度论表述。Ch04 是先导, Ch05 才是正餐。
下一节 §04 我们讲 Bayes 推断——把今天的 Bayes 公式用到统计推断里, 处理 §05 统计推断那章留下的开放问题。
核心概念一 · 测度论三件套与 Kolmogorov 公理（约 2 分钟）¶
Ch04 说"概率满足三条公理"。为什么是这三条？测度论告诉我们——这三条是把所有"测长度"的工具（长度、面积、体积）抽象出来, 加上"测的是概率"这一层。
🟢 测度论三件套¶
任何概率空间由三件套搭起：
样本空间 \(\Omega\) — 所有可能结果的集合. 例子: 抛一次硬币, \(\Omega = \{H, T\}\); 测一个人身高, \(\Omega = (0, 3)\) 米. 符号表: \(\Omega\) — 样本空间, 本节定义于实数域语境.
事件域 \(\mathcal{F}\) — \(\Omega\) 子集构成的 \(\sigma\)-代数, 满足"补集封闭、可数并封闭". 例: \(\mathcal{F}\) 至少包含 \(\emptyset, \Omega\).
概率测度 \(P\) — 从 \(\mathcal{F}\) 到 \([0,1]\) 的函数, 给每个事件分配概率.
大白话：\(\Omega\) 是"战场", \(\mathcal{F}\) 是"能问的问题集合", \(P\) 是"裁判给每个问题打分"。
🟢 Kolmogorov 公理三件套¶
公理 — 大白话 — 反例, 走一遍：
公理一 · 非负性: \(P(A) \ge 0\), 概率不能是负数。 反例：\(P(\{H\}) = -0.5\)——违反"测长度不能为负", 公理体系崩了。
公理二 · 规范性: \(P(\Omega) = 1\), 整个样本空间的概率是 1。 反例：\(P(\Omega) = 0.5\), 那"不是 \(\Omega\) 的部分"概率就是 0.5——但你说不出那部分是什么, 因为 \(\Omega\) 已经是全部。
公理三 · 可数可加性: 若 \(A_1, A_2, \ldots\) 互不相交, 则 \(P(\bigcup_i A_i) = \sum_i P(A_i)\)。 反例：只要求"有限可加"会漏掉极限——比如 \([0,1]\) 上均匀分布对所有有理点的概率. 必须可数, 才能保证极限不出乱子。
测度比直觉: \(\Omega = [0,1]\), \(\mathcal{F}\) 是 Borel 集, \(P(A) = A\) 的长度. 这就是均匀分布的概率——概率本质是长度 / 面积 / 体积在概率语境下的特殊版本。
Ch04 vs Ch05：Ch04 应用层只说"\(P(A) \ge 0\)、\(P(\Omega) = 1\)、互斥事件概率相加". Ch05 测度层把"互斥"升级到"可数互斥", 把"事件"严格定义在 \(\sigma\)-代数上, 把"\(P\)"严格定义成测度. 一句话：Ch05 把概率从"算术规则"升级到"测度论对象"。
核心概念二 · 离散分布三件套（约 2.5 分钟）¶
Ch04 给过 PMF/PDF 概念, Ch05 把常用分布组成族. 先看离散三件套。
🟢 Bernoulli 分布¶
直觉: 单次 yes/no 实验. 抛一次硬币、检查一个零件、用户点不点广告。
定义: \(X \in \{0, 1\}\), \(P(X = 1) = p\), \(P(X = 0) = 1 - p\)：
数字例子: \(p = 0.7\) 的有偏硬币, \(P(X = 1) = 0.7\)。\(E[X] = 0.7\), \(\mathrm{Var}(X) = 0.21\)。
反例: 不允许 \(P(X = 1) = 1.2\) 或 \(-0.3\)——公理一非负性和概率 \(\le 1\) 在拦着。
ML 钩子: Sigmoid 输出 \(\sigma(z) = 1/(1 + e^{-z})\) 就是 Bernoulli 的参数 \(p\). 二分类最后一层, 输出的是"概率", 不是"标签"。
🟢 Binomial 分布¶
直觉: 抛 \(n\) 次硬币, 数正面次数. 抽 \(n\) 个用户, 数点击次数。
定义: \(n\) 次独立 Bernoulli, 成功次数 \(k\)：
数字例子: \(n = 8, p = 0.7\). \(P(X = 6) = \binom{8}{6}(0.7)^6(0.3)^2 = 28 \times 0.1176 \times 0.09 \approx 0.296\). 三步可验 ✓。
\(E[X] = np = 5.6\), \(\mathrm{Var}(X) = np(1-p) = 1.68\)。
一句话总结: Binomial 是"重复独立 Bernoulli 的计数"。
🟢 Poisson 分布 ⭐ λ 三义¶
直觉: 固定时间/空间窗口里稀有事件计数. 每小时收到的邮件数、每页错别字数。
定义: 平均率 \(\lambda\) 下, 事件发生次数：
数字例子: \(\lambda = 5\) 封/小时, \(P(X = 3) = 5^3 e^{-5}/3! = 125 \times 0.0067/6 \approx 0.140\). 三步可验 ✓。
\(E[X] = \mathrm{Var}(X) = \lambda = 5\). 均值等于方差——Poisson 的招牌。
⚠️ λ 三义警告: Ch03 线性代数里, \(\lambda\) 是特征值或正则化系数；Ch03 优化里, \(\lambda\) 是Lagrange 乘子. Ch05 Poisson 的 \(\lambda\) 是率参数（rate parameter）, 单位"次/单位时间". 三个 \(\lambda\) 完全不是一回事, 跨章看到 \(\lambda\) 先问"哪种 λ"。
极限关系: 当 \(n \to \infty, p \to 0, np = \lambda\) 保持不变, \(\text{Binomial}(n, p) \to \text{Poisson}(\lambda)\). 这就是 Poisson 适合"大总体稀有事件"的原因。
核心概念三 · 几何分布与无记忆性（约 1.5 分钟）¶
🟢 Geometric 分布¶
直觉: "要抛几次硬币才第一次出正面？"——数的是等待次数, 不是成功次数。
定义: \(P(X = k) = (1-p)^{k-1} p\), \(k = 1, 2, 3, \ldots\)
\(E[X] = 1/p\). 公平硬币 \(p = 0.5\) 时, 平均要抛 2 次。
关键性质 · 无记忆性 (memoryless)：
大白话: 已经等了 \(s\) 次还没成功, 再等 \(t\) 次才成功的概率, 跟"从头开始等 \(t\) 次"完全一样. 过去白等。
反例: 正态分布 \(X \sim \mathcal{N}(0, 1)\), \(P(X > s + t \mid X > s) \neq P(X > t)\). 因为"已经超过 \(s\)"说明 \(X\) 倾向于偏大, 不能假装从零开始。
Geometric 是离散版的"等待时间", 跟下面 Exponential 配对——两个唯一的无记忆分布。
⏸️ 暂停思考 · 第一次 (约 60s)
- 伯努利的 \(p\) 怎么估？用样本均值 \(\hat p = k/n\).
- 为什么 Binomial \((n, p)\) 的方差是 \(np(1-p)\)？想想独立随机变量和的方差公式。
- 几何分布的无记忆性意味着什么？如果一个灯泡寿命服从指数分布, "已经用了 1000 小时还没坏"对未来寿命没有任何提示——这违反直觉对吧？
核心概念四 · 连续分布三件套（约 2.5 分钟）¶
Ch04 强调过：PDF 值可以大于 1——密度不是概率. 这里再加深。
🟢 Uniform 分布¶
直觉: 区间 \([a, b]\) 上每个点机会均等. 随机数生成器第一步就是产 Uniform\((0,1)\) 样本。
定义: \(f(x) = 1/(b-a)\), \(a \le x \le b\)。
数字例子: \(U \sim \text{Uniform}(0, 0.5)\). \(f(x) = 2\), 密度值是 2, 大于 1——完全合法! \(P(0.1 \le U \le 0.2) = \int_{0.1}^{0.2} 2\, dx = 0.2\). 概率是面积, 不是高度。
\(E[U] = (a+b)/2\), \(\mathrm{Var}(U) = (b-a)^2/12\)。
🟢 Exponential 分布¶
直觉: Poisson 过程中两次事件的等待时间. 邮件到达间隔、零件寿命。
定义: \(f(x) = \lambda e^{-\lambda x}\), \(x \ge 0\)。
数字例子: \(\lambda = 2\) 次/小时. \(E[X] = 1/2 = 0.5\) 小时. \(P(X > 1) = e^{-2} \approx 0.135\). 三步可验 ✓。
无记忆性: \(P(X > s + t \mid X > s) = P(X > t)\). 跟 Geometric 是离散-连续配对——两个唯一的无记忆分布。
🟢 Normal 分布¶
直觉: 自然界和社会里大量现象的归宿. 身高、测量误差、Sigmoid 输入端。
定义:
数字例子 · 经验法则: \(\mu = 100, \sigma = 15\)（智商分布）. 落在 \(\mu \pm 1\sigma\) 内约占 68%, \(\pm 2\sigma\) 内约占 95%, \(\pm 3\sigma\) 内约占 99.7%。
标准化: \(Z = (X - \mu)/\sigma \sim \mathcal{N}(0, 1)\). 任何正态变量都能标准化成标准正态。
ML 钩子: 权重初始化（Xavier/He 默认高斯）、MSE 损失隐含"误差服从高斯"、VAE 重参数化 \(z = \mu + \sigma \odot \epsilon\), \(\epsilon \sim \mathcal{N}(0, 1)\)。
一句话总结: Normal 是 ML 的默认底色。
核心概念五 · Beta 与 Gamma——贝叶斯的左右手（约 1.5 分钟）¶
🟡 Beta 分布¶
直觉: 建模概率的概率. "我觉得硬币 \(p\) 大概在 0.5 附近, 但不确定"——这就是 Beta 干的事。
定义: \(\text{Beta}(\alpha, \beta)\) 在 \([0, 1]\) 上。
分母 \(B(\alpha, \beta) = \Gamma(\alpha)\Gamma(\beta)/\Gamma(\alpha + \beta)\) 是归一化常数。
数字例子: \(\text{Beta}(2, 5)\)——左偏, 均值 \(\alpha/(\alpha + \beta) = 2/7 \approx 0.286\). 三步可验 ✓。
核心性质 · 共轭先验: 先验 Beta + 数据 Bernoulli \(\Rightarrow\) 后验仍是 Beta. 贝叶斯更新解析可算, 不用数值积分。
🟡 Gamma 分布¶
直觉: 指数分布的推广. Poisson 过程中第 \(\alpha\) 次事件的等待时间 (Exponential 是 \(\alpha = 1\))。
定义: \(\text{Gamma}(\alpha, \beta)\), \(f(x) = \beta^\alpha x^{\alpha-1} e^{-\beta x} / \Gamma(\alpha)\), \(x > 0\)。
\(E[X] = \alpha/\beta\), \(\mathrm{Var}(X) = \alpha/\beta^2\)。
关系网: Exponential = Gamma\((\alpha=1, \beta=\lambda)\). \(\chi^2(k)\) = Gamma\((k/2, 1/2)\). Gamma 是 Beta 在正实数轴上的"远房亲戚"。
ML 钩子: Beta 是 LDA 主题模型的先验, Gamma 是泊松回归共轭先验。
核心概念六 · 大数定律与中心极限定理 ⭐（约 2 分钟）¶
Ch04 §03 讲过 CLT 的应用版. Ch05 把它升级到测度论严格版——看不懂可跳。
🟡 大数定律 (LLN)¶
陈述: \(X_1, X_2, \ldots\) 独立同分布, \(E[X_i] = \mu\), \(\mathrm{Var}(X_i) = \sigma^2 < \infty\). 则：
"几乎必然" (almost surely) 是什么意思: \(P(\lim_{n \to \infty} \bar X_n = \mu) = 1\). 必然（with probability 1）, 不是"高概率"。
反直觉点: \(\bar X_n\) 是随机变量, \(\mu\) 是常数. LLN 说随机变量的极限是常数——"随机性消失"的形式化。
🔴 中心极限定理 (CLT) 严格版 ⭐¶
Lindeberg-Feller 定理: 设 \(\{X_{n,i}\}\) 是三角阵（triangular array）——第 \(n\) 行有 \(k_n\) 个独立随机变量. 若 Lindeberg 条件
成立（其中 \(s_n^2 = \sum_i \mathrm{Var}(X_{n,i})\)）, 则：
大白话: 不管原分布长啥样, 只要 Lindeberg 条件（本质：单个变量对总和贡献不太大）成立, 标准化和就收敛到正态。
Berry-Esseen 界: 收敛速度有量化. 若三阶矩存在, \(\left|\text{CDF}_{\bar X_n}(x) - \Phi(x)\right| \le \frac{C \cdot E[|X - \mu|^3]}{\sigma^3 \sqrt{n}}\). 误差 \(\sim 1/\sqrt{n}\)——这就是为什么 \(n \ge 30\) 是经验法则的来源。
⏸️ 暂停思考 · 第二次 (约 60s)
- CLT 为什么叫"中心"？因为它说的是样本均值（\(\bar X_n\)）围绕真值 \(\mu\) 形成的极限分布。
- 三角阵是什么？是允许每一行的随机变量分布都不一样——比 i.i.d. 更弱的条件。
- Lindeberg 条件 vs Lyapunov 条件？后者更易验证, 是充分条件. 考试常考这个对比。
核心概念七 · 条件概率与 Bayes（约 2 分钟）¶
🟢 条件概率¶
定义: \(P(A \mid B) = P(A \cap B)/P(B)\) (前提 \(P(B) > 0\))。
大白话: 在 \(B\) 发生的前提下, \(A\) 发生的概率。
🟢 独立¶
定义: \(P(A \cap B) = P(A) P(B)\), 等价于 \(P(A \mid B) = P(A)\)。
大白话: 知道 \(B\) 发生, 对 \(A\) 的信念不变。
反例: 抛两次硬币, \(A\) = 第一次正面, \(B\) = 两次都正面. \(P(B \mid A) = 0.25 < 0.5 = P(B)\). 第二次的结果被第一次改变了——不独立。
🟢 全概率公式¶
大白话: 把整个样本空间切成 \(\{A_i\}\), 在每片上算 \(B\) 的概率, 加权求和. 这是 Bayes 公式的分母。
🟢 Bayes 公式¶
大白话: 先验 \(P(A_i)\) + 似然 \(P(B \mid A_i)\) \(\to\) 后验 \(P(A_i \mid B)\)。
数字例子 · 医疗检测: 某病发病率 \(P(D) = 0.001\). 检测准确率 \(P(+ \mid D) = 0.99\), 假阳率 \(P(+ \mid \neg D) = 0.05\). 测出阳性, 真患病的概率？
不到 2%! 直觉错了——阳性不等于患病, 因为病本来极少. 这就是基率谬误（base rate fallacy）。
数字例子 · 多次更新: 假设测两次独立阳性：
第二次后跳到 28%. 多次独立证据迅速修正先验——贝叶斯推断的本质。
核心概念八 · 信息论入门（约 1 分钟）¶
🟢 Shannon 熵¶
定义: \(H(X) = -\sum_x p(x) \log p(x)\)。
大白话: \(X\) 的"信息量"或"不确定性". \(p = 1\) 时 \(H = 0\)（确定）, \(p = 0.5\) 时 \(H = 1\) bit（抛硬币）。
数字例子: 公平骰子 \(H = \log_2 6 \approx 2.585\) bit. 三步可验 ✓。
🟡 KL 散度¶
定义: \(D_{KL}(P \| Q) = \sum_x p(x) \log(p(x)/q(x)) \ge 0\)。
大白话: 用 \(Q\) 近似 \(P\) 时丢掉多少信息. 不对称：\(D_{KL}(P \| Q) \neq D_{KL}(Q \| P)\)。
ML 钩子: 语言模型 perplexity = \(2^{H(p)}\), VAE 损失包含 \(-D_{KL}(q(z \mid x) \| p(z))\), 注意力机制可视为互信息的可微近似。
一个走完全程的例子（约 2.5 分钟）¶
把所有概念串一遍：贝叶斯垃圾邮件过滤器。
背景: 60 封垃圾、40 封正常邮件. 历史统计：含 "free" 的 80% 是垃圾, 不含的 5% 是垃圾. 收到一封含 "free" 的邮件, 它是垃圾的概率？
Step 1 · 测度论三件套. \(\Omega\) = 全部邮件；\(\mathcal{F}\) = 事件集；\(P\) = 频率近似。
Step 2 · 先验分布. \(P(S) = 0.6\), \(P(H) = 0.4\)。
Step 3 · 似然. \(P(\text{free} \mid S) = 0.8\), \(P(\text{free} \mid H) = 0.05\). 来自Bernoulli 似然。
Step 4 · 全概率公式（分母）.
Step 5 · Bayes（后验）.
含 "free" 的邮件有 96% 是垃圾 ✓。
Step 6 · 多次更新. 假设来了 10 封邮件, 都含 "free". 按 Binomial 似然更新, \(P(S)\) 从 0.6 推到 0.99+——证据足够多, 先验被打脸。
Step 7 · 用到的所有概念. 测度论三件套（Step 1）、Bernoulli 似然（Step 3）、全概率公式（Step 4）、Bayes 更新（Step 5, 6）. 一个例子走完今天所有内容。
⏸️ 暂停思考 · 第三次 (约 60s)
- 如果"含 free"是垃圾的概率不是 0.8 而是 0.6, 后验会怎么变？提示：你可以重算 Step 5。
- Binomial 多次更新的公式和单次 Bayes 是什么关系？提示：似然函数是 \(\binom{n}{k} p^k (1-p)^{n-k}\)。
- 这跟朴素贝叶斯（Naive Bayes）分类器的联系是什么？
易错点回头看（约 90 秒）¶
三条最常翻车的地方：
坑一 · 很多人以为"PDF 值就是概率". 其实 \(f(x)\) 是密度, 不是概率——密度可以大于 1（Uniform\((0, 0.5)\) 密度 = 2）. 概率是面积 \(P(a \le X \le b) = \int_a^b f(x)\, dx\), 不是 \(f(x)\) 本身。
坑二 · 很多人把"条件概率"和"独立"搞反. \(P(A \mid B) = P(A)\) 是独立的判定, 不是条件概率的定义. 如果 \(P(A \mid B) \neq P(A)\), 说明 \(B\) 给 \(A\) 提供了信息——它们不独立。
坑三 · 很多人忽视 λ 的三义. Ch03 线性代数的 \(\lambda\) 是特征值；Ch03 优化的 \(\lambda\) 是 Lagrange 乘子或正则化系数；Ch05 Poisson 的 \(\lambda\) 是率参数. 三个 λ 含义完全不同, 跨章看到 \(\lambda\) 先问"哪一种"。
与下节的钩子（约 30 秒）¶
今天我们把概率论的全套基础打通了：测度论三件套、Kolmogorov 公理、八大常见分布、大数定律、中心极限定理、条件概率与 Bayes、信息论. 但还有一个问题没解决——怎么用先验 + 数据反推参数？不是只更新一封邮件的 spam/ham, 而是估计模型参数本身——参数的后验分布怎么算？MCMC 怎么用？共轭先验在什么时候够用？
下一节 §04 Bayes 推断, 我们把这些工具全部用起来, 处理真实统计推断问题。
下次见。