Ch03 概率论与梯度 · 复习大纲¶
承接: Ch01 线性代数 → Ch02 矩阵论 → Ch03 概率与梯度 → Ch04 统计推断 核心: 概率论 + 信息论 + 优化理论, 全部 ML 的数学基石 学习时长: 25-30 小时 (基础 8h + 强化 12h + 实战 10h)
章节定位¶
Ch03 是数学三书中的"概率/优化"支柱: - Ch01-02: 确定性框架 (线性代数, 矩阵分解) - Ch03: 不确定性 + 优化 (随机变量, 极大似然, 梯度) - Ch04-05: 推断 + 决策 (统计, 贝叶斯) - Ch06+: 全部 ML 算法
5 节知识地图¶
§01 概率基础 (4h)¶
核心概念: 集合操作 → 概率空间 → 条件概率 → 独立性 → 贝叶斯公式
| 概念 | 公式 | 例子 |
|---|---|---|
| 样本空间 | \(\Omega\) | 投硬币 6 次 |
| 事件 | \(A \subseteq \Omega\) | 3 次正面 |
| 概率 | \(P(A) = \lim_{n \to \infty} \frac{n_A}{n}\) | 1/8 |
| 条件概率 | \(P(A\|B) = P(A \cap B) / P(B)\) | P(阳性|有病) |
| 贝叶斯 | \(P(H\|E) = P(E\|H)P(H) / P(E)\) | 医学诊断 |
| 独立 | \(P(A \cap B) = P(A)P(B)\) | 两次投币 |
关键案例: - 蒙提霍尔问题 (Monty Hall) — 直观违反直觉 - 辛普森悖论 (Simpson) — 群体 vs 个体 - 贝叶斯诊断 — 验血假阳性
前置: 集合论 (Ch13 §01) 后续: §02 随机变量
§02 随机变量 (5h)¶
核心概念: 离散 / 连续变量 → 累积分布 → 期望 → 方差 → 协方差
| 概念 | 公式 | 典型应用 |
|---|---|---|
| PMF | \(P(X = x_i)\) | 抛硬币 |
| \(f(x) = \frac{dF}{dx}\) | 测量误差 | |
| CDF | \(F(x) = P(X \leq x)\) | 排序 |
| 期望 | \(E[X] = \int x f(x) dx\) | 平均 |
| 方差 | \(\text{Var}(X) = E[(X - \mu)^2]\) | 风险 |
| 协方差 | \(\text{Cov}(X,Y) = E[(X-\mu_X)(Y-\mu_Y)]\) | 相关性 |
| 相关 | \(\rho = \text{Cov}/\sigma_X \sigma_Y\) | 关联强度 |
期望/方差性质: - \(E[aX + b] = aE[X] + b\) - \(\text{Var}(aX) = a^2 \text{Var}(X)\) - \(E[X+Y] = E[X] + E[Y]\) - \(\text{Var}(X+Y) = \text{Var}(X) + \text{Var}(Y) + 2\text{Cov}(X,Y)\)
不等式: - 马尔可夫: \(P(X \geq a) \leq E[X]/a\) - 切比雪夫: \(P(\|X - \mu\| \geq k\sigma) \leq 1/k^2\) - 詹森: \(f(E[X]) \leq E[f(X)]\) (凸函数)
前置: §01 后续: §03 分布
§03 概率分布 (6h)¶
核心概念: 伯努利 / 二项 / 高斯 / 泊松 / 指数 / 多项式
| 分布 | PMF/PDF | 期望 | 方差 | 典型场景 |
|---|---|---|---|---|
| 伯努利 \(B(1,p)\) | \(p^x (1-p)^{1-x}\) | \(p\) | \(p(1-p)\) | 抛硬币 |
| 二项 \(B(n,p)\) | \(\binom{n}{k} p^k (1-p)^{n-k}\) | \(np\) | \(np(1-p)\) | n 次独立 |
| 高斯 \(\mathcal{N}(\mu, \sigma^2)\) | \(\frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(x-\mu)^2}{2\sigma^2}}\) | \(\mu\) | \(\sigma^2\) | 测量/噪声 |
| 泊松 \(P(\lambda)\) | \(\frac{\lambda^k e^{-\lambda}}{k!}\) | \(\lambda\) | \(\lambda\) | 计数事件 |
| 指数 \(\text{Exp}(\lambda)\) | \(\lambda e^{-\lambda x}\) | \(1/\lambda\) | \(1/\lambda^2\) | 等待时间 |
| 多项式 | \(\frac{n!}{k_1! \cdots k_m!} p_1^{k_1} \cdots p_m^{k_m}\) | \(np_i\) | \(np_i(1-p_i)\) | 类别 |
大数定律: - 弱定律: \(\bar{X}_n \xrightarrow{P} \mu\) - 强大数: \(\bar{X}_n \xrightarrow{a.s.} \mu\) - 中心极限定理: \(\frac{\bar{X}_n - \mu}{\sigma/\sqrt{n}} \xrightarrow{d} \mathcal{N}(0,1)\)
多维高斯: $\(f(\mathbf{x}) = \frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}} e^{-\frac{1}{2}(\mathbf{x}-\mu)^T \Sigma^{-1} (\mathbf{x}-\mu)}\)$
前置: §02 后续: §04 信息论
§04 信息论 (5h)¶
核心概念: 熵 → 条件熵 → 互信息 → KL 散度 → 交叉熵
| 概念 | 公式 | 含义 |
|---|---|---|
| 熵 | \(H(X) = -\sum p \log p\) | 不确定性 |
| 条件熵 | \(H(Y\|X) = \sum p(x) H(Y\|X=x)\) | 给定 X 的剩余 |
| 联合熵 | \(H(X,Y) = -\sum \sum p(x,y) \log p(x,y)\) | 共同信息 |
| 互信息 | \(I(X;Y) = H(X) - H(X\|Y)\) | 重合信息 |
| KL 散度 | \(D_{KL}(P \| Q) = \sum p \log(p/q)\) | 分布差 |
| 交叉熵 | \(H(P,Q) = -\sum p \log q\) | 编码长度 |
关键关系: - \(H(X,Y) = H(X) + H(Y|X) = H(Y) + H(X|Y)\) - \(I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) = D_{KL}(P(X,Y) \| P(X)P(Y))\) - \(D_{KL}(P\|Q) \geq 0\) (吉布斯不等式) - \(H(P,Q) = H(P) + D_{KL}(P\|Q)\)
机器学习应用: - 分类损失: \(L = -\sum y_i \log \hat{y}_i\) (交叉熵) - VAE: \(ELBO = E[\log p(x|z)] - D_{KL}(q(z) \| p(z))\) - GAN: \(V(D,G) = E[\log D(x)] + E[\log(1-D(G(z)))]\) - 决策树: 信息增益 \(I(X;Y)\)
前置: §03 后续: §05 优化
§05 梯度与优化 (5h)¶
核心概念: 导数 → 偏导 → 梯度 → 链式法则 → 凸性 → SGD → Adam
导数: \(f'(x) = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h}\)
梯度 (向量): \(\nabla f(\mathbf{x}) = \left[\frac{\partial f}{\partial x_1}, \ldots, \frac{\partial f}{\partial x_n}\right]\)
方向导数: \(D_u f = \nabla f \cdot \mathbf{u}\)
链式法则: $\(\frac{\partial f}{\partial x} = \frac{\partial f}{\partial u} \cdot \frac{\partial u}{\partial x}\)$
凸函数: - \(f(\lambda x + (1-\lambda)y) \leq \lambda f(x) + (1-\lambda) f(y)\) - 局部最优 = 全局最优 - 凸优化: 强对偶, KKT
梯度下降: $\(\theta_{t+1} = \theta_t - \eta \nabla L(\theta_t)\)$
SGD with momentum: $\(v_t = \beta v_{t-1} + \nabla L(\theta_t), \quad \theta_{t+1} = \theta_t - \eta v_t\)$
Adam: $\(m_t = \beta_1 m_{t-1} + (1-\beta_1) g_t\)$ $\(v_t = \beta_2 v_{t-1} + (1-\beta_2) g_t^2\)$ $\(\hat{m}_t = m_t / (1-\beta_1^t), \quad \hat{v}_t = v_t / (1-\beta_2^t)\)$ $\(\theta_{t+1} = \theta_t - \eta \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon}\)$
优化器对比:
| 优化器 | 核心 | 适用 |
|---|---|---|
| SGD | 简单 | 大数据 |
| SGD + Momentum | 加速度 | 通用 |
| Adam | 自适应 | 稀疏梯度 |
| AdamW | Adam + 权重衰减 | Transformer |
| LAMB | 分层 | 大 batch |
| Lion | 符号 | 内存敏感 |
前置: Ch02 矩阵论 (Jacobian, Hessian) 后续: Ch06 ML 算法
知识点关联图¶
§01 概率基础
↓
§02 随机变量 (期望/方差)
↓
§03 概率分布 (高斯/泊松/...)
↓
§04 信息论 (熵/KL/交叉熵)
+
Ch02 矩阵 ↘
↓
§05 优化 (SGD/Adam)
↓
Ch06 ML 算法
学习自检表¶
基础 (必会)¶
- [ ] 三大概率公式 (全概率 / 贝叶斯 / 独立性)
- [ ] 期望/方差的 5 个性质
- [ ] 高斯分布 PDF + 性质
- [ ] 熵/交叉熵/KL 互信息定义
- [ ] 梯度下降 + 链式法则
- [ ] 凸函数判定
进阶 (应会)¶
- [ ] 中心极限定理证明
- [ ] 多维高斯 + 边缘化
- [ ] 互信息与 KL 的关系
- [ ] Adam 算法推导
- [ ] 鞍点 vs 局部最优
高级 (挑战)¶
- [ ] 共轭先验推导
- [ ] EM 算法推导
- [ ] Hessian 矩阵 + 牛顿法
- [ ] 自然梯度
- [ ] 凸对偶
5 大易错点¶
- 贝叶斯 vs 频率: \(P(A|B)\) 频率派定义为极限, 贝叶斯派定义为主观信念
- 独立 vs 不相关: 独立 ⟹ 不相关, 反之不成立 (高斯时等价)
- KL 非对称: \(D_{KL}(P\|Q) \neq D_{KL}(Q\|P)\)
- 梯度方向: 梯度的反方向是下降最快的
- AdamW vs Adam: 权重衰减 vs L2 正则化, 不等价
配套资源¶
教材¶
- Bishop, "PRML" Ch1-2
- Goodfellow, "Deep Learning" Ch3-4
- Boyd, "Convex Optimization" Ch1-9
视频¶
- 3Blue1Brown: 概率可视化
- StatQuest: 概念讲解
- MIT 6.041: 概率系统
工具¶
- NumPy
random - SciPy
stats - PyTorch
distributions
一句话总结¶
Ch03 = 概率 + 优化 = 全部 ML 的数学语言。掌握 5 节核心内容, 后续所有 ML 章节都是这些工具的"组合应用"。