Ch05 概率论 · 闪卡 (Anki 导出)¶

卡片 1（🟢 定义）¶

Q: 测度论下概率空间的三件套是什么？ A: 概率空间是三元组 \((\Omega,\mathcal{F},P)\)：\(\Omega\) 为样本空间（所有可能结果），\(\mathcal{F}\subseteq2^\Omega\) 为 \(\sigma\)-代数（事件域，对补集和可列并封闭），\(P:\mathcal{F}\to[0,1]\) 为概率测度（满足 K1/K2/K3）。例：抛硬币 \(\Omega=\{H,T\}\)，\(\mathcal{F}=\{\emptyset,\{H\},\{T\},\Omega\}\)。提示: 结果、事件、概率三件套。来源: 01.概率概念 §定义

卡片 2（🟢 定义）¶

Q: \(\sigma\)-代数 \(\mathcal{F}\) 必须满足哪三条性质？它和 K3 可列可加性是同一回事吗？ A: (1) \(\Omega\in\mathcal{F}\)；(2) \(A\in\mathcal{F}\Rightarrow A^c\in\mathcal{F}\)（补封闭）；(3) 可列并封闭：若 \(A_1,A_2,\ldots\in\mathcal{F}\)，则 \(\bigcup_iA_i\in\mathcal{F}\)。三件套保证概率可加性与补集公式都能从公理推出。关键澄清: σ-代数的"可列并封闭"≠K3 (Kolmogorov 第三公理) 的"可列可加性" — 前者是关于事件集合的运算（集合族层面的封闭性），后者是关于事件的概率值（测度层面的可加性）。两者作用对象不同, 一个看"哪些集合可以问", 一个看"问到的概率如何算"。提示: 全体、补封闭、可列并封闭。σ-代数的可列并封闭 ≠ K3 公理, 两者是不同层面的"可列"。来源: 01.概率概念 §定义

卡片 3（🟡 公式）¶

Q: Kolmogorov 三公理的严格表述？ A: K1 非负：\(\forall A\in\mathcal{F},P(A)\ge0\)。K2 规范化：\(P(\Omega)=1\)。K3 可列可加：若 \(A_i\) 两两互不相交，则 \(P(\bigcup_iA_i)=\sum_iP(A_i)\)。三公理可推出 \(P(\emptyset)=0\)、\(P(A^c)=1-P(A)\) 等派生定理。提示: Ch04 母版基础上深化。来源: 01.概率概念 §公理

卡片 4（🟡 公式）¶

Q: 给一个概率空间 \(\Omega=\{1,2,3,4\}\) 上的反例分布 \(P\)，并指出违反哪条公理。 A: 设 \(P(\{1\})=0.4,P(\{2\})=0.3,P(\{3\})=0.1\)，规定 \(P(\{1,2\})=0.5\)。两两互不相交的 \(\{1\},\{2\}\) 应有 \(P(\{1\}\cup\{2\})=P(\{1\})+P(\{2\})=0.7\)，但实际 \(0.5\)，违反 K3 可列可加。提示: 互斥可加。来源: 01.概率概念 §反例

卡片 5（🟢 定义）¶

Q: 条件概率 \(P(A\mid B)\) 的定义和反例？ A: \(P(A\mid B)=\dfrac{P(A\cap B)}{P(B)}\)，要求 \(P(B)>0\)。反例：设 \(P(A)=0.5,P(B)=0.3,P(A\cap B)=0\)，则 \(P(A\mid B)=0\neq P(A)=0.5\)，说明 \(A,B\) 不独立。提示: 分母缩小样本空间。来源: 01.概率概念 §定义

卡片 6（🟢 公式）¶

Q: 条件独立 \(P(A\mid B)=P(A)\) 与事件独立 \(P(A\cap B)=P(A)P(B)\) 的等价条件？ A: 当 \(P(B)>0\) 时，\(P(A\cap B)=P(A)P(B)\) 等价于 \(P(A\mid B)=P(A)\)，也等价于 \(P(B\mid A)=P(B)\)。三式互推。若 \(P(A),P(B)>0\) 且 \(A,B\) 互斥（\(P(A\cap B)=0\)），则 \(P(A)P(B)=0\)，必有一者概率为零，矛盾于 \(P(A),P(B)>0\)。提示: 影响 vs 共存不能混。来源: 01.概率概念 §易错

卡片 7（🟢 公式）¶

Q: 全概率公式的形式与一个数字例子？ A: 若 \(\{A_i\}\) 互不相交且 \(\bigcup_iA_i\supseteq B\)，则 \(P(B)=\sum_iP(B\mid A_i)P(A_i)\)。例：\(A_1,A_2\) 互斥，\(P(A_1)=0.4,P(A_2)=0.6,P(B\mid A_1)=0.3,P(B\mid A_2)=0.5\)，则 \(P(B)=0.12+0.30=0.42\)。提示: 分情况加权和。来源: 02.概率概念 §公式

卡片 8（🟡 公式）¶

Q: Bayes 公式的形式与一个数字例子？ A: \(P(A\mid B)=\dfrac{P(B\mid A)P(A)}{P(B)}\)，其中分母常用全概率公式展开。例：\(P(A)=0.3,P(B\mid A)=0.8,P(B\mid A^c)=0.2\)，则 \(P(B)=0.8\cdot0.3+0.2\cdot0.7=0.38\)，\(P(A\mid B)=0.24/0.38\approx0.632\)。提示: 先验→似然→证据→后验。来源: 02.概率概念 §公式

卡片 9（🟡 直觉）¶

Q: Bayes 后验更新：先验 0.01，阳性似然 0.95，假阳率 0.10。问阳性后患病概率？ A: \(P(D)=0.01,P(+\mid D)=0.95,P(+\mid D')=0.10\)。\(P(+)=0.95\cdot0.01+0.10\cdot0.99=0.1085\)。\(P(D\mid +)=0.0095/0.1085\approx0.0876\)。从先验 1% 升到 8.76%，约 8.75 倍。提示: 全概率公式作分母。来源: 02.概率概念 §数字例

卡片 10（🟡 直觉）¶

Q: 两次独立观测后验更新：先验 Beta(2,2)，7 正 3 反后再观测 8 正 2 反，新后验与新 MAP？ A: Beta-Bernoulli 共轭：Beta(2,2) + (h=7,t=3) → Beta(9,5)；再加 (h=8,t=2) → Beta(17,7)。新 MAP = (17-1)/(17+7-2)=16/22≈0.727，被拉向 1 但仍小于 1。提示: Beta-Bernoulli 共轭逐次叠加。来源: 04.贝叶斯方法 §直觉

卡片 11（🟢 定义）¶

Q: 随机变量 \(X:\Omega\to\mathbb{R}\) 是什么？离散与连续的区别？ A: \(X\) 是把样本结果映射为实数的可测函数 \(X^{-1}((-\infty,x])\in\mathcal{F}\)。离散型：\(X\) 取可数值，由 PMF \(p_X(x)=P(X=x)\) 刻画，求和 \(\sum\)；连续型：\(X\) 取不可数值，由 PDF \(f_X(x)\) 刻画，积分 \(\int\)。例：\(X=\lfloor 6U\rfloor+1\) 离散；\(U\sim\text{Uniform}(0,1)\) 连续。提示: 函数非变量。来源: 02.概率概念 §定义

卡片 12（🟢 定义）¶

Q: PMF 和 PDF 的关键区别？ A: PMF \(p_X(x)=P(X=x)\) 是真实概率，可求和 \(\sum p_X=1\)。PDF \(f_X(x)\) 是密度，\(P(X=x)=0\)，概率由区间积分 \(P(a\le X\le b)=\int_a^bf_X(x)dx\) 给出，且 \(\int f_X=1\)。例：公平骰子 \(p_X(3)=1/6\)；标准正态 \(f(0)=1/\sqrt{2\pi}\approx0.399\)。提示: 求和 vs 积分。来源: 03.概率分布 §定义

卡片 13（🔴 反例/易错）¶

Q: PDF 的值可以大于 1 吗？给一个例子。 A: 可以。密度不是概率，\(f(x)>1\) 合法，只要 \(\int f=1\)。例：\(U(0,0.5)\) 上均匀分布, \(f(x)=2\), 在 \(x\in[0,0.5]\) 处 \(f(x)=2>1\)。陷阱：把 \(f(x)\) 当 \(P(X=x)\) 看待是错的。提示: 密度 ≠ 概率。来源: 03.概率分布 §反例

卡片 14（🔴 反例/易错）¶

Q: 连续随机变量 \(X\) 在单点 \(x_0\) 的概率 \(P(X=x_0)\) 是多少？ A: \(P(X=x_0)=0\)。但 \(f(x_0)\) 可正可负外的非负值（且常 \(>0\)）。例：标准正态 \(f(0)=0.399\)，但 \(P(X=0)=0\)。单点零概率和密度非零同时成立，不矛盾。提示: 区间面积才是概率。来源: 03.概率分布 §反例

卡片 15（🟢 定义）¶

Q: 累积分布函数 CDF 的定义和性质？ A: \(F_X(x)=P(X\le x)\)。性质：(1) 单调不减；(2) 右连续（强连续: 若 \(X\) 绝对连续 ⇒ \(F\) 处处连续; 若 \(X\) 纯跳跃 ⇒ \(F\) 仅在跳跃点间断）；(3) \(\lim_{x\to-\infty}F_X(x)=0\)，\(\lim_{x\to+\infty}F_X(x)=1\)。例：标准正态 \(F(0)=0.5\)。提示: 不超过。来源: 03.概率分布 §定义

卡片 16（🟡 公式）¶

Q: Bernoulli 分布的 PMF、期望、方差？ A: \(P(X=x)=p^x(1-p)^{1-x},x\in\{0,1\}\)。\(E[X]=p\)，\(\mathrm{Var}(X)=p(1-p)\)。Sigmoid 输出就是 \(p\)。例：\(p=0.7\) 时 \(P(X=1)=0.7,P(X=0)=0.3\)，\(E[X]=0.7\)，\(\mathrm{Var}=0.21\)。提示: 单次二元。来源: 03.概率分布 §公式

卡片 17（🟡 公式）¶

Q: Binomial 分布的 PMF、期望、方差？给一个数字例。 A: \(P(X=k)=\binom{n}{k}p^k(1-p)^{n-k}\)，\(k=0,\ldots,n\)。\(E[X]=np\)，\(\mathrm{Var}(X)=np(1-p)\)。例：\(n=8,p=0.7\)，\(P(X=6)=\binom{8}{6}\cdot0.7^6\cdot0.3^2=28\cdot0.1176\cdot0.09\approx0.296\)。提示: \(n\) 次独立 Bernoulli 求和。来源: 03.概率分布 §公式

卡片 18（🟡 定义）¶

Q: Poisson 分布 \(\lambda\) 的含义与数字例？ A: \(P(X=k)=\dfrac{\lambda^k e^{-\lambda}}{k!}\)，\(k=0,1,2,\ldots\)。\(E[X]=\mathrm{Var}(X)=\lambda\)，均值等于方差。例：每小时收邮件数 \(\lambda=5\)，\(P(X=0)=e^{-5}\approx0.0067\)。\(\lambda\) 是率参数（rate），区别于 Ch03 Lagrange 乘子和正则化系数。提示: 固定窗口内稀有事件计数。来源: 03.概率分布 §定义

卡片 19（🟡 公式）¶

Q: 几何分布的 PMF 与无记忆性？ A: \(P(X=k)=(1-p)^{k-1}p\)，\(k=1,2,\ldots\)。无记忆性：\(P(X>s+t\mid X>s)=P(X>t)\)。例：\(p=0.5\)，\(P(X=1)=0.5\)，\(P(X>3\mid X>1)=P(X>2)=0.25\)。离散分布中独此一家无记忆。提示: 等到首次成功。来源: 03.概率分布 §公式

卡片 20（🟡 公式）¶

Q: 指数分布的 PDF 与无记忆性？ A: \(f(x)=\lambda e^{-\lambda x},x\ge0\)。\(E[X]=1/\lambda\)，\(\mathrm{Var}(X)=1/\lambda^2\)。无记忆：\(P(X>s+t\mid X>s)=P(X>t)\)。例：\(\lambda=0.5\)，\(E[X]=2\)。泊松过程相邻事件间隔。提示: 几何分布的连续版。来源: 03.概率分布 §公式

卡片 21（🟢 定义）¶

Q: 正态分布的 PDF 与 68-95-99.7 经验法则？ A: \(f(x)=\dfrac{1}{\sigma\sqrt{2\pi}}\exp\!\left(-\dfrac{(x-\mu)^2}{2\sigma^2}\right)\)。\(E[X]=\mu\)，\(\mathrm{Var}(X)=\sigma^2\)。\(Z=(X-\mu)/\sigma\) 化为标准正态 \(\mathcal{N}(0,1)\)。\(P(|X-\mu|\le\sigma)\approx0.6827\)，\(\le2\sigma\approx0.9545\)，\(\le3\sigma\approx0.9973\)。提示: 钟形曲线。来源: 03.概率分布 §定义

卡片 22（🟡 公式）¶

Q: Beta 分布的 PDF、均值、共轭性？ A: \(f(x)=\dfrac{x^{\alpha-1}(1-x)^{\beta-1}}{B(\alpha,\beta)}\)，\(0\le x\le1\)。\(E[X]=\dfrac{\alpha}{\alpha+\beta}\)。Beta 是 Bernoulli/Binomial 似然的共轭先验：先验 Beta\((\alpha,\beta)\) + 数据 \((h,t)\) → 后验 Beta\((\alpha+h,\beta+t)\)。例：Beta(2,2) + 7 正 3 反 → Beta(9,5)。提示: \((0,1)\) 上的分布。来源: 03.概率分布 §公式

卡片 23（🟡 公式）¶

Q: Gamma 分布的 PDF、均值、指数关系？ A: \(f(x)=\dfrac{\beta^\alpha}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x}\)，\(x>0\)。\(E[X]=\alpha/\beta\)，\(\mathrm{Var}(X)=\alpha/\beta^2\)。指数分布是 Gamma\((\alpha=1,\beta=\lambda)\)。\(\Gamma(n)=(n-1)!\) 把阶乘推广到实数。提示: 等待第 \(\alpha\) 次事件。来源: 03.概率分布 §公式

卡片 24（🟡 公式）¶

Q: MLE 与 MAP 的区别及抛硬币数字例？ A: MLE \(\hat\theta_{\text{MLE}}=\arg\max_\theta P(D\mid\theta)\)；MAP \(\hat\theta_{\text{MAP}}=\arg\max_\theta P(D\mid\theta)P(\theta)\)。抛 10 次 7 正 3 反：MLE \(=7/10=0.7\)；Beta(2,2) 先验 MAP \(=(2+7-1)/(2+2+10-2)=8/12\approx0.667\)。MAP 被先验拉向 0.5。提示: L2 正则 = 高斯先验 MAP。来源: 04.贝叶斯方法 §公式

卡片 25（🟡 公式）¶

Q: 全概率公式与 Bayes 公式的关系？ A: Bayes 公式分母 \(P(B)\) 需展开为 \(\sum_iP(B\mid A_i)P(A_i)\)，这就是全概率公式。例：\(A_1,A_2\) 互斥且覆盖 \(\Omega\)，则 \(P(A_1\mid B)=P(B\mid A_1)P(A_1)/[\,P(B\mid A_1)P(A_1)+P(B\mid A_2)P(A_2)\,]\)。提示: 全概率是 Bayes 的分母。来源: 04.贝叶斯方法 §公式

卡片 26（🟢 定义）¶

Q: 弱大数定律（LLN）的形式？ A: 若 \(X_1,X_2,\ldots\) 独立同分布且 \(E[X_i]=\mu\)，\(\mathrm{Var}(X_i)=\sigma^2<\infty\)，则 \(\bar X_n=\frac1n\sum_{i=1}^nX_i\overset{P}{\to}\mu\)（依概率收敛）。强大数定律更强：\(\bar X_n\to\mu\) 几乎必然。提示: 频率派根基。来源: 04.贝叶斯方法 §公式

卡片 27（🟡 公式）¶

Q: 中心极限定理（CLT）的表述？ A: 若 \(X_1,\ldots,X_n\) i.i.d. 且 \(E[X_i]=\mu\)，\(\mathrm{Var}(X_i)=\sigma^2<\infty\)，则 \(\sqrt n(\bar X_n-\mu)/\sigma\overset{d}{\to}\mathcal{N}(0,1)\)。即样本均值标准化后近似标准正态，不管原分布形状。例：抛 100 次硬币，正面数 \(\sim\text{Binomial}(100,0.5)\)，标准化 \(\approx\mathcal{N}(0,1)\)。提示: 不管原分布是什么。来源: 04.贝叶斯方法 §公式

卡片 28（🟡 公式）¶

Q: Berry-Esseen 界给 CLT 量化收敛速度？ A: 设 \(X_i\) i.i.d. 且 \(E[|X_i-\mu|^3]<\infty\)，则 \(\sup_x|F_n(x)-\Phi(x)|\le C\cdot\rho/\sqrt n\)，其中 \(\rho=E|X_i-\mu|^3/\sigma^3\)。\(C\approx0.4748\)。例：均匀分布 \(\rho=\sqrt{8/125}\approx0.253\)，\(n=100\) 时误差约 \(0.012\)。提示: 收敛速度 \(O(1/\sqrt n)\)。来源: 04.贝叶斯方法 §公式

卡片 29（🔴 反例/易错）¶

Q: CLT 不适用的两种典型情形？ A: (1) 原分布方差无穷（如 Cauchy），不满足 \(\sigma^2<\infty\)，样本均值不收敛到正态；(2) 独立假设失败（如强自相关时间序列），\(X_i\) 不独立。CLT 需 \(E[X^2]<\infty\)；强 LLN 仍需有限一阶矩 \(E|X|<\infty\)（Khinchine LLN 仅需 \(E|X|<\infty\)，无需有限方差）。提示: 前提不满足就失效。来源: 04.贝叶斯方法 §反例

卡片 30（🟢 定义）¶

Q: 自信息 \(I(x)\) 的定义和单位？ A: \(I(x)=-\log_2 p(x)\)，单位 bit。必然事件 \(p=1\) 自信息为 0；\(p=1/2\) 自信息 1 bit；\(p=1/8\) 自信息 3 bit。三条性质：\(p=1\) 零信息、独立事件可加、行为良好。提示: 越罕见越惊讶。来源: 05.信息论 §定义

卡片 31（🟢 公式）¶

Q: Shannon 熵 \(H(X)\) 的公式和一个数字例？ A: \(H(X)=-\sum_xp(x)\log_2 p(x)\)。公平硬币 \(H=1\) bit；\(p=0.9\) 偏心硬币 \(H=-0.9\log_20.9-0.1\log_20.1\approx0.469\) bit；确定性分布 \(H=0\)。\(n\) 等可能结果时 \(H=\log_2 n\)（公平骰子 \(H\approx2.585\)）。提示: 平均惊讶度。来源: 05.信息论 §公式

卡片 32（🟡 公式）¶

Q: KL 散度 \(D_{\text{KL}}(P\|Q)\) 的公式和关键性质？ A: \(D_{\text{KL}}(P\|Q)=\sum_xP(x)\log_2\dfrac{P(x)}{Q(x)}=H(P,Q)-H(P)\)，单位 bit（用 \(\ln\) 时为 nat）。性质：(1) 非负 \(D_{\text{KL}}\ge0\)；(2) \(P=Q\) 时为 0；(3) 不对称 \(D_{\text{KL}}(P\|Q)\ne D_{\text{KL}}(Q\|P)\)。例：\(P=(0.5,0.5)\)，\(Q=(0.9,0.1)\)，\(D_{\text{KL}}(P\|Q)=0.5\log_2(0.5/0.9)+0.5\log_2(0.5/0.1)\approx\mathbf{0.737}\) bit。提示: 不对称陷阱。来源: 05.信息论 §公式

卡片 33（🟡 公式）¶

Q: 互信息 \(I(X;Y)\) 的两种等价表达？ A: \(I(X;Y)=H(X)-H(X\mid Y)=H(Y)-H(Y\mid X)=\sum_{x,y}p(x,y)\log_2\dfrac{p(x,y)}{p(x)p(y)}\)。\(X,Y\) 独立时 \(I(X;Y)=0\)。例：\(X=Y\) 时 \(I(X;Y)=H(X)\)；\(X,Y\) 独立时 \(I(X;Y)=0\)。提示: 不确定性减少量。来源: 05.信息论 §公式

卡片 34（🟡 公式）¶

Q: 交叉熵损失与 KL 散度的关系？ A: \(H(P,Q)=-\sum_xP(x)\log Q(x)=H(P)+D_{\text{KL}}(P\|Q)\)。\(H(P)\) 不依赖模型参数，最小化 \(H(P,Q)\) 等价于最小化 \(D_{\text{KL}}(P\|Q)\)。例：分类 one-hot \(P=(0,1,0)\)，\(Q=(0.1,0.7,0.2)\)，\(H(P,Q)=-\log0.7\approx0.357\) nats。提示: 最小化交叉熵 = 最小化 KL。来源: 05.信息论 §公式

卡片 35（🟡 公式）¶

Q: 联合概率与边缘概率的关系？ A: 边缘由联合求和/积分：\(P(X=x)=\sum_yP(X=x,Y=y)\)，连续版 \(f_X(x)=\int f_{X,Y}(x,y)dy\)。例：\(P(X=1,Y=1)=0.2,P(X=1,Y=2)=0.1\)，则 \(P(X=1)=0.3\)。提示: 边缘化 = 求和掉一个变量。来源: 02.概率概念 §公式

卡片 36（🟡 公式）¶

Q: 协方差 \(\mathrm{Cov}(X,Y)\) 与相关系数 \(\rho_{XY}\) 的公式？ A: \(\mathrm{Cov}(X,Y)=E[(X-E[X])(Y-E[Y])]=E[XY]-E[X]E[Y]\)。\(\rho_{XY}=\mathrm{Cov}(X,Y)/(\sigma_X\sigma_Y)\in[-1,1]\)。独立时 \(\mathrm{Cov}=0\)，但反之不一定（非独立可零协方差）。例：\(X,Y\) 独立，\(\rho=0\)；\(X=Y\) 时 \(\rho=1\)。提示: 零协方差 ≠ 独立。来源: 02.概率概念 §公式

卡片 37（🟡 公式）¶

Q: 期望的线性性（独立 vs 非独立）？ A: 对任意 \(X,Y\)（不必独立），\(E[aX+bY]=aE[X]+bE[Y]\)。但 \(E[XY]=E[X]E[Y]\) 独立 ⇒ 等式成立; 反向不成立（\(E[XY]=E[X]E[Y]\) 推不出独立, 仅"不相关")。例：\(X,Y\) 独立时 \(E[XY]=E[X]E[Y]\)；\(X=-Y\) 时 \(E[XY]=-E[X^2]\ne E[X]E[Y]\)（除非 \(E[X]=0\)）。正态分布特殊: 不相关 ⇒ 独立。提示: 线性无条件，乘积需独立。来源: 02.概率概念 §公式

卡片 38（🟡 直觉）¶

Q: 测度比 \(P(A\cap B)/P(B)\) 的几何直觉？ A: 把样本空间 \(\Omega\) 看成面积 1 的正方形，\(P(A)\) 是 \(A\) 子集面积。条件概率 \(P(A\mid B)=P(A\cap B)/P(B)\) 即"\(A\cap B\) 面积占 \(B\) 面积的比例"，相当于把 \(B\) 缩成新的"整个空间"重新测面积。提示: 缩样本空间。来源: 01.概率概念 §直觉

卡片 39（🟡 定义）¶

Q: \(\lambda\)（Poisson 率参数）、\(\lambda\)（Lagrange 乘子）、\(\lambda\)（正则化系数）如何区分？ A: Poisson 分布 \(P(X=k)=\lambda^k e^{-\lambda}/k!\) 的 \(\lambda>0\) 表单位时间事件率。Ch03 Lagrange 乘子 \(\lambda\in\mathbb{R}\) 表约束权重，无符号限制。Ch03 正则化系数 \(\lambda\ge0\) 表惩罚强度。三者同名但语义完全不同，符号表必标。提示: 同字母三义。来源: 03.概率分布 §符号表

卡片 40（🟡 直觉）¶

Q: Markov 性质的形式化？ A: \(P(X_{t+1}\mid X_t,X_{t-1},\ldots,X_1)=P(X_{t+1}\mid X_t)\)。明天只取决于今天，与更早历史无关。例：天气若 \(P(\text{晴}\mid\text{昨日晴,前日晴})=P(\text{晴}\mid\text{昨日晴})=0.7\)，则满足马尔可夫性。提示: 无记忆性。来源: 04.贝叶斯方法 §定义

卡片 41（🟡 定义）¶

Q: 隐马尔可夫模型（HMM）三要素？ A: (1) 初始分布 \(P(z_1)\)；(2) 转移 \(P(z_t\mid z_{t-1})\)（隐藏态 Markov 链）；(3) 发射 \(P(x_t\mid z_t)\)（隐藏态输出观测）。例：隐藏态 = {雨,晴}，观测 = {伞,无伞}。HMM 三问题：解码 (Viterbi)、评估 (Forward)、学习 (Baum-Welch)。提示: 隐态 + 观测两层。来源: 04.贝叶斯方法 §定义

卡片 42（🟢 定义）¶

Q: 微分熵 \(h(X)\) 与 Shannon 熵的区别？ A: 连续变量 \(h(X)=-\int f(x)\log f(x)dx\)。与离散熵关键差异：(1) \(h(X)\) 可负（例：\(f(x)\) 集中在 \([0,0.1]\)，\(h<0\)）；(2) 没有"无失真编码下界"的直观解释；(3) 坐标变换下 \(h\) 会变。例：方差 \(\sigma^2\) 的高斯 \(h=\frac12\log_2(2\pi e\sigma^2)\)。提示: 离散熵总非负。来源: 05.信息论 §反例

卡片 43（🟡 直觉）¶

Q: 最大似然估计的"似然"是 \(P(D\mid\theta)\) 还是 \(P(\theta\mid D)\)？ A: 似然 \(L(\theta\mid D)=P(D\mid\theta)\)，是数据给定参数的概率；最大化它得到 \(\hat\theta_{\text{MLE}}\)。与后验 \(P(\theta\mid D)\) 不同（后验需先验）。例：抛 10 次 7 正 \(\hat p_{\text{MLE}}=0.7\)，因为 \(L(p)=p^7(1-p)^3\) 在 \(p=0.7\) 取极大。提示: 颠倒方向易错。来源: 04.贝叶斯方法 §易错

卡片 44（🟢 定义）¶

Q: 切比雪夫不等式的形式？ A: 若 \(X\) 期望 \(\mu\)，方差 \(\sigma^2<\infty\)，则 \(\forall k>0\)，\(P(|X-\mu|\ge k\sigma)\le 1/k^2\)。例：\(k=2\) 时 \(P(|X-\mu|\ge2\sigma)\le0.25\)。无需知分布形状，是弱 LLN 的基础。提示: 仅用期望和方差。来源: 04.贝叶斯方法 §公式

卡片 45（🟡 类比）¶

Q: 把离散概率类比成"质量"，连续密度类比成什么？ A: 类比成"面密度"（单位面积质量）。\(f(x)\) 是一维线密度，\(P(a\le X\le b)=\int_a^bf(x)dx\) 是 \([a,b]\) 段的"总质量"。\(f(x_0)>1\) 没问题，对应某小段线密度极高；只要总质量 \(\int f=1\)。提示: 一维密度。来源: 03.概率分布 §类比

卡片 46（🟢 公式）¶

Q: softmax 函数 \(\sigma(z_i)\) 如何从概率归一化角度理解？ A: \(\sigma(z_i)=\dfrac{e^{z_i}}{\sum_je^{z_j}}\)。把任意实数向量 \(z\in\mathbb{R}^K\) 映射成离散分布 \((\sigma_1,\ldots,\sigma_K)\)，\(\sigma_i\ge0\)，\(\sum\sigma_i=1\)。例：\(z=(1,2,3)\)，\(e^z=(2.718,7.389,20.086)\)，softmax \(\approx(0.090,0.245,0.665)\)。提示: 归一化的指数族。来源: 03.概率分布 §公式

卡片 47（🟡 直觉）¶

Q: 语言模型困惑度（perplexity）与熵的关系？ A: 困惑度 \(\text{PPL}=2^{H(P,Q)}\)，其中 \(H(P,Q)\) 是真实分布与模型分布的交叉熵。PPL 是平均分支因子：模型每次预测"等效于"在 PPL 个选项中均匀猜。例：\(H=3\) bit，PPL \(=2^3=8\)，相当于均匀猜 8 个选项。提示: 越低越好。来源: 05.信息论 §直觉

卡片 48（🟡 定义）¶

Q: Dirichlet 分布与 Beta 分布的关系？ A: Dirichlet\((\boldsymbol\alpha)\) 是 Beta 在 \(K\) 维单纯形上的推广：\(f(\mathbf{x})=\dfrac{1}{B(\boldsymbol\alpha)}\prod_{i=1}^Kx_i^{\alpha_i-1}\)，\(x_i\ge0\)，\(\sum x_i=1\)。\(K=2\) 时退化为 Beta\((\alpha_1,\alpha_2)\)。Dirichlet 是 Multinomial 的共轭先验。例：Dirichlet(1,1,1) = 均匀分布。提示: 多维 Beta。来源: 03.概率分布 §定义

卡片 49（🟡 公式）¶

Q: GMM 中"高斯混合权重"为何满足 softmax 归一化？ A: \(p(x)=\sum_{k=1}^K\pi_k\mathcal{N}(x\mid\mu_k,\Sigma_k)\)，\(\pi_k\ge0\)，\(\sum_k\pi_k=1\)。\(\pi_k\) 恰是隐变量 \(z=k\) 的先验 \(P(z=k)\)。EM 算法估计时 \(\pi_k^{(\text{new})}=\frac1n\sum_i\gamma_{ik}\)，其中 \(\gamma_{ik}=P(z=k\mid x_i)\) 是后验责任度。提示: 权重是隐变量先验。来源: 04.贝叶斯方法 §公式

卡片 50（🟡 类比）¶

Q: 把 KL 散度类比成"翻译损失"以理解不对称？ A: \(D_{\text{KL}}(P\|Q)\) 像用 \(Q\) 的语言翻译 \(P\) 的信息所付额外代价。\(P\) 高概率处 \(Q\) 给低概率 → \(\log(P/Q)\) 爆炸 → 大损失；反向则 \(Q\) 高概率 \(P\) 低概率损失不同。\(D_{\text{KL}}(P\|Q)\ne D_{\text{KL}}(Q\|P)\)：两种翻译方式代价不同。变分推断用 \(D_{\text{KL}}(Q\|P)\)（寻模），VAE 即用此式。提示: 单向代价。来源: 05.信息论 §类比

卡片 51（🟢 直觉）¶

Q: \(\Omega=\{1,2,3\}\) 时最小 \(\sigma\)-代数长什么样？给两个例子。

A: 例 1（平凡 σ-代数）：\(\mathcal{F}=\{\emptyset,\Omega\}=\{\emptyset,\{1,2,3\}\}\)，仅两个元素，仍满足"含 ∅ / 对补封闭 / 可列并封闭"三条。例 2（最常用 — 全幂集）：\(\mathcal{F}=2^\Omega=\{\emptyset,\{1\},\{2\},\{3\},\{1,2\},\{1,3\},\{2,3\},\Omega\}\)，共 \(2^3=8\) 个子集。条件: \(\mathcal{F}\) 必须含 \(\emptyset\) 与 \(\Omega\)、对补集封闭、对可列并封闭。这是抽象定义的最具体锚点。提示: 3 元素样本空间是 σ-代数最小可视化的"教学黄金例"。来源: 01.概率概念 §最小例

卡片 52（🟢 公式）¶

Q: LLN 与 CLT 的核心区别？用一句话各概括。

A: LLN（大数定律）: 样本均值 \(\bar X_n\) 收敛到总体均值 \(\mu\)（依概率或几乎必然）— 关注值。CLT（中心极限定理）: \(\bar X_n\) 经标准化后收敛到标准正态分布 \(\mathcal{N}(0,1)\)（依分布）— 关注分布形状。LLN 答"\(\bar X_n\) 走向哪"，CLT 答"\(\bar X_n\) 长成什么形状"。骰子 \(n=100\) 时 \(\bar X_n\approx 3.5\)（LLN 兑现），\(\bar X_n\) 的直方图近似钟形正态（CLT 兑现）。提示: 值 vs 分布形状。来源: 04.贝叶斯方法 §LLN vs CLT 对比

卡片 53（🟢 公式）¶

Q: KL 散度的三条关键性质？

A: (1) 非负: \(D_{KL}(P\|Q)\ge 0\)（Jensen 不等式证明）；(2) 零值当且仅当 \(P=Q\): \(D_{KL}(P\|P)=0\)；(3) 不对称: \(D_{KL}(P\|Q)\ne D_{KL}(Q\|P)\)，KL 不是距离（距离要求对称性）。三性质中"非对称"是 KL 与真正距离的根本区别，也是它在变分推断与 VAE 中不同用法（\(D_{KL}(q\|p)\) 寻模 vs \(D_{KL}(p\|q)\) 矩匹配）的根因。提示: 非负 + 零一致 + 不对称。来源: 05.信息论 §KL 三性质