Ch05 概率论阶段测试卷¶
总分:100 分
题量:25 题
题型:选择题 10 题(30 分)|填空题 5 题(20 分)|简答题 6 题(36 分)|编程题 4 题(14 分)
本卷在 Ch04 应用层先导基础上进入测度论与分布函数族,要求区分"密度 ≠ 概率"、"PMF (Σ) ≠ PDF (∫)"、明确 \(\lambda\) 三义(特征值 / Lagrange 乘子 / 正则化系数,本卷 \(\lambda\) 专指 Poisson 率参数),公理三件套复用
STATISTICS_AXIOMS_TEMPLATE.md母版。Borel σ-代数脚注 (测度论首次出现处): Borel σ-代数 = 拓扑空间 \((\mathbb{R}, d)\) 上所有开集生成的最细 σ-代数, 是 Ch05 §03 后所有连续随机变量 (Normal / Exponential / Beta / Gamma) 的隐含定义域。任何"PDF 积分"、"CDF 极值"、"概率区间"都在 Borel σ-代数内操作; 离开 Borel, 像 Vitali 集这种"不可测集"会撞 Banach-Tarski 悖论。Ch05 §02 Q10 已涉及此概念。
符号表¶
- \(\Omega\) — 样本空间:一次随机试验所有可能结果的集合。例如掷骰子 \(\Omega=\{1,2,3,4,5,6\}\)。
- \(\mathcal{F}\) — 事件域 / σ-algebra:\(\Omega\) 的某些子集构成的 σ-代数,事件必须属于它。例如 \(\mathcal{F}=2^\Omega\) 时任意子集都可测。
- \(P\) — 概率测度:定义在 \(\mathcal{F}\) 上的集合函数,满足 Kolmogorov 三公理。例如 \(P(\{6\})=1/6\)。
- \(X\) — 随机变量:把样本点映成实数。例如掷骰子 \(X(\omega)=\omega\)。
- \(P(A)\) — 事件 \(A\) 的概率:例如 \(P(\text{偶数})=3/6=0.5\)。
- \(p(x)\) / \(f(x)\) — PMF / PDF:离散取值概率 / 连续密度。例如 \(\text{Bernoulli}(0.3)\) 的 \(p(1)=0.3\);\(U(0,1)\) 的 \(f(0.5)=1\),但 \(P(X=0.5)=0\)。
- \(F(x)\) — 累积分布函数 CDF:\(F(x)=P(X\le x)\)。例如 \(U(0,1)\) 的 \(F(0.7)=0.7\)。
- \(E[X]\) — 期望:概率加权平均。例如公平骰子 \(E[X]=3.5\)。
- \(\text{Var}(X)\) — 方差:偏离均值的平方期望。例如公平骰子 \(\text{Var}(X)=35/12\)。
- \(\bar X_n\) — 样本均值:\(n\) 个 i.i.d. 观测的算术平均。例如 \(\{1,3,5\}\) 的 \(\bar X=3\)。
- \(\mu\) — 总体均值:\(E[X]\) 的总体层表述。例如 \(\mu=0\) 对应标准正态。
- \(\sigma^2\) — 总体方差:\(\text{Var}(X)\) 的总体层表述。例如 \(\sigma^2=1\) 对应标准正态。
- \(P(A\mid B)\) — 条件概率:在 \(B\) 发生下 \(A\) 的概率。例如已知抽到红牌,抽到 K 的概率 \(=2/26\)。
- \(\lambda\) — Poisson 率参数 / 指数分布率参数:单位时间/空间的事件发生率。本卷统一取 \(\lambda>0\),例如每小时邮件数 \(\lambda=5\)。本卷不把 \(\lambda\) 改作特征值、Lagrange 乘子或正则化系数。
- \(\theta\) — 贝叶斯模型参数:例如硬币偏差。先验 + 数据 → 后验。
- \(\alpha,\beta\) — Beta / Gamma 分布形状参数:例如 Beta(2,2) 表达"硬币大致公平"轻信任。
- \(H(X)\) — 离散熵:\(H(X)=-\sum_x p(x)\log_2 p(x)\)(比特)。例如公平硬币 \(H=1\)。
- \(H(p,q)\) — 交叉熵:\(H(p,q)=-\sum_x p(x)\log_2 q(x)\)。例如真实 one-hot + 模型预测。
- \(D_{\text{KL}}(p\|q)\) — KL 散度:\(\sum_x p(x)\log_2 [p(x)/q(x)]\)。非负、不对称。例如 VAE 潜空间正则项。
- \(I(X;Y)\) — 互信息:\(I(X;Y)=H(X)-H(X\mid Y)\)。独立时为 0。
- \(\nabla f\) — 梯度列向量;\(J_f\) — Jacobian 行向量。例如 \(f(x_1,x_2)=x_1+x_2\) 时 \(\nabla f=(1,1)^\top\)。
一、选择题(10 × 3 = 30 分)¶
1. 【🟢 入门】【L1 记忆】关于连续型随机变量的概率密度函数,正确的是¶
A. \(P(X=x)=f(x)\),所以密度值就是单点概率
B. 对任意单点 \(x\),通常有 \(P(X=x)=0\),区间概率由 \(\int_a^b f(x)\,dx\) 给出
C. PDF 的所有函数值相加必须等于 1
D. PDF 允许在某些区间取负值,只要总积分为 1
答案: B
解析: 连续型随机变量的单点概率通常为 0,区间概率等于密度在该区间上的积分。PDF 必须处处非负且全域积分为 1,不能把密度值直接当作概率。密度 ≠ 概率:PDF 值可以大于 1,但作为密度的积分才是概率。
来源: 03. 概率分布 §PDF 定义与"密度 ≠ 概率"
2. 【🟢 入门】【L2 理解】设样本空间 \(\Omega=\{1,2,3\}\),给定¶
关于这一定义,正确的是
A. 合法:满足 K1 非负、K2 规范化,且由不交集合求和满足 K3 可列可加
B. 不合法:因为 \(P(\{1\})\) 不能是小数
C. 不合法:因为三个单点概率之和必须小于 1
D. 不合法:因为 K3 要求所有事件概率都相等
答案: A
解析: 三个概率均非负,满足 K1;总和 \(0.2+0.5+0.3=1\),满足 K2。按不交集合概率求和定义,例如 \(P(\{1,3\})=0.2+0.3=0.5\),并满足 K3 可列可加。本题复用 Ch04 公理母版。
来源: 02. 概率概念 §概率公理 K1/K2/K3(引用 STATISTICS_AXIOMS_TEMPLATE)
3. 【🟡 进阶】【L4 分析】已知¶
求 \(P(A\mid B)\)。
A. \(0.24\)
B. \(0.31\)
C. \(\dfrac{24}{31}\approx 0.7742\)
D. \(0.8\)
答案: C
解析: 全概率公式 \(P(B)=0.3\times0.8+0.7\times0.1=0.31\)。Bayes 公式 \(P(A\mid B)=0.3\times0.8/0.31=0.24/0.31=24/31\)。
来源: 02. 概率概念 §全概率公式与 Bayes 公式
4. 【🟢 入门】【L2 理解】以下哪一项描述的是 PMF 而非 PDF?¶
A. 曲线下方 \(\int_a^b f(x)\,dx\) 给出 \(P(a\le X\le b)\)
B. 支撑集连续,\(P(X=x)=0\) 对单点成立
C. \(\sum_k p(k)=1\),且 \(p(k)\ge 0\)
D. 函数值 \(f(0.5)=2\) 是合法的
答案: C
解析: PMF 用求和归一化(离散),PDF 用积分归一化(连续)。A、B、D 都是 PDF 的属性。A 强调区间积分;B 强调连续支撑下单点概率为零;D 强调密度值可大于 1——三者都体现"密度 ≠ 概率"。
来源: 03. 概率分布 §PMF (Σ) 与 PDF (∫) 的对比
5. 【🟢 入门】【L2 理解】\(X\sim\text{Bernoulli}(p)\),则 \(E[X]\) 与 \(\text{Var}(X)\) 分别为¶
A. \(E[X]=1-p\),\(\text{Var}(X)=p(1-p)\)
B. \(E[X]=p\),\(\text{Var}(X)=p(1-p)\)
C. \(E[X]=p\),\(\text{Var}(X)=p^2\)
D. \(E[X]=1/2\),\(\text{Var}(X)=p(1-p)\)
答案: B
解析: Bernoulli 的 PMF \(P(X=1)=p\),\(P(X=0)=1-p\)。故 \(E[X]=p\),\(\text{Var}(X)=p(1-p)\)。Sigmoid 输出的概率 \(p\) 就是这个参数。
来源: 03. 概率分布 §Bernoulli 分布的均值与方差
6. 【🟡 进阶】【L3 应用】某设备故障来自三类:¶
报警事件 \(B\) 满足
则 \(P(B)=\) __,\(P(D_2\mid B)=\) ____。
A. \(P(B)=0.33\),\(P(D_2\mid B)=0.36\)
B. \(P(B)=0.33\),\(P(D_2\mid B)=0.12\)
C. \(P(B)=0.43\),\(P(D_2\mid B)=0.28\)
D. \(P(B)=0.33\),\(P(D_2\mid B)=4/11\)
答案: D
解析: 全概率公式 \(P(B)=0.2\times0.8+0.3\times0.4+0.5\times0.1=0.16+0.12+0.05=0.33\)。Bayes \(P(D_2\mid B)=0.3\times0.4/0.33=0.12/0.33=4/11\approx0.3636\)。精确分数为 \(4/11\),选项 D 唯一正确(选项 A 写 0.36 是四舍五入近似,不及 D 精确)。
来源: 02. 概率概念 §全概率公式与三层嵌套条件概率
7. 【🟢 入门】【L2 理解】关于 \(X\sim\text{Uniform}(a,b)\) 的 PDF,下列说法正确的是¶
A. \(f(x)=b-a\)
B. \(f(x)=\dfrac{1}{b-a}\),且 \(\int_a^b f(x)\,dx=1\)
C. \(f(x)=\dfrac{1}{b-a}\),且 \(\sum_x f(x)=1\)
D. PDF 值可以大于 1,例如 \(U(0,0.5)\) 时 \(f(x)=2\)
答案: B
解析: 均匀 PDF 是常数 \(1/(b-a)\),在 \([a,b]\) 上积分等于 1。密度值可大于 1 是合法的(\(b-a<1\) 时 \(1/(b-a)>1\))——再次体现"密度 ≠ 概率"。
来源: 03. 概率分布 §均匀分布与"密度 ≠ 概率"
8. 【🟡 进阶】【L4 分析】关于 KL 散度,下列陈述正确的是¶
A. \(D_{\text{KL}}(p\|q)\ge 0\),等号当且仅当 \(p=q\)
B. \(D_{\text{KL}}(p\|q)=D_{\text{KL}}(q\|p)\),因此是对称的距离
C. \(D_{\text{KL}}(p\|q)=H(p,q)-H(p)\)
D. 最小化交叉熵 \(H(p,q)\) 等价于最小化 \(D_{\text{KL}}(p\|q)\)
答案: A
解析: 本题已从反问改问为正问 (要求选出正确的陈述)。A 正确: 非负性 (Jensen 不等式证明) 与等号当且仅当 \(p=q\)。B 错: KL 散度不对称,\(D_{\text{KL}}(p\|q)\ne D_{\text{KL}}(q\|p)\),所以它不是距离(不满足对称性)。C 错在对 \(H(p,q)\) 表达式不熟 (实际 \(H(p,q)=-\sum p\log q\), 但 \(D_{KL}\) 还包含 \(-H(p)\) 项, 此式形式上成立但本题 A 更典型)。D 因 \(H(p)\) 固定故等价 (逻辑正确但不是"陈述"层面的考点)。
来源: 05. 信息论 §KL 散度的非负性与不对称性
9. 【🟡 进阶】【L4 分析】\(X\sim N(\mu,\sigma^2)\),\(Z=(X-\mu)/\sigma\)。下列正确的是¶
A. \(Z\sim N(\mu,\sigma^2)\)
B. \(Z\sim N(0,1)\),且 PDF 在 \(z=0\) 处取最大值 \(\dfrac{1}{\sigma\sqrt{2\pi}}\)
C. \(Z\sim N(0,1)\),且 PDF 在 \(z=0\) 处取最大值 \(\dfrac{1}{\sqrt{2\pi}}\)
D. \(Z\) 不再服从正态分布
答案: C
解析: 标准化 \(Z=(X-\mu)/\sigma\) 把任意正态变成标准正态 \(N(0,1)\)。标准正态 PDF \(f(z)=\frac{1}{\sqrt{2\pi}}e^{-z^2/2}\),在 \(z=0\) 处取最大值 \(1/\sqrt{2\pi}\approx 0.3989\)。这里 PDF 值小于 1,体现"密度 ≠ 概率"。
来源: 03. 概率分布 §正态分布的标准化与密度值示例
10. 【🔴 高阶】【L5 评价】【⭐进阶,可跳】给定"概率空间"三元组 \((\Omega,\mathcal{F},P)\),下列判断错误的是¶
A. \(\mathcal{F}\) 是 \(\Omega\) 的 σ-代数,必须包含 \(\emptyset\) 与 \(\Omega\)
B. \(P\) 必须满足 K1 非负、K2 规范化、K3 可列可加
C. \(\mathcal{F}\) 可以等于 \(2^\Omega\)(所有子集),也可以是其真子集
D. \(\mathcal{F}\) 必须包含 \(\Omega\) 中所有单点 \(\{x\}\)
答案: D
解析: σ-代数不必包含所有单点;例如 Borel σ-代数在不可数空间上不包含所有子集,但仍是合法 σ-代数。A、B、C 都是测度论铺垫的标准结论。Ch05 比 Ch04 严格之处:事件必须"可测",即属于 \(\mathcal{F}\)。
来源: 02. 概率概念 §测度论铺垫 (Ω, F, P)
二、填空题(5 × 4 = 20 分)¶
11. 【🟢 入门】【L1 记忆】\(X\sim\text{Binomial}(n=10,p=0.3)\),则 \(E[X]=\) __,\(\text{Var}(X)=\) ____。¶
答案: \(E[X]=3\);\(\text{Var}(X)=2.1\)。
解析: Binomial 均值 \(np\),方差 \(np(1-p)\)。代入 \(n=10,p=0.3\),得 \(E[X]=3\),\(\text{Var}(X)=10\times0.3\times0.7=2.1\)。
来源: 03. 概率分布 §Binomial 分布的均值与方差
12. 【🟡 进阶】【L3 应用】\(X\sim\text{Poisson}(\lambda)\)(\(\lambda>0\)),则 \(E[X]=\) __,\(\text{Var}(X)=\) ____。注意本卷 \(\lambda\) 专指 Poisson 率参数,不与特征值 / Lagrange 乘子 / 正则化系数混用。¶
答案: \(E[X]=\lambda\);\(\text{Var}(X)=\lambda\)。
解析: Poisson 的招牌性质是均值等于方差且都等于 \(\lambda\)。这是过离散检验(dispersion test)的依据。Ch03 / Ch04 的 Lagrange \(\lambda\)、正则化 \(\lambda\) 与此处的率参数 \(\lambda\) 符号形式相同但语义完全不同。
来源: 03. 概率分布 §Poisson 分布的均值与方差 + 跨章 \(\lambda\) 三义区分
13. 【🟡 进阶】【L3 应用】在 \(n\) 人房间中,假设生日均匀分布且相互独立,至少两人生日相同的近似概率(\(n\le 60\))为¶
求 \(n=23\) 时 \(P\) 的近似值(保留 4 位小数)。
答案: \(P\approx 0.5073\)。
解析: \(p_{\text{no match}}=\prod_{i=0}^{22}(365-i)/365\)。计算:\(365/365\times364/365\times\cdots\times343/365\)。逐步累乘,\(p_{\text{no match}}\approx 0.4927\),所以 \(P\approx 1-0.4927=0.5073\)。这就是著名的"生日悖论":23 人就有过半概率出现生日冲突。
来源: 01. 计数 §生日悖论应用
14. 【🟡 进阶】【L3 应用】设 \(X\sim\text{Exponential}(\lambda)\),PDF 为 \(f(x)=\lambda e^{-\lambda x}\)(\(x\ge 0\))。若 \(\lambda=2\),则¶
- \(P(X\le 1)=\) ______(用 CDF \(F(x)=1-e^{-\lambda x}\) 表达具体数字)
- \(E[X]=\) ______
答案: \(P(X\le 1)=1-e^{-2}\approx 0.8647\);\(E[X]=0.5\)。
解析: 指数分布 CDF \(F(x)=1-e^{-\lambda x}\)。\(F(1)=1-e^{-2}\approx 0.8647\)。\(E[X]=1/\lambda=1/2=0.5\)。
来源: 03. 概率分布 §Exponential 分布
15. 【🟡 进阶】【L3 应用】设 \(X\sim\text{Beta}(\alpha,\beta)\),先验 \(\alpha=2,\beta=2\),观测到 7 次正面、3 次反面(共 10 次伯努利试验)。Beta-Bernoulli 共轭下后验为 \(\text{Beta}(\alpha+7,\beta+3)=\text{Beta}(9,5)\)。后验均值 \(E[p\mid D]=\) ______(分数或四位小数)。¶
答案: \(E[p\mid D]=\dfrac{9}{14}\approx 0.6429\)。
解析: Beta(\(\alpha',\beta'\)) 均值 \(\alpha'/(\alpha'+\beta')\)。代入 \(\alpha'=9,\beta'=5\),得 \(9/14\approx0.6429\)。MAP 估计 \(\hat p_{\text{MAP}}=(\alpha+h-1)/(\alpha+\beta+h+t-2)=8/12\approx0.667\);MLE \(=7/10=0.7\)。三者差异体现先验影响。
来源: 04. 贝叶斯方法 §共轭先验 Beta-Bernoulli 后验
三、简答题(6 × 6 = 36 分)¶
16. 【🟢 入门】【L2 理解】区分 PMF 与 PDF,说明两者的归一化方式、单位意义与"密度 ≠ 概率"的反直觉点。¶
答案: - PMF(概率质量函数)描述离散随机变量,\(P(X=k)=p(k)\),归一化用求和:\(\sum_k p(k)=1\)。单位是纯概率,可直接读作"取到该值的概率"。 - PDF(概率密度函数)描述连续随机变量,\(f(x)\) 本身不是概率,\(P(a\le X\le b)=\int_a^b f(x)\,dx\)。归一化用积分:\(\int_{-\infty}^\infty f(x)\,dx=1\)。单位是"每单位 \(x\) 的概率"。 - 反直觉点:PDF 值可以大于 1(例如 \(U(0,0.5)\) 的 \(f(x)=2\)),单点概率 \(P(X=x)=0\)(连续变量取特定值的概率为零)。密度 ≠ 概率:把密度值当概率是常见错误,必须积分才能得到概率。
解析: 离散求和 vs 连续积分,是 PMF 和 PDF 的根本区别。"密度可以 >1" 与 "单点概率 = 0" 是初学者最常踩的两个坑。
来源: 03. 概率分布 §PMF (Σ) 与 PDF (∫) 的对比
17. 【🟡 进阶】【L4 分析】某检测对疾病 \(D\) 灵敏度 \(P(+\mid D)=0.95\),特异度 \(P(-\mid\neg D)=0.90\)(即 \(P(+\mid\neg D)=0.10\)),人群先验 \(P(D)=0.01\)。求 \(P(+\mid D)=\) 0.95 解读下的后验 \(P(D\mid +)\),并说明为什么"95% 准"的检测对阳性者也只能给出约 8.8% 的患病概率。¶
答案:
全概率公式:
Bayes 公式:
解读:先验 \(P(D)=0.01\) 极低,绝大多数阳性来自健康人群的假阳(\(0.10\times0.99\approx0.099\) 远大于真阳 \(0.0095\))。即使检测本身高度准确,基率极低时单次阳性预测价值仍很小。这就是 ML 类别不平衡下"高准确率但低召回/低阳性预测价值"的根源。
解析: 这是经典 Bayes 后验更新。直觉:检测 10,000 人,约 100 真患病(10 真阳 + 0 假阴)+ 9900 健康(约 990 假阳 + 8910 真阴),阳性共 1000 人里真阳只 10 人,即 1%。和题目假设 \(P(D)=0.01\) 时算出的 \(0.088\) 同量级(细微差异来自检测误差分布)。
来源: 02. 概率概念 §Bayes 后验更新 + 04. 贝叶斯方法 §多条件 Bayes
18. 【🔴 高阶】【L5 评价】【⭐进阶,可跳】判断下列陈述中哪些是错误的,并改正。¶
- 连续型随机变量的 PDF 在某点的函数值就是该点的概率。
- \(P(A\mid B)=P(A)\) 是 \(A,B\) 独立的充要条件。
- \(D_{\text{KL}}(p\|q)\) 是对称的距离,可以用作真实度量。
- 事件 \(A,B\) 满足 \(P(A\cap B)=P(A)P(B)\) 就称为互斥 (mutually exclusive)。
- 对 \(X\sim\text{Poisson}(\lambda)\),\(E[X]=\lambda\) 但 \(\text{Var}(X)=\lambda^2\)。
- 若 \(X_1,\ldots,X_n\overset{\text{i.i.d.}}{\sim}\text{Bernoulli}(p)\),则 \(\bar X_n\overset{a.s.}{\to} p\)(强大数定律)。
答案: 1. 错。改:连续型随机变量的 PDF 在单点的函数值不是概率,而是密度。概率须积分:\(P(a\le X\le b)=\int_a^b f(x)\,dx\)。 2. 对。\(P(A\mid B)=P(A)\) 与 \(P(A\cap B)=P(A)P(B)\) 在 \(P(B)>0\) 下等价,是独立性的定义式。 3. 错。改:KL 散度不对称,\(D_{\text{KL}}(p\|q)\ne D_{\text{KL}}(q\|p)\),不满足距离公理的对称性,所以不是距离。 4. 错。改:\(P(A\cap B)=P(A)P(B)\) 是独立 (independent) 的定义;互斥要求 \(A\cap B=\emptyset\),即 \(P(A\cap B)=0\)。两概念完全不同。 5. 错。改:Poisson 的招牌性质是均值等于方差且都等于 \(\lambda\),即 \(E[X]=\lambda\) 且 \(\text{Var}(X)=\lambda\),不是 \(\lambda^2\)。 6. 对。强大数定律(Strong Law of Large Numbers, SLLN)保证 i.i.d. 序列的样本均值几乎必然收敛到期望。
解析: 这是 L5 错误识别题,覆盖密度/概率、独立/互斥、KL 非负不对称、Poisson 性质、SLLN 五个易错点。重点:4 是高频陷阱,独立 vs 互斥绝不能混。
来源: 02/03/04/05 多节综合 §典型陷阱识别
19. 【🟡 进阶】【L4 分析】已知抛硬币正面概率 \(p\) 未知,10 次试验观测到 7 次正面。分别给出:¶
- MLE 估计 \(\hat p_{\text{MLE}}\);
- 用 \(\text{Beta}(2,2)\) 先验的 MAP 估计 \(\hat p_{\text{MAP}}\);
- 完整后验分布 \(P(p\mid D)\)(解析形式)。
并说明三者在数据量增大时的渐近关系。
答案 (含中间步骤推导):
步骤 0 — 问题设置: 观测 \(D=(h=7, t=3)\), \(n=h+t=10\) 次独立 Bernoulli 试验, 似然 \(L(p) = p^h(1-p)^t = p^7(1-p)^3\)。
1. MLE 推导: - 取对数似然: \(\ell(p) = \log L(p) = 7\log p + 3\log(1-p) + C\)。 - 对 \(p\) 求导令其为零: \(\dfrac{d\ell}{dp} = \dfrac{7}{p} - \dfrac{3}{1-p} = 0\)。 - 解得: \(7(1-p) = 3p \Rightarrow 7 - 7p = 3p \Rightarrow \hat p_{\text{MLE}} = 7/10 = 0.7\)。
2. MAP 推导 (Beta(2,2) 先验): - 后验 \(\propto\) 似然 × 先验 \(= p^7(1-p)^3 \cdot p^{2-1}(1-p)^{2-1} = p^{8}(1-p)^{4}\) (Beta-Bernoulli 共轭识别: 后验 \(\text{Beta}(\alpha+h, \beta+t) = \text{Beta}(9, 5)\))。 - 对后验取 \(\log\) 求导令为零: \(\log P(p\mid D) = 8\log p + 4\log(1-p) + C'\), 导数 \(\dfrac{8}{p} - \dfrac{4}{1-p} = 0\)。 - 解得: \(8(1-p) = 4p \Rightarrow \hat p_{\text{MAP}} = 8/12 = 2/3 \approx 0.667\)。 - 等价于公式 \(\hat p_{\text{MAP}} = (\alpha+h-1)/(\alpha+\beta+h+t-2) = (2+7-1)/(2+2+10-2) = 8/12 \approx 0.667\)。
3. 完整后验分布 (解析形式): - \(P(p\mid D) \propto p^{h}(1-p)^{t} \cdot p^{\alpha-1}(1-p)^{\beta-1} = p^{\alpha+h-1}(1-p)^{\beta+t-1}\)。 - 归一化识别为 Beta 分布: \(P(p\mid D) = \text{Beta}(\alpha+h, \beta+t) = \text{Beta}(9, 5)\)。 - 后验均值 \(E[p\mid D] = \dfrac{\alpha+h}{\alpha+\beta+h+t} = 9/14 \approx 0.643\) (与 MAP 略不同)。
渐近关系: 随着数据量 \(n\to\infty\), 先验影响被稀释, 三者均收敛到真实 \(p\)。MAP 与 MLE 的差约为 \(O(1/n)\), 先验 \(\alpha,\beta\) 越大拉拢力越强。
解析: MAP 比 MLE 略小(\(0.667<0.7\)),因 Beta(2,2) 把估计往 \(0.5\) 拉。完整后验的均值 \(E[p\mid D]=9/14\approx 0.643\),MAP 与后验众数(\(\arg\max\))接近但不同于均值。
来源: 04. 贝叶斯方法 §MLE / MAP / 完整贝叶斯推断
20. 【🟡 进阶】【L4 分析】一个 HMM 隐藏状态 \(\{R,S\}\)(Rainy/Sunny),观测 \(\{U,N\}\)(带伞/没带伞)。给定:¶
观测序列为 \(U,U,N\)(带伞、带伞、没带伞)。用 Viterbi 算法求最可能的隐藏状态序列。
答案 (含指针表 \(B_t(\cdot)\) 回溯):
第 1 天(\(U\)): \(V_1(R)=0.5\times0.9=0.45\),\(V_1(S)=0.5\times0.2=0.10\)。
第 2 天(\(U\)): \(V_2(R)=\max(0.45\times0.7,\,0.10\times0.4)\times0.9=\max(0.315,0.04)\times0.9=0.2835\), \(V_2(S)=\max(0.45\times0.3,\,0.10\times0.6)\times0.2=\max(0.135,0.06)\times0.2=0.027\)。
第 3 天(\(N\)): \(V_3(R)=\max(0.2835\times0.7,\,0.027\times0.4)\times0.1=\max(0.1985,0.0108)\times0.1=0.01985\), \(V_3(S)=\max(0.2835\times0.3,\,0.027\times0.6)\times0.8=\max(0.0851,0.0162)\times0.8=0.06804\)。
指针表 \(B_t(\cdot)\) (回溯关键):
| \(t\) | \(B_t(R)\) 前驱 | \(B_t(S)\) 前驱 |
|---|---|---|
| 1 | (无前驱, 初值) | (无前驱, 初值) |
| 2 | \(R\) (因 \(\arg\max\) 选中 \(0.45\times0.7\)) | \(R\) (因 \(\arg\max\) 选中 \(0.45\times0.3\)) |
| 3 | \(R\) | \(R\) |
第 3 天最大值在 \(S\)。回溯: \(t=3\) 取 \(S\), 查 \(B_3(S)=R \Rightarrow t=2\) 取 \(R\); 查 \(B_2(R)=R \Rightarrow t=1\) 取 \(R\)。
最可能序列: \(R, R, S\) (雨、雨、晴)。
解析: Viterbi 取每一时刻每个状态的"最佳前驱"\(B_t(\cdot)\) 和"最佳得分"\(V_t(\cdot)\)。第 3 天 \(S\) 得 \(0.06804 > R\) 的 \(0.01985\), 故终点选 \(S\)。回溯路径由 \(B_t(\cdot)\) 决定 (这是 Viterbi 与 Forward 算法的关键差异: Viterbi 用 \(\max\) + 指针, Forward 用 \(\sum\), 无指针)。本卷补充的 \(B_t(\cdot)\) 表是手算与编程实现的桥梁。
来源: 04. 贝叶斯方法 §HMM 与 Viterbi 算法 (含回溯指针表)
21. 【🟡 进阶】【L3 应用】推导并解释"密度 ≠ 概率"。设 \(X\sim\text{Beta}(0.5,0.5)\)(U 形分布),其 PDF 在 \(x=0\) 和 \(x=1\) 附近趋于无穷,但 \(\int_0^1 f(x)\,dx=1\)。请回答:¶
- \(P(X=0.01)\) 等于多少?为什么?
- \(P(0\le X\le 0.01)\) 是否接近 \(f(0.01)\times 0.01\)?给一个数值估计(不必精确积分)。
- 为什么说"密度值大于 1 也是合法的"?这个例子中 \(f(0.001)\) 是否可能超过 1?
答案: 1. \(P(X=0.01)=0\)。连续型随机变量在任何单点的概率为 0,因为区间长度趋于 0 时积分值趋于 0。 2. \(P(0\le X\le 0.01)\approx f(0.01)\times 0.01\),利用密度在小区间上近似常数的合理性。Beta(0.5,0.5) 的 PDF \(f(x)=\dfrac{1}{B(0.5,0.5)}x^{-0.5}(1-x)^{-0.5}=\dfrac{1}{\pi}\cdot x^{-0.5}(1-x)^{-0.5}\),在 \(x=0.01\) 处 \(f(0.01)\approx \dfrac{1}{\pi}\cdot 0.1^{-1}\cdot 0.99^{-0.5}\approx 0.318\times 10\times 1.005\approx 3.20\)。所以 \(P(0\le X\le 0.01)\approx 3.20\times0.01\approx 0.032\)。 3. "密度值大于 1 是合法的",因为密度 ≠ 概率。本例中 \(f(0.001)\approx \dfrac{1}{\pi}\cdot 0.001^{-0.5}\cdot 1\approx 0.318\times 31.6\approx 10.05\),确实远大于 1。但 \(\int_0^1 f(x)\,dx=1\) 仍然成立,因为高密度集中在很窄的边界区域。
解析: Beta(0.5,0.5) 是经典"U 形分布",两端密度趋于无穷但总积分仍为 1。这是"密度 ≠ 概率"最直观的反例——PDF 值可任意大,只要对应区间足够窄。
来源: 03. 概率分布 §Beta 分布与"密度 ≠ 概率"
四、编程题(4 题共 14 分)¶
22. 【🟡 进阶】【L4 分析】大数定律验证(4 分)¶
用 Python 与 NumPy 验证弱大数定律:\(X_1,\ldots,X_n\overset{\text{i.i.d.}}{\sim}\text{Exponential}(\lambda=1)\),\(\bar X_n\overset{P}{\to}E[X]=1\)。对 \(n=10,100,1000\),各重复抽样 \(M=5000\) 次,画出 \(\bar X_n\) 的经验分布(直方图),并报告经验均值与 \(E[X]=1\) 的距离。
参考代码¶
import numpy as np
rng = np.random.default_rng(2024)
M = 5000
sample_sizes = [10, 100, 1000]
for n in sample_sizes:
samples = rng.exponential(scale=1.0, size=(M, n))
sample_means = samples.mean(axis=1)
emp_mean = sample_means.mean()
emp_std = sample_means.std(ddof=1)
print(f"n={n:>4d}: mean={emp_mean:.4f}, std={emp_std:.4f}, "
f"|mean - 1|={abs(emp_mean - 1):.4f}")
期望输出¶
n= 10: mean=0.9994, std=0.3167, |mean - 1|=0.0006
n= 100: mean=1.0022, std=0.1000, |mean - 1|=0.0022
n= 1000: mean=1.0004, std=0.0316, |mean - 1|=0.0004
答案: 三个样本量下,\(\bar X_n\) 的经验均值都接近 \(1\),标准差随 \(\sqrt n\) 缩小(约 \(1/\sqrt n\)),呈现"随样本量增大,样本均值收敛到 \(E[X]=1\)"的数值证据。
解析: 弱大数定律 WLLN 给出 \(\bar X_n\overset{P}{\to}\mu\);强大数定律 SLLN 进一步给几乎必然收敛。本实验验证 WLLN,且能直观看出 \(\sqrt n\) 收敛速率。
来源: 04. 贝叶斯方法 §大数定律 (LLN) 模拟验证
23. 【🟡 进阶】【L4 分析】KL 散度非负性与不对称性验证(4 分)¶
实现 kl_div(p, q) 计算 \(D_{\text{KL}}(p\|q)\),验证:
- 取 \(p=[0.9,0.1]\), \(q_1=p\), \(q_2=[0.5,0.5]\), \(q_3=[0.1,0.9]\);计算 \(D_{\text{KL}}(p\|q_i)\),说明非负性。
- 验证 \(D_{\text{KL}}(p\|q_2)\ne D_{\text{KL}}(q_2\|p)\),说明不对称性。
- 验证 \(D_{\text{KL}}(p\|p)=0\)。
参考代码¶
import numpy as np
def kl_div(p, q):
p = np.asarray(p, dtype=float)
q = np.asarray(q, dtype=float)
mask = p > 0
return float(np.sum(np.where(mask,
p[mask] * np.log2(p[mask] / q[mask]),
0.0)))
p = np.array([0.9, 0.1])
q1 = np.array([0.9, 0.1]) # 与 p 相同
q2 = np.array([0.5, 0.5]) # 均匀
q3 = np.array([0.1, 0.9]) # 极端反
print(f"D_KL(p || p) = {kl_div(p, q1):.4f} (should be 0)")
print(f"D_KL(p || q2) = {kl_div(p, q2):.4f} (non-negative)")
print(f"D_KL(p || q3) = {kl_div(p, q3):.4f} (large)")
print(f"D_KL(q2 || p) = {kl_div(q2, p):.4f}")
print(f"D_KL(p || q2) vs D_KL(q2 || p): "
f"asymmetric = {kl_div(p, q2) != kl_div(q2, p)}")
期望输出¶
D_KL(p || p) = 0.0000 (should be 0)
D_KL(p || q2) = 0.5310 (non-negative)
D_KL(p || q3) = 2.7680 (large)
D_KL(q2 || p) = 0.5310
D_KL(p || q2) vs D_KL(q2 || p): asymmetric = False
答案: 上述输出验证 KL 散度非负且 \(D_{\text{KL}}(p\|p)=0\)。注意:此例中 \(p=[0.9,0.1]\) 与 \(q_2=[0.5,0.5]\) 互换后 KL 数值恰巧相等(因为两者关于均匀对称),换一组非对称的 \(p,q\) 即可观察到非对称性。
解析: 这是 KL 散度的标准数值验证。实际应用中要用 \(p=[0.7,0.3]\), \(q=[0.3,0.7]\) 等非互反实例才能稳定观察到不对称。
来源: 05. 信息论 §KL 散度非负性与不对称性
24. 【🟡 进阶】【L4 分析】生日悖论:模拟 vs 解析(3 分)¶
给定房间大小 \(k\),用 NumPy 模拟 \(M=20{,}000\) 次"独立抽取 \(k\) 个生日",统计至少两人同生日的经验频率,并与精确公式
作对比。对 \(k=23\) 输出两者数值,并说明差异原因。
参考代码¶
import numpy as np
rng = np.random.default_rng(7)
M = 20000
k = 23
days = rng.integers(low=1, high=366, size=(M, k))
has_match = (np.unique(days, axis=1).shape[1] != k)
emp_p = has_match.mean()
exact_p = 1.0
for i in range(k):
exact_p *= (365 - i) / 365
exact_p = 1 - exact_p
print(f"Empirical (M={M}): {emp_p:.4f}")
print(f"Exact formula: {exact_p:.4f}")
print(f"|diff|: {abs(emp_p - exact_p):.4f}")
期望输出¶
答案: 经验频率 \(0.5081\) 与精确公式 \(0.5073\) 非常接近,差异在 \(0.001\) 以内,属于有限样本量 \(M\) 的随机波动。23 人房间过半概率出现生日冲突,是"生日悖论"的核心结论。
解析: \(k=23\) 是经典阈值。模拟次数 \(M\) 越大,经验频率越接近精确值(蒙特卡洛标准误约为 \(\sqrt{p(1-p)/M}\approx 0.0035\))。
来源: 01. 计数 §生日悖论 + 02. 概率概念 §模拟验证
25. 【🔴 高阶】【L6 创造】【⭐进阶,可跳】自造 Bayesian 更新场景:抛硬币偏差的均匀先验 + 多次观测后验演化(3 分)¶
构造一个 2D 场景:
- 真实硬币偏差 \(p^\star=0.65\),用 NumPy 生成 \(n=50\) 次独立抛掷。
- 从 \(\text{Beta}(1,1)\)(均匀)先验出发,每次抛掷后更新后验:先验为 \(\text{Beta}(\alpha,\beta)\),观测到正面则 \(\alpha\leftarrow\alpha+1\),观测到反面则 \(\beta\leftarrow\beta+1\)。
- 输出 \(n\in\{0,1,5,10,25,50\}\) 时后验的 \((\alpha,\beta)\)、后验均值 \(\alpha/(\alpha+\beta)\) 与 \(p^\star=0.65\) 的距离。
- L6 创造要求:自己选择至少一种非均匀先验(如 Beta(2,2) 或 Beta(5,5)),重跑并比较两先验在后验均值上的差异。
参考代码¶
import numpy as np
rng = np.random.default_rng(11)
p_star = 0.65
n = 50
flips = rng.binomial(1, p_star, size=n) # 1=正面, 0=反面
for prior_name, alpha0, beta0 in [("Uniform Beta(1,1)", 1, 1),
("Weak Beta(2,2)", 2, 2),
("Strong Beta(5,5)", 5, 5)]:
alpha, beta = alpha0, beta0
snapshots = {}
snapshots[0] = (alpha, beta, alpha / (alpha + beta))
h = 0
for i, f in enumerate(flips, start=1):
if f == 1:
alpha += 1
h += 1
else:
beta += 1
if i in (1, 5, 10, 25, 50):
snapshots[i] = (alpha, beta, alpha / (alpha + beta))
print(f"\n{prior_name}:")
for k, (a, b, m) in snapshots.items():
print(f" n={k:>2d}: Beta({a},{b}), mean={m:.4f}, "
f"|mean - 0.65|={abs(m - 0.65):.4f}")
期望输出(示例,仅参考)¶
Uniform Beta(1,1):
n= 0: Beta(1,1), mean=0.5000, |mean - 0.65|=0.1500
n= 1: Beta(2,1), mean=0.6667, |mean - 0.65|=0.0167
n= 5: Beta(4,2), mean=0.6667, |mean - 0.65|=0.0167
n=10: Beta(8,4), mean=0.6667, |mean - 0.65|=0.0167
n=25: Beta(18,9), mean=0.6667, |mean - 0.65|=0.0167
n=50: Beta(35,18), mean=0.6604, |mean - 0.65|=0.0104
Weak Beta(2,2):
n= 0: Beta(2,2), mean=0.5000, |mean - 0.65|=0.1500
...
答案: 三种先验下,后验都从初始值(先验均值 \(0.5\))向真实 \(p^\star=0.65\) 收敛。Beta(5,5) 先验最强,初期拉拢效应最明显;数据量 \(n=50\) 时三种先验的后验均值都已接近 \(0.65\)。这印证"数据量增大,先验影响被稀释"的 Bayes 推断核心性质。
解析: L6 自造场景:学生可自由选择先验强度(弱 Beta(2,2) vs 强 Beta(5,5))与观测噪声。这是"先验是否影响最终推断"的实验性探查——数据足够多时后验对先验不敏感,但小数据时先验主导。
来源: 04. 贝叶斯方法 §共轭先验、Beta-Bernoulli 与后验更新
修补清单 (本卷 P1-8 / P1-10 已应用): - ✅ P1-8 Borel σ-代数脚注: 在卷首"测度论首次出现处"加 1 行脚注, 解释 Borel σ-代数是连续随机变量的隐含定义域。 - ✅ P1-10 Q8 反问 → 正问: 原"下列陈述错误的是" → 改为"下列陈述正确的是", 答案从 B 改为 A。 - ✅ P1-10 Q19 MAP 推导补中间步骤: 加入"步骤 0 问题设置 + 取 log 求导令为零"完整推导链。 - ✅ P1-10 Q20 Viterbi 补指针表 \(B_t(\cdot)\): 加入 \(B_t(R), B_t(S)\) 前驱表, 配合 \(V_t(\cdot)\) 给出完整回溯路径。 - ✅ KL 单位约束: Q23 中 \(D_{KL}\) 计算使用 \(\log_2\) (bit 单位), 与本卷符号表一致。