第05章 · 概率论 · 阶段测试题答案¶
一 · 单选 (8 题)¶
1.1 B - P(A∪B) = P(A)+P(B)-P(A∩B)。
1.2 A - P(A|B) = P(A∩B)/P(B)。
1.3 C - 贝叶斯公式: P(A|B) = P(B|A)P(A)/P(B)。
1.4 B - E[X+Y] = E[X]+E[Y] (无条件)。
1.5 C - Var(aX+b) = a² Var(X)。
1.6 A - 二项分布 B(n,p)。
1.7 B - 信息熵 H = -Σp log p, 均匀分布最大。
1.8 A - KL 散度 ≥ 0, 不对称。
二 · 多选 (4 题)¶
2.1 ABCD - 都是常见分布。
2.2 ABD - C 错: X 与 Y 独立才有 E[XY]=E[X]E[Y]。
2.3 ABC - 都是随机变量数字特征。
2.4 ABC - 贝叶斯定理应用场景。
三 · 简答 (5 题)¶
3.1 贝叶斯定理¶
答: P(A|B) = P(B|A) × P(A) / P(B) 意义: - 已知结果推原因(反向推理) - 融合先验 + 数据 → 后验 - Naive Bayes 分类器 / MCMC / 贝叶斯优化
3.2 期望与方差性质¶
| 性质 | 公式 |
|---|---|
| 线性 | E[aX+bY] = aE[X]+bE[Y] |
| 独立乘积 | E[XY]=E[X]E[Y] (X⊥Y) |
| 方差 | Var(X) = E[X²] - (E[X])² |
| 线性变换 | Var(aX+b) = a² Var(X) |
| 独立和 | Var(X+Y) = Var(X)+Var(Y) (X⊥Y) |
3.3 信息熵¶
答: H(X) = -Σ p(x) log p(x), 度量随机变量"不确定度" 性质: - H ≥ 0, 当确定性分布时 H=0 - 均匀分布 H 最大 - 联合熵 H(X,Y) = H(X)+H(Y|X) - 条件熵 H(Y|X) = H(X,Y) - H(X) - 互信息 I(X;Y) = H(X) + H(Y) - H(X,Y)
3.4 KL 散度¶
KL(P||Q) = Σ p(x) log(p(x)/q(x)) - 衡量两个分布的差异(非对称) - KL ≥ 0, KL=0 iff P=Q - 应用: VAE / RL 的策略梯度 / 信息瓶颈
3.5 MCMC¶
Markov Chain Monte Carlo: 用马尔可夫链采样复杂分布 算法: 1. Metropolis-Hastings 2. Gibbs Sampling 3. Hamiltonian Monte Carlo (HMC)
应用: 贝叶斯推断后验分布采样
四 · 编程 (2 题)¶
4.1 贝叶斯更新¶
# 假设 1% 的人患病, 检测准确率 99%
# 求: 检测阳性时真正患病的概率?
P_disease = 0.01
P_pos_given_disease = 0.99
P_pos_given_healthy = 0.01
P_pos = P_pos_given_disease * P_disease + P_pos_given_healthy * (1 - P_disease)
P_disease_given_pos = P_pos_given_disease * P_disease / P_pos
print(f"P(disease|+): {P_disease_given_pos:.3f}") # ~50%