讲解稿 · 第 04 章 第 04 节：假设检验¶
口播时长：约 15–20 分钟｜建议语速：中速偏慢，公式处停顿两拍｜字数：约 4200 字
导语 · 开场钩子（约 80 秒）¶
你负责一家电商的结算页。旧按钮给了 10,000 名用户，其中 1,000 人付款，转化率是 10%；新按钮也给了 10,000 名用户，其中 1,060 人付款，转化率是 10.6%。这就是一个标准 A/B 测试：用户随机进入 A 组或 B 组，我们检验按钮变化是否真的改变总体转化率。
多出 60 笔订单，产品经理已经准备全量上线。可你得先问一句：如果明天重新随机分流一次，这 0.6 个百分点会不会消失，甚至反过来？
好，问题不在于“两组数字有没有差”——样本数字几乎总有差。问题在于：这个差异是否大到很难用随机波动解释？
假设检验就是一套决策程序：先暂时假定“新按钮没有真实效果”，再计算当前数据在这个假定下有多反常。反常到超过事先约定的门槛，我们才拒绝这个假定；否则，只能说证据还不够。
这套程序每天都在 A/B 测试、临床试验、工厂质检和模型对比里运行。它不会替你消灭不确定性，只会把“凭感觉拍板”改成“承担哪种错误、证据够不够”的明确选择。
复习昨日 & 今日路线（约 40 秒）¶
上一节 §03 讲了抽样：我们从总体抽样，用样本统计量推断总体参数；中心极限定理还告诉我们，重复抽样得到的样本均值分布会趋近正态。注意，它不是单个观测值所属的总体分布。
这一节沿着“总体参数 → 抽样分布 → 检验统计量 → 决策”走一遍。顺手提醒一句：Ch03 §05 的优化让我们会用梯度找最优参数；今天不求最优值，而是判断观测差异能否用随机波动解释。下一节 §05 会从“拒绝不拒绝”转向“参数大概多大、区间有多宽”，并区分频率学派置信区间与贝叶斯可信区间。
核心概念一：从概率公理到两个假设（约 2.5 分钟）¶
直觉。 把假设检验想成法庭：默认状态不是“被告一定无罪”，而是“在证据达到门槛前，不推翻无罪假定”。统计检验也先立一个默认说法，再问数据是否足够反常。好，不过“反常的概率”要能计算，底下先得有合法的概率。
定义。 符号表：\(\Omega\) — 样本空间，全部可能结果的集合，例如抛硬币时 \(\Omega=\{正,反\}\)；\(P(A)\) — 事件 \(A\) 的概率，例如 \(P(正)=0.5\)。概率由三条彼此独立的公理约束：
- K1 非负性：\(P(A)\ge 0\)。大白话：概率不能欠账。例子：\(P(正)=0.5\ge0\)。反例：令 \(\Omega=\{a,b\}\)，取 \(P(a)=-0.2,P(b)=1.2,P(\Omega)=1\)；K2 与 K3 仍成立，但 K1 被单独破坏。
- K2 规范化：\(P(\Omega)=1\)。大白话：所有可能合起来必然发生。例子：\(0.5+0.5=1\)。反例：取 \(P(a)=0.2,P(b)=0.3,P(\Omega)=0.5\)，并保持可加；K1 与 K3 成立，但 K2 被单独破坏。
- K3 可列可加：\(A_i\) — 第 \(i\) 个互斥事件，例如 \(A_1\) 表示“第一次抛硬币就出现正面”；若 \(A_1,A_2,\ldots\) 两两互斥，则 \(P(\bigcup_i A_i)=\sum_iP(A_i)\)。大白话：不重叠的概率可以相加。例子：连续抛公平硬币，令 \(A_i\) 表示“第 \(i\) 次才首次出现正面”，则 \(P(A_i)=2^{-i}\)，所以 \(P(\bigcup_{i=1}^{\infty}A_i)=\sum_{i=1}^{\infty}2^{-i}=1\)。反例：令 \(P(a)=P(b)=0.6,P(\Omega)=1\)；K1 与 K2 成立，但互斥的 \(a,b\) 有 \(0.6+0.6\ne1\)，K3 被单独破坏。
由三条公理还能推出“不下雨概率 = 1 − 下雨概率”。这只是推论，不是第四条公理：若下雨概率为 0.3，不下雨概率就是 0.7。
符号表：\(H_0\) — 零假设，默认的总体参数主张，例如 \(H_0:\mu=10\)；\(H_1\) — 备择假设，与研究问题对应的主张，例如 \(H_1:\mu\ne10\)；\(\mu\) — 总体均值，例如工厂全部螺栓的平均长度为 10 cm；\(p_{新},p_{旧}\) — 新旧版本的总体转化率，例如 \(p_{新}=0.106,p_{旧}=0.100\)。我们拒绝或不拒绝 \(H_0\)，不直接“证明” \(H_1\)。
例子。 工厂声称平均长度是 10 cm。双侧问题写成 \(H_0:\mu=10\)、\(H_1:\mu\ne10\)；若问题事先限定为“机器是否把螺栓做长了”，才写 \(H_1:\mu>10\)。这里假设谈的是未知总体参数，不是这一次已经算出的样本均值。
反例。 三条公理不可互相冒充，上面三个反例分别只破坏 K1、K2、K3。另一个检验反例是写 \(H_0:\bar x=10\)：\(\bar x\) 已由样本确定，不是等待检验的总体主张。
一句话总结。 概率三公理保证“尾部面积”合法，\(H_0\) 与 \(H_1\) 决定我们往哪个尾部找证据。
黑板动作：画一个矩形标 \(\Omega\)，把互斥事件画成不重叠区域；右侧写“默认 \(H_0\) / 证据支持拒绝”。
卡壳预案：学生问“为什么不直接证明 \(H_1\)？”答：检验计算的是假定 \(H_0\) 成立时数据有多反常，只能据此拒绝或不拒绝 \(H_0\)。
暂停思考 · 第一次
如果新按钮转化率低于旧按钮，但你事先写的是 \(H_1:p_{新}>p_{旧}\)，这次结果能支持 \(H_1\) 吗？不能；单侧方向必须在看数据前确定，反方向再大也不属于这个拒绝域。
核心概念二：抽样分布把差异换成“几个标准误”（约 2.5 分钟）¶
直觉。 一颗螺栓的长度会围绕总体均值大幅波动，36 颗螺栓的平均长度稳定得多。检验不拿样本均值去和“单颗螺栓的分布”比较，而是和“重复抽 36 颗所得均值的分布”比较。这里十个学生九个会混。
定义。 回忆符号：\(X\) — 单个观测的随机变量，例如一颗螺栓长度 10.8 cm；\(n\) — 样本量，例如 \(n=30\)；\(\bar X\) — 样本均值随机变量，例如重复抽样得到 9.9、10.1 等均值；\(\bar x\) — 本次观测到的样本均值，例如 \(\bar x=10.3\)；\(\sigma\) — 总体标准差，例如 \(\sigma=0.9\)；\(\sigma^2\) — 总体方差，例如 \(\sigma=6\) 时 \(\sigma^2=36\)。若观测独立同分布且方差有限，中心极限定理给出
这里 \(\mathcal N(m,v)\) — 均值为 \(m\)、方差为 \(v\) 的正态分布，例如 \(\mathcal N(30,1.2)\)；\(SE\) — 标准误，即统计量抽样分布的标准差，例如 \(6/\sqrt{30}\approx1.095\)。
例子。 假设单次配送时间高度右偏，但总体均值 \(\mu=30\) 分钟、标准差 \(\sigma=6\) 分钟。每次独立抽 \(n=30\) 单并求均值，重复 1,000 次后，原始配送时间仍右偏，1,000 个均值的直方图却会接近钟形；这里总体方差 \(\sigma^2=36\)，每次均值的方差近似为 \(\sigma^2/n=36/30=1.2\)，所以理论上
所以约 95% 的样本均值落在 \(30\pm1.96\times1.095=[27.85,32.15]\)。这就是 \(n=30\) 时可复算的中心极限定理锚点。mini-batch SGD 也在重复抽小批数据：每批损失和批梯度会围绕全数据结果波动，批量越大，标准误通常越小。
反例。 “\(n=30\) 后原始数据会变正态”是错的；变得近似正态的是 \(\bar X\) 的抽样分布。便利抽样也不会因样本大而自动无偏；观测强相关或总体方差不存在时，上述经典形式同样不能直接套。
一句话总结。 总体分布描述个体，抽样分布描述统计量；检验统计量衡量本次结果离 \(H_0\) 中心有几个标准误。
黑板动作：左边画右偏的个体分布，右边画较窄的均值钟形曲线；在横轴标出“一个观测”和“30 个观测的均值”。
卡壳预案：学生问“30 是硬门槛吗？”答：不是；偏态越强、尾部越厚，通常需要更大样本，近似质量还要结合图形与领域知识检查。
核心概念三：p 值、显著性水平与 Bayes 反向条件（约 3 分钟）¶
直觉。 在 \(H_0\) 的钟形曲线上，把观测统计量放进去；越靠尾部，说明它在“没有变化”的世界里越少见。p 值就是从观测位置向更极端方向累积的尾部概率，不是 \(H_0\) 的可信度。
定义。 符号表：\(z\) — 标准化检验统计量，表示观测值距零假设中心多少个标准误，例如 \(z=2\)；\(Z\) — 零假设下服从标准正态分布的随机变量，例如 \(P(Z\ge2)\approx0.0228\)；\(p\) — p 值，在 \(H_0\) 为真时，得到至少与观测值一样极端结果的概率，例如双侧 \(z=2\) 时 \(p\approx0.0455\)；\(\alpha\) — 显著性水平，看数据前设定的第一类错误门槛，例如 \(\alpha=0.05\)。若 \(p\le\alpha\)，拒绝 \(H_0\)；若 \(p>\alpha\)，只能“不拒绝 \(H_0\)”。
例子。 双侧检验观察到 \(z=2\)，两边都算“极端”，所以
在 \(\alpha=0.05\) 下拒绝 \(H_0\)。若事先写的是右侧备择，p 值约为 0.0228；不能看完数据才把双侧改成单侧。
好，这里顺手把 p 值和 Bayes 公式分开。对事件 \(A,B\)，\(P(A\mid B)\) — 在 \(B\) 已发生时 \(A\) 的条件概率，例如 \(P(患病\mid阳性)=0.154\)。Bayes 公式是
单事件数字例：患病率 1%，灵敏度 90%，假阳性率 5%，则
多条件数字例：工厂 A、B、C 供货占比为 50%、30%、20%，次品率为 1%、2%、4%。这里 \(C\) — “来自工厂 C”事件，例如先验概率 \(P(C)=0.20\)；\(D\) — “抽到次品”事件，例如 \(P(D\mid C)=0.04\)，则
反例。 把 \(p=0.03\) 读成“\(H_0\) 为真的概率是 3%”颠倒了条件：p 值是 \(P(数据至少这么极端\mid H_0)\)，不是 \(P(H_0\mid 数据)\)。后一个问题需要先验概率和 Bayes 更新；频率学派检验本身没有提供它。
一句话总结。 p 值问“若 \(H_0\) 真，数据有多反常”；Bayes 问“看到数据后，假设有多可信”，两个条件方向不能互换。
黑板动作：画双侧正态曲线，把 \(z=\pm2\) 外侧涂色；旁边画“先验 → 似然 → 后验”的两层概率树。
卡壳预案：学生问“p 越小，效应越大吗？”答：不一定；p 值还受样本量和噪声影响，效应大小要另报差值与区间。
暂停思考 · 第二次
某检验给出 \(p=0.08\)、\(\alpha=0.05\)。能否说“两个方案完全一样”？不能；只能说现有样本不足以拒绝“无差异”，可能是真没差，也可能是样本太小。
核心概念四：两类错误与功效（约 2 分钟）¶
直觉。 把检验当成烟雾报警器：没着火却响，是假阳性；真着火却不响，是假阴性。门槛调得越敏感，前一种错误通常越多，后一种越少。
定义。 本节希腊字母口径固定：\(\alpha\) 是第一类错误概率，即 \(H_0\) 真实却被拒绝，例如 \(\alpha=0.05\)；\(\beta\) — 第二类错误概率，即 \(H_0\) 错误却未被拒绝，例如 \(\beta=0.20\)；\(1-\beta\) — 检验功效，正确发现真实效应的概率，例如 \(1-0.20=0.80\)。\(\alpha\) 是设定值，\(\beta\) 不是：它还取决于真实效应、样本量、噪声与检验设计。
例子。 若在 \(H_0\) 确实成立时独立重复 10,000 次、每次都按 \(\alpha=0.05\) 检验，长期平均约有 \(10{,}000\times0.05=500\) 次假阳性。若某个真实效应下 \(\beta=0.20\)，则功效为 80%，重复 100 次同类实验，平均约 80 次能检出该效应。
反例。 “把 \(\alpha\) 从 0.05 降到 0.001，检验就全面更好”不成立。在样本量与效应固定时，拒绝域缩小通常会抬高 \(\beta\)。增加样本量则能缩小标准误，常常在维持 \(\alpha\) 的同时提高功效。
一句话总结。 \(\alpha\) 管误报，\(\beta\) 管漏报，功效 \(1-\beta\) 管发现真实效应的能力。
黑板动作：画“真实情况 × 检验决策”的 \(2\times2\) 表，把第一类错误放在“真 \(H_0\)/拒绝”，第二类错误放在“假 \(H_0\)/不拒绝”。
卡壳预案：学生问“为什么不让两种错误都为零？”答：有限且有噪声的样本无法保证；要同时改善，通常需要更多数据或更低噪声。
核心概念五：选对检验，也别把区间混用（约 2.5 分钟）¶
直觉。 连续均值、配对前后、三组均值和分类计数不是同一种数据问题。检验像量具：问题类型和假设不匹配，算得再精确也回答错题。
定义。 已知总体标准差、检验一个均值可用 z 检验；总体标准差未知时用 t 检验。独立两组用独立样本 t 检验，同一批对象前后测量用配对 t 检验；三组及以上均值先用 ANOVA；分类频数与期望频数比较用卡方检验。严重偏态或离群点使参数假设不合适时，可考虑 Mann–Whitney U、Wilcoxon 符号秩或 Kruskal–Wallis，但仍要检查各自前提。
符号表：\(t\) — t 检验统计量，例如 \(t=2\)；\(s\) — 样本标准差，例如 \(s=4\)；\(\mu_0\) — 零假设指定的总体均值，例如 \(\mu_0=50\)；\(df\) — 自由度，单样本 \(n=16\) 时 \(df=15\)；\(\chi^2\) — 卡方统计量，例如 1.2；\(O_i\) — 第 \(i\) 类观测频数，例如 \(O_1=12\)；\(E_i\) — 第 \(i\) 类期望频数，这里不是期望算子，例如 \(E_1=15\)；\(F\) — ANOVA 的组间方差与组内方差之比，例如 \(12/3=4\)。
例子。 单样本中 \(n=16,\bar x=52,\mu_0=50,s=4\)，总体标准差未知：
分类计数观察到 \((12,18)\)、期望为 \((15,15)\)，则 \(\chi^2=9/15+9/15=1.2\)。三组比较若组间方差为 12、组内方差为 3，则 \(F=12/3=4\)；ANOVA 显著只说明至少一组均值不同，还需事后比较定位。
区间也要分清。置信区间估计固定总体参数，预测区间覆盖未来单个观测，后者还包含个体波动，通常更宽。以 \(\bar x=10.3,\sigma=0.9,n=36\) 为例，95% 均值置信区间约为 \([10.006,10.594]\)，未来一颗螺栓的 95% 预测区间约为 \([8.51,12.09]\)。在 Bayesian ML 中，95% 可信区间则允许在给定模型与先验下说“参数的后验概率有 95% 落在区间内”；这不是频率学派置信区间的解释。
反例。 三组均值两两做三次、每次 \(\alpha=0.05\) 的 t 检验，至少一次假阳性的概率可达 \(1-0.95^3\approx14.3\%\)，不是 5%；应先用 ANOVA 或做多重比较校正。把均值置信区间拿去覆盖下一颗螺栓也会严重过窄，因为它漏掉了个体方差。
一句话总结。 检验由数据结构和问题决定；置信区间估参数，预测区间管新观测，可信区间描述贝叶斯后验。
黑板动作：画一棵选择树：“均值还是计数 → 一组/两组/多组 → 独立还是配对 → 标准差已知吗”；树下画窄 CI 与宽 PI。
卡壳预案：学生问“非正态就一定不能用 t 检验吗？”答：不一定；t 检验对轻度偏离较稳健，还要看样本量、离群点、独立性与组间方差。
暂停思考 · 第三次
同一批 20 名用户分别试旧界面和新界面，比较完成时间，应该用独立双样本 t 检验还是配对 t 检验？用配对 t 检验，因为每个新界面观测都能和同一个人的旧界面观测配成一对。
一个走完全程的例子（约 2.5 分钟）¶
某工厂声称螺栓平均长度为 10 cm。随机抽取 36 颗，得到 \(\bar x=10.3\) cm；已知总体标准差 \(\sigma=0.9\) cm。我们把整条流程走完。
第 1 步，事先立假设与门槛。 \(H_0:\mu=10\)，\(H_1:\mu\ne10\)，取 \(\alpha=0.05\)。这是双侧问题；不能看见样本偏长后再改成右侧。
第 2 步，确定抽样分布。 随机独立抽样、\(\sigma\) 已知且 \(n=36\)，用 z 检验。在 \(H_0\) 下，\(\bar X\) 近似以 10 为中心，标准误为
第 3 步，把距离标准化。
这表示样本均值比零假设中心高 2 个标准误。双侧 p 值为 \(2P(Z\ge2)\approx0.0455\)；概率三公理保证两侧互斥尾部可相加，且总概率不超过 1。
第 4 步，作决策。 因为 \(0.0455<0.05\)，拒绝 \(H_0\)。规范结论是：“有统计证据表明总体平均长度不等于 10 cm。”不要说“已经证明机器一定偏移”。若 \(H_0\) 其实为真，这次拒绝就是第一类错误；长期风险由 5% 门槛控制。
第 5 步，补上决策之外的信息。 均值的 95% 置信区间为 \(10.3\pm1.96\times0.15=[10.006,10.594]\)，刚好不含 10，与双侧检验结论一致；预测下一颗螺栓则要用更宽的预测区间。若另有先验“机器偏移概率 10%”，且检验功效 80%、假阳性率 5%，这里 \(P(偏移\mid显著)\) — 已观察到显著结果后机器偏移的后验概率，代入数字得到
看到了吗？即使 \(p\approx0.046\)，带入这个先验后的后验概率也只是 64%；p 值从来不是零假设的后验概率。
黑板动作：从 \(H_0/H_1\) 开始向下画五格流程，依次填入 \(SE=0.15\)、\(z=2\)、\(p=0.0455\)、拒绝、CI；最后把 Bayes 更新画在旁支。
卡壳预案：学生问“p 值只比 0.05 小一点，结论可靠吗？”答：它是临界证据，应同时报告效应量、区间、样本设计，并通过复现实验积累证据。
易错点回头看（约 80 秒）¶
很多人以为 \(p=0.03\) 表示“\(H_0\) 有 3% 概率为真”，其实是在 \(H_0\) 为真时，得到至少这么极端数据的概率为 3%，因为 p 值的条件方向是 \(P(数据\mid H_0)\)，不是 \(P(H_0\mid 数据)\)。
很多人以为中心极限定理会让 \(n=30\) 个原始观测变成正态，其实是重复抽样所得的样本均值分布趋近正态，因为总体分布描述个体，抽样分布描述统计量，二者不是同一个随机对象。
很多人以为95% 均值置信区间也能覆盖 95% 的未来个体，其实是未来个体要用预测区间，因为预测还要加上个体自身的波动，所以通常远宽于均值置信区间。
与下节的钩子（约 30 秒）¶
假设检验只给了一个二元动作：拒绝，或不拒绝。可产品真正关心的往往是：提升到底有多大？区间多宽？样本还要加多少？
下一节 §05 会回答这些问题，并把频率学派置信区间、功效分析与 Bayesian ML 的可信区间摆在同一张图里。另有一块 ⭐ 进阶（看不懂可跳，考试不考）：Fisher 信息矩阵如何用似然曲率刻画参数可估计程度，它可以看作 Hessian 在统计问题中的对应物。
留一个问题：同样得到“显著”，提升 0.1% 和提升 10% 对业务意味着一样吗？