A/B测试显著性检验

本地处理

打赏支持
分享链接
反馈建议

p 值小于 0.05 表示"两组差异由随机波动造成的概率低于 5%"，通常视为显著。样本不足时，再大的差异也不可信。

A 组曝光量

A 组转化数

B 组曝光量

B 组转化数

显著性水平 α

统计功效

A 转化率(%)

B 转化率(%)

绝对提升(%)

z 值

p 值

每组所需样本

合并比例 p = (a+b) ÷ (na+nb)；标准误 SE = √(p(1−p)(1/na + 1/nb))；z = (pB − pA) ÷ SE；双侧 p 值 = 2 × (1 − Φ(|z|))。所需样本 n = (z_α/2 + z_β)² × (pA·qA + pB·qB) ÷ (pB − pA)²。

为什么"看起来涨了"往往不算数

A 组 1000 次曝光 50 个转化（5%），B 组 1000 次曝光 65 个转化（6.5%）——直觉上 B 明显更好。但统计检验告诉我们：这个差异有约 15% 的概率纯粹来自随机波动。也就是说，大约每 7 次这样的"提升"里，就有 1 次是错觉。

这正是 A/B 测试的核心价值：把"感觉有提升"翻译成"有 X% 的把握认为真的有提升"。

p 值与置信水平怎么读

p 值	结论	误判风险
< 0.01	极显著（99% 置信）	约 1% 的假阳性概率
0.01 – 0.05	显著（95% 置信）	可接受，业界常规门槛
0.05 – 0.10	边缘，需更多数据	不能据此下结论
> 0.10	不显著	差异很可能只是噪声

注意"不显著"≠"没有差异"，只等于"现有数据不足以证明有差异"。这时正确的动作是继续收集样本，而不是宣布实验失败，更不是"再跑两天看到显著就停"——后者是典型的 peeking 偏差，会系统性抬高假阳性率。

所需样本量的直觉

上例中，要可靠地检测出 5% → 6.5% 这个 1.5 个百分点的提升，每组大约需要 3800 个曝光（α=0.05、功效 80%）。这个数字有个残酷的规律：要检测的提升越小，所需样本越多，而且是平方级增长。

基准转化率	相对提升 10%	相对提升 20%	相对提升 50%
1%	约 156,000	约 39,000	约 7,000
5%	约 30,000	约 7,500	约 1,300
20%	约 6,400	约 1,600	约 280

这就是为什么低转化率场景（如 1% 的注册转化）做 A/B 测试极其昂贵——一个实验可能要几十万流量。务实做法是先做定性调研，把候选方案收敛到"预期提升 30% 以上"的少数几个，再做统计验证。

三种常见的实验错误

提前偷看并提前停止：一旦看到显著就停，会让假阳性率飙到 30% 以上。应当事先算好样本量，跑满为止。
多重比较不校正：一次测 20 个指标，按 p<0.05 判，几乎必然有 1 个"显著"。应对指标设主次，或做 Bonferroni 校正（阈值除以比较次数）。
流量分配不均或污染：同一用户在不同端命中不同组，会稀释效果。要保证分流键稳定（如用户 ID 哈希）。

你可能还想问

显著性水平怎么理解？

它表示在两组实际无差异时错误判定为有差异的概率上限；常用百分之五，越小越保守，所需样本量也越大。

样本量不够会怎样？

容易把随机波动当成真实差异，得出假阳性结论；也可能真实差异太小测不出，两种情况都应先算清所需样本再开跑。

看到显著就能上线吗？

还要看效应大小与实际业务价值、是否只对某分群有效、以及是否叠加了其他变化；统计显著不等于值得推广。