速查在线工具箱A/B 测试显著了就能直接上线吗？
显著只说明「不太像随机波动」，不说明效应多大、会不会重复、值不值得上。
先把那个数字的含义说准：它表示「假设两组真的没有差异，观察到这么大差异的概率有多大」。所以它既不是「新版本更好的概率」，也不是「结果可复现的概率」，更不告诉你效应有多大。一个极小的差异在样本足够大时也能达到显著。
第二个必须警惕的是偷看。如果每天查看一次，并且在第一次出现显著时就停止实验，那实际的假阳性率会从设计时的百分之五膨胀到百分之二十到三十，因为随机的波动总会在某个时刻越过阈值。正确做法是事先算好样本量、跑满再分析；如果确实需要边跑边看，就要用为连续监控设计的序贯方法。
实验跑了三天，后台提示达到显著，运营同事已经在准备庆祝。这时候按下停止键，可能是整件事里最贵的一个决定。
显著性是个很有用的筛选器，但它不回答「要不要上线」。把几个前置参数和几个常见陷阱理清，结论才站得住。
1上线前必须预定的三个参数
没有这三个数，看到「显著」也不知道该不该信。
| 参数 | 含义 | 常用取值 |
|---|---|---|
| 基线转化率 | 当前版本的指标水平 | 由历史数据得出，越低需要的样本越多 |
| 最小可检测效应 | 值得为之行动的提升幅度 | 常取相对提升一成到两成 |
| 显著性水平与功效 | 容忍的假阳性率、检出真实效应的把握 | 分别常用百分之五与百分之八十 |
样本量随参数剧烈变化：同一基线，要检测的提升幅度减半，所需样本大约增至四倍。
2样本量参考（独立复算）
按显著性百分之五、功效百分之八十、双尾检验计算，每组所需人数如下。
| 基线 | 相对提升 | 每组样本（精确公式） | 每组样本（常用近似） |
|---|---|---|---|
| 1% | +20% | 42690 | 39600 |
| 2% | +20% | 21106 | 19600 |
| 5% | +20% | 8155 | 7600 |
| 10% | +20% | 3838 | 3600 |
| 5% | +10% | 31231 | 30400 |
| 4% | +10% | 39472 | 38400 |
两种口径本身就能差约一成，第三方对照表用的分位数取值又不统一，所以不同工具算出的样本量最多能差到两倍——看结论一定要连同参数一起看。
3五个把结果带偏的操作
这些错误非常普遍，且都能让结论失去意义。
- 偷看并提前停止
- 每天看、一显著就停，会把假阳性率抬到两三成。要么跑满预定样本量，要么用专门为连续监控设计的方法。
- 多重比较不加校正
- 同时测二十个指标，至少会有一个纯靠运气显得显著。要么指定唯一主指标，要么对阈值做校正。
- 样本比例失衡
- 计划五五分流却跑成明显偏离，说明分流环节有问题，这种结果应当直接作废，而不是继续分析。
- 事后切分维度
- 切几十个分段必然挖出「显著」的分组，分段结果只能当作下一轮实验的假设。
- 把统计显著当业务显著
- 样本足够大时很小的提升也能显著，但要问工程成本与维护成本是否值得。
相关疑问
显著到底代表什么意思？
它表示「假设两组真的没有差异，观察到当前这么大差异的概率小于设定阈值」。它不表示新版本更好的概率，不表示结果会重复出现，也不告诉你效应有多大。要判断幅度，应该看置信区间而不是只看那一个数字。
为什么不能一边跑一边看结果？
因为在固定样本量的设计下，反复查看会显著抬高假阳性率：随机波动总有某个时刻越过阈值。每天查看并把第一次显著当作停止信号，实际假阳性率可以到两三成，远高于设定的百分之五。需要用序贯检验或贝叶斯方法才允许连续监控。
样本量怎么估算？
先定三个参数：基线转化率、最小可检测效应、显著性水平与统计功效。代入两组比例检验的样本量公式即可。注意不同口径与不同分位数取值会带来可观差异，最好用同一套口径前后一致地计算。
实验结果和直觉相反怎么办？
先做质量检查：分流比例是否失衡、埋点是否重复或漏报、实验是否跑满完整周期、有没有引入其他改动。排除这些问题之后，与直觉相反的结果往往比符合直觉的更值得深挖——它可能揭示了此前没意识到的用户行为。
置信区间和显著性该看哪个？
两个都看，但置信区间信息量更大：它同时给出方向、幅度和不确定性。例如提升百分之八、区间从百分之二到百分之十四，说明效应为正且幅度不小；如果区间跨过零，就说明不显著。
继续看：相关问题与资料
全部问题解答 →内容说明：本页针对具体使用问题作答，方法步骤与数值由本站自行整理与复算，事实性内容以对应官方规范与文档为准。内容最后核对日期：2026-10-09。若发现错误，欢迎通过页脚反馈入口告知。