速查在线工具箱AI 评测只跑几十条，结论能信吗？
比例型指标的误差随样本量的平方根缩小，几十条跑出来的差异，多数落在噪声里。
先看误差公式：比例型指标的标准误是 √(p(1−p)/n)，它随样本量的平方根缩小。想把误差减半，样本量要变成四倍。所以几十条样本给出的置信区间通常会宽到横跨零点，任何「涨了」「跌了」的结论都还在区间之内。
再看怎么才算看得出差异。要检出某个绝对差异 δ，每个变体大约需要 16·p(1−p)/δ² 条样本，这个 16 来自 95% 置信、80% 功效下的 (1.96+0.84)² × 2。基线 10% 想稳定看出正负 2 个百分点，需要约 3600 条；基线 5% 想看出 1 个百分点，要两万多条。
评测集是抽样，抽样就有误差。很多人看评测只看两个数字谁大，忽略了这两个数字各自都带着一个区间——区间重叠的时候，谁大谁小其实说明不了什么。
更重要的是，不显著是一个很容易被误读的结论。它只说明按现有样本量没有看出差异，可能是真的没有差异，也可能是样本不够、差异被噪声盖住了。这两种情况的处理方式完全相反。
1误差有多大，先算出来
不需要统计学背景，看几个常见基线就够了。
| 基线转化率 | 想检出的差异 | 每组大约需要 |
|---|---|---|
| 10% | 正负 2 个百分点 | 约 3,600 条 |
| 5% | 正负 2 个百分点 | 约 6,200 条 |
| 5% | 正负 1 个百分点 | 约 23,000 条 |
| 2% | 正负 0.2 个百分点 | 约 8 万条 |
规律很清楚：基线越低、想检出的差异越小，需要的样本量涨得越快。所谓小差异，本身就非常贵。
2为什么是平方根的关系
三个量之间的连锁，决定了样本量永远比想象中大。
- 标准误按 n 的平方根缩小
- 样本量翻四倍，误差才减半；翻一倍只能把误差压到七成左右。
- 判定门槛按误差的倍数算
- 判决差异是否显著，看的是「差异除以合并标准误」够不够大。误差不降下来，差异就被埋住。
- 功效是另一个方向的门槛
- 只看显著不够。要保证真有差异时能稳定检出，就得再为功效留出余量，样本量还要再涨一截。
- 反复偷看会放大假阳
- 边跑边看、看到显著就停，实际假阳性率会远高于名义的 5%。样本量要在开跑前定好。
所以顺序是：先定基线、定最小可检测差异、定置信与功效，算出每个变体需要多少条，再决定要不要做这个实验。
3几十条样本能做什么，不能做什么
小样本也不是完全没用，只是用途不同。
| 用途 | 几十条够不够 | 说明 |
|---|---|---|
| 发现明显的崩坏 | 够 | 输出乱码、拒答、格式全错这类问题，几十条就能看出来 |
| 比较两个相近的方案 | 不够 | 几分之差落在噪声里，排名会随换一批样本而翻转 |
| 给出精确定量结论 | 不够 | 区间太宽，写进报告会被高估其确定性 |
| 做发布前的回归检查 | 部分够 | 适合当门禁：只要不掉破底线就放行，而不是比谁更高 |
一句话：小样本适合找茬，不适合排名。
4把评测做得可信一些
不一定要把样本量堆到几万，但方法要对。
- 报告区间，不只报告点估计
- 给出置信区间，比自己算一个百分数更有信息量，也自然提醒读者结论的不确定性。
- 固定评测集并留出回归集
- 每次都换题，等于每次都重新抽样，趋势就不可比了。
- 配对比较能省样本
- 同一批题下比较两个方案的逐题结果，通常比两组独立抽样更敏感，需要的样本更少。
- 把结论写到粒度上
- 整体没差异，不代表某一类没差异。按切片分开看，往往能发现局部信号，也更容易解释。
如果一定要用小样本，就把不确定性明明白白写出来，而不是用一个小数位很多的数字假装精确。
顺着这个问题往下用
全部工具总览 →相关疑问
样本量不够时，多跑几轮平均一下行不行？
要看是哪种不够。如果每轮都换题，平均不会降低抽样误差；如果同一批题多次运行，减少的是运行随机性（比如采样温度带来的抖动），不能替代样本量。
用大模型当裁判，是不是就不用担心样本量了？
不是。裁判模型会引入自己的偏差和噪声，样本量的问题仍然存在，只是误差来源多了一层。稳妥的做法是抽样人工复核裁判的判定质量。
为什么提示不显著时不能直接下结论说没用？
因为不显著有两种可能：真的没差异，或者样本不够看不出来。要区分它们，需要看置信区间的宽度，以及实验当初是按多大的差异设计的。
评测集越大越好吗？
不是无脑越大越好。样本量大到一定程度后，极小的差异也会被判为显著，但那个差异在业务上没有意义。所以样本量要按值得关心的最小差异来定，而不是尽可能大。
继续看：相关问题与资料
全部问题解答 →内容说明：本页针对具体使用问题作答，方法步骤与数值由本站自行整理与复算，事实性内容以对应官方规范与文档为准。内容最后核对日期：2026-10-09。若发现错误，欢迎通过页脚反馈入口告知。