评测样本量与置信区间计算器

为什么 100 条样本的结论不可信

假设真实准确率是 80%，你抽 100 条样本测试，结果可能是 76 条正确，也可能是 85 条——随机波动的标准差约为 √(0.8×0.2÷100) ≈ 4%。也就是说，即使模型没有变，重复抽样也能得到 76% 到 84% 的结果。用这样的数据去比较两个模型，几乎必然会得出错误结论。

两个方向的换算

• 由误差求样本量：想以 ±3% 的精度估计准确率，95% 置信水平下需要约 683 条样本；把精度收紧到 ±1%，样本量要涨到 6147 条——精度提高三倍，样本量要九倍。
• 由样本量求误差：手上只有 200 条样本时，误差范围会扩大到 ±5.5%，此时两个模型差距小于 8 个百分点都不能下结论。

这里有个容易被忽略的规律：样本量与误差的平方成反比。想要误差减半，样本量要翻四倍。所以「多测一点」的边际收益下降得非常快，先想清楚需要分辨多小的差距，再决定投入多少标注成本。

准确率接近 50% 时需要更多样本

公式里的 p × (1 − p) 在 p = 50% 时取最大值 0.25。这意味着当准确率在 50% 附近（例如二分类任务、或两个答案选一个的场景）时，需要的样本量是准确率 90% 时的两倍以上。做排序、判别类评测时要特别留意这一点。

常见问题

为什么实际需要的样本量还要更大

公式算的是「估计单个准确率」所需的样本量。如果你的目标是比较两个模型的差异并确认差异显著，需要的样本量通常是这个值的两倍以上（因为两个估计值都有误差，误差会叠加）。本工具给出的数值是单模型精度估计的下限，比较场景请按两倍准备。

评测集里有重复或相似样本怎么办

公式假设样本之间相互独立。如果评测集里存在大量同源问题（比如同一个文档派生的十几个问答对），实际有效样本量会小于名义样本量，置信区间会偏窄、过于乐观。处理办法是做去重与聚类，按「独立信息单元」而不是「题目条数」来计数。

你可能还想问

评测集要多少条样本才够？

取决于想分辨多大的效果差异：要分辨五个百分点量级的准确率差距，通常需要数百条样本才具统计显著；差异越小所需样本越多，可按目标检验力反推。

置信区间是怎么来的？

常见做法是把每条样本对错视作伯努利试验，用正态近似或 Wilson 区间给出比例的真值范围；样本越少区间越宽，结论的不确定度越大。

五十条样本能下结论吗？

只能发现非常明显的差异，误差范围常达正负十几个百分点；小样本结论适合做方向性判断，不宜用于上线决策，建议扩到数百条再复测。

相关工具

相关内容