模型评测成本与时长估算器

本地处理

打赏支持
分享链接
反馈建议

评测成本很容易被低估：样本数 × 模型数 = 调用次数。500 道题对比 3 个模型就是 1500 次调用，而且输入侧往往很长（含题干、上下文、少样本示例），输入 token 经常是输出的好几倍。

评测样本数

对比模型数

每样本输入 token

每样本输出 token

价格参考

输入单价 ($/百万 token)

输出单价 ($/百万 token)

并发数

单次响应耗时 (秒)

美元汇率

总调用次数

总 token 数

总成本(美元)

作业耗时(小时)

模型	输入/输出单价	总成本	每样本成本

调用次数 = 样本数 × 模型数；总 token = 调用次数 × (输入 token + 输出 token)；成本 = 输入 token ÷ 1e6 × 输入单价 + 输出 token ÷ 1e6 × 输出单价；耗时 = 调用次数 ÷ 并发数 × 单次耗时。

评测是一项确定性支出

和生产环境的调用不同，评测的成本在开跑之前就能精确算出来——题目固定、提示词固定、输出长度可预估。这反而是个好处：可以先把预算算清楚，再决定评测集多大、比几个模型。

钱花在哪里

关键认知是输入侧更贵。评测一条样本时，输入往往包含题干、上下文材料、评分标准，甚至几轮少样本示例，动辄上千 token；而模型输出可能只有一两百 token。但输出单价通常是输入的 3–4 倍，两边经常打成平手。

环节	典型输入 token	说明
单题问答	200–500	最简单，成本最低
带上下文问答	2000–8000	RAG 类评测，输入侧迅速膨胀
少样本（5 例）	1500–3000	每个样本都重复带上示例，开销翻好几倍
Agent 多步任务	数万	每步都要重放历史，成本随步数平方增长

三种省钱做法

先小样本试跑：用 20–30 条样本跑通流程、确认 prompt 无误，再全量开跑。跑错一次全量重复的成本远高于试跑。
分级评测：先用便宜模型跑全量做粗筛，只对分差接近的样本用贵模型复核。
用批量接口：主流厂商的批量 API 统一五折、24 小时内出结果，评测这种非实时任务几乎没理由不用。

耗时也要提前算

评测耗时 = 调用次数 ÷ 并发数 × 单次耗时。1500 次调用、8 并发、每次 3 秒，约 9 分钟——看着不多，但如果样本换成 1 万条、模型换成 5 个，就是 5 万次调用、5 小时以上。这时候要么提并发，要么上批量接口。注意并发也不是越高越好：超过服务商的速率限制反而会触发大量重试，实际吞吐更低。

你可能还想问

评测成本由什么决定？

样本数 × 平均 token 数 × 单价，加上重复评测次数；同时输出型任务成本更高，评测前精简提示与样本能省下不少费用。

时长怎么估算？

总时长 ≈ 样本数 ÷ 并发数 × 单次响应时间；受接口限流与超时重试影响，实际时长常比理论值长，建议按并发上限的 70% 估算。

怎么控制评测预算？

先小样本试跑（如 5%-10%）验证提示与指标，再全量执行；对固定基线集建立版本快照，避免每次评测都重新跑全部历史样本。