模型路由分流收益估算器

本地处理

打赏支持
分享链接
反馈建议

真实业务里，六成以上的请求根本不需要最强的模型——分类、改写、格式化、简单问答，小模型都能处理。路由分流就是先让小模型判断「这题难不难」，简单的自己答，难的转给大模型。省钱的边界很清晰：分流省下的差价必须超过路由判断本身的开销。

日请求量

每请求输入 token

每请求输出 token

可分流比例（%）

大模型输入价（美元/百万 token）

大模型输出价（美元/百万 token）

小模型输入价（美元/百万 token）

小模型输出价（美元/百万 token）

路由判断输入 token

路由判断输出 token

原日成本

路由后日成本

日节省

盈亏平衡分流比

分流比例	日成本	日节省	月节省	节省比例

单请求成本 = 输入 token ÷ 1,000,000 × 输入单价 + 输出 token ÷ 1,000,000 × 输出单价。原日成本 = 日请求量 × 大模型单请求成本。路由后日成本 = 日请求量 × (1 − 分流比) × 大模型单请求成本 + 日请求量 × 分流比 × 小模型单请求成本 + 日请求量 × 路由判断成本。盈亏平衡分流比 = 路由判断成本 ÷ (大模型单请求成本 − 小模型单请求成本)。

为什么路由是最划算的降本手段

比起换模型、压缩提示词、做缓存，路由分流的优势在于它不牺牲能力：难的请求依然走最强模型，只有简单请求被降级。行业实践中，简单请求占比往往高达 50%–80%，因此这一步常常能砍掉三到五成的推理成本，且用户几乎无感。

三档常见做法

方式	怎么判断	优点	风险
规则路由	按意图、长度、关键词、是否带工具调用	零成本、可解释、延迟无影响	覆盖有限，新场景要手工维护
小模型裁判	让小模型给请求打「难度分」再决定	泛化好，可在线学习	本身有 token 开销与误判
级联回退	先答小模型，置信度低再升级	延迟最优，只对难题付费	需要置信度信号，实现更复杂

本工具默认按第二种（小模型裁判）建模——因为这是最容易量化成本的方式。而规则路由几乎没有边际成本，如果你能用规则覆盖大部分流量，把「路由判断 token」设为 0，就能看到纯收益的上限。

盈亏平衡点才是关键数字

很多人算到这里就停了，其实最重要的是那个平衡点：分流比例超过多少才真正开始赚钱。假设每个请求多花 0.0001 美元做判断，而大小模型单请求差价是 0.006 美元，那么只要分流超过 1.7% 就已经划算了——这也说明在差价足够大时，路由方案几乎稳赚。反过来，如果你选的两档模型价格很接近，平衡点可能高达 40%，这时就要谨慎评估。

别只看钱，还要看这两件事

质量回退：分流后小模型答错的请求，用户会重问一次——这一次的提问往往更长、更贵。真实节省要扣掉这部分「返工成本」。所以务必备好质量监控（人工抽检或自动评分），把误分流率压到 5% 以内。
延迟与复杂度：多一次模型调用的往返，首字延迟会增加 100–300 ms。如果产品对延迟敏感，「级联回退」比「小模型裁判」更合适，因为它不增加正常路径的耗时。

顺带一句经验：路由最容易踩的坑是把「长」当成「难」。输入 token 多的请求不一定难（比如把长文档翻译成中文，小模型做得很好），输入很短的请求也可能很难（比如需要多步推理的数学题）。判断逻辑要基于意图与任务类型，而不是单纯的长度阈值。

价格随模型迭代而变

本工具里的单价是可编辑的示例值，请按你实际选用的模型与最新报价填入。同一代里大模型与小模型的价差通常在 4 到 10 倍之间，这个倍数直接决定路由的收益空间。

你可能还想问

路由分流怎么省钱？

让简单请求走便宜的小模型、复杂请求才走大模型，在保证质量的前提下降低平均成本；平均单价下降幅度取决于流量结构。

怎么保证质量不下降？

设一个难度判定或置信度门槛，低置信度回退到大模型；并用评测集持续监控分流后的整体质量。

分流规则怎么定？

按任务类型、输入长度或历史表现分类，规则要简单可解释；规则过复杂难以维护，效果反而不稳。