-
估算 Token 数
-
总字符数
-
汉字数
-
英文单词数
-
| 上下文窗口 | 占用比例 | 剩余可容纳 |
|---|
估算规则
Token ≈ 汉字 × 1.5 + 中文标点 × 1 + 英文单词 × 1.33 + 数字串每 3 位 × 1 + 其他符号 × 0.5
参考基准:英文约 4 个字符 ≈ 1 token、约 0.75 个单词 ≈ 1 token
Token ≈ 汉字 × 1.5 + 中文标点 × 1 + 英文单词 × 1.33 + 数字串每 3 位 × 1 + 其他符号 × 0.5
参考基准:英文约 4 个字符 ≈ 1 token、约 0.75 个单词 ≈ 1 token
不同厂商的分词器(BPE、SentencePiece 等)切分方式不同,同一段文字在 GPT、Claude、通义、文心上的 Token 数会有 ±20% 的差异。本工具给出的是量级估算,用于预算与长度规划;涉及精确计费请以各厂商官方 Tokenizer 为准。
关于本工具
大模型的计费与上下文长度都按 Token 而非字符计算。中文里 1 个汉字通常对应 1~2 个 Token,明显比英文更"贵",因此提前估算 Token 数有助于控制成本、避免超出上下文窗口。
如何使用
把要发送的文本粘贴进输入框,工具会实时统计汉字数、英文单词数并给出 Token 估算值,同时列出在 8K / 32K / 128K / 200K 等常见窗口下的占用比例。
常见问题
为什么中文的 Token 数比字符数还多?因为主流分词器以英文语料为主训练,一个汉字往往被切成 1~2 个 Token,而 4 个英文字母才占 1 个 Token。普遍经验是中文的「字符→Token」比约为 1 : 1.5。
代码和 JSON 怎么算?符号与空格会被切得很碎,通常 Token 数接近甚至略高于字符数。若你要发送大段 JSON,建议先压缩掉多余空白。
只算输入就够了吗?不够。多轮对话中,历史消息每一轮都会重新计入输入;输出 Token 通常单价更高,规划预算时要一并考虑。
你可能还想问
中文和英文的 token 消耗差多少?
中文一个汉字常占 1-2 个 token,英文约 0.75 词一个 token;同等内容中文往往更费 token,估成本时不要直接按字数折算英文经验值。
估算结果和实际计费一致吗?
有偏差:各家分词器不同,工具用通用规则近似;预算敏感的场景以模型返回的 usage 字段实测值为准,估算值留 15% 余量。
标点、空格也计 token 吗?
计。空格、换行、标点都会被分词器计入;从网页复制文本时先清理多余空行,长对话定期总结压缩,都能实打实省 token。
速查在线工具箱