RAG分块数量估算器

功能说明

做 RAG 知识库时，第一个工程决策就是「怎么切」：切得太碎语义不完整，切得太大检索精度下降，而切分方案一旦确定，向量条数、存储成本与检索耗时基本就被锁定。本工具在动手前把规模算清楚。

填写文档总字数、分块大小与块间重叠，工具算出滑窗步长、最终块数与 token 规模。token 估算按语言区分口径：中文约 1 字符 ≈ 1.5 token，英文约 1 字符 ≈ 0.25 token。表格还会给出几组常见参数下的块数对比，便于权衡。

RAG 分块数量估算器使用步骤

1. 选择文档语言（用于 token 估算口径）；
2. 填写文档总字数（字符）；
3. 设定分块大小（字符）与块间重叠（字符），注意重叠必须小于分块大小；
4. 查看滑窗步长、最终块数与 token 总量，并参考参数对比表权衡。

RAG 分块数量估算器适用场景

• 搭建知识库前估算向量库规模与嵌入成本；
• 对比不同分块大小对块数与检准的权衡；
• 向团队说明存储与检索开销，支撑技术选型。

常见问题

为什么块数比「总字数 ÷ 分块大小」多一些？

因为重叠让每个滑窗只前进「分块大小 − 重叠」的步长，同时首尾块的处理会带来额外一块，公式里的加一就是这个原因。

重叠必须小于分块大小吗？

必须。若重叠大于等于分块大小，滑窗步长为零或负数，切分无法推进——工具会对此报错提醒。

token 估算是精确值吗？

不是。不同模型 tokenizer 差异较大，工具按「中文 1 字符 ≈ 1.5 token、英文 ≈ 0.25 token」的经验口径估算，适合做数量级判断，预算请留余量。

相关工具

相关内容