微调数据规模估算器

本地处理

样本条数

每条平均 token 数

训练轮数 epoch

批大小 batch size

梯度累积步数

总训练步数

每轮步数

处理总 token

等效批大小

训练轮数	总步数	处理总 token

计算式
等效批大小 = batch size × 梯度累积步数
每轮步数 = ceil(样本条数 ÷ 等效批大小)
总训练步数 = ceil(样本条数 × epoch ÷ 等效批大小)
处理总 token = 样本条数 × 平均 token × epoch

显存不够时用梯度累积来「以小凑大」：批大小 4 加累积 8，等效批大小就是 32，梯度效果接近真批 32，只是训练变慢。注意等效批大小改变会影响最优学习率，调整时建议同步缩放学习率。

关于本工具

准备微调时，最先要确认的是「这点数据够不够、要跑多少步、大概花多少算力」。步数估算错了，要么训不够（欠拟合），要么白烧算力（过拟合）。

填写样本条数、每条平均 token 数（含指令与回答）、训练轮数与批参数，工具给出每轮步数、总步数与总 token 处理量。总 token 是估算训练成本与耗时的关键输入。

5000 条数据算多还是少？对风格与格式类微调（让模型学会特定输出格式）通常够用；对注入新知识的场景偏少，容易过拟合。经验上指令微调 1000 到 10000 条是常见区间，质量比数量更重要。

epoch 该设几轮？小数据集常用 2 到 3 轮；数据量大时 1 轮即可。轮数过多会记住训练集、泛化变差，建议配合验证集损失曲线早停。

中文约 1 字 ≈ 1.5 token、英文约 1 字符 ≈ 0.25 token；把样本的指令与回答加总后取平均填入即可。

显存不够时用小 batch 前向、累积多步再更新，等效放大批大小；填入累积步数后工具按等效批大小计算步数。

把它填入本站「模型训练时间估算器」的单步耗时环节，即可得到墙钟时间与算力成本的完整链路。