文本清洗与批量整理

22 款工具 · 去重、排序、替换、格式规范一次处理完 · 全部免费、打开即用

从表格或聊天记录里粘出来的文本,九成需要先清洗才能用

最耗时间的文本工作不是写,而是整理:几百行名单要去重、混乱的标点要统一、从 PDF 复制出来的文字夹杂着换行和全角空格、中英文之间该有空格的地方一片空白。这些事手工做既慢又容易漏。

这套合集按去重排序、替换清洗、格式规范、拆分提取、统计脱敏五个环节排列。处理顺序很重要——先去重再排序能少算一半,先规范标点再统计才准。

按流程走一遍

直接看全部工具 →

1去重与排序

去重前先想清楚「什么算重复」:完全一致、忽略大小写、还是忽略首尾空格。名单排序要注意中文按拼音还是笔画,两者结果不同。大批量数据先用去重压掉重复项,后续处理的量会明显下降。

2替换与脏字符清理

从网页或 PDF 复制来的文本常带三类脏字符:不可见字符(零宽空格、BOM)、乱码(编码错误导致的方块字)、以及混杂的引号样式。乱码能不能修复取决于原文是否已丢失信息——已经变成问号的字符无法还原。

3格式规范化

中英文之间加不加空格没有统一标准,但同一篇文档内要一致。中文标点用全角、英文用半角是最常见的规范。缩进和换行符(CRLF 与 LF)在不同系统间复制时容易混乱,统一之后程序处理才不会出错。

4拆分、提取与编号

长文本按字数或段落切块,用于分批发文或分段翻译。从混杂文本里提取手机号、邮箱要用正则口径,注意号段和域名后缀的边界。列切割适合处理从表格粘出来的、以制表符分隔的数据。行号工具在代码评审和条款引用时最实用。

5统计与脱敏

词频统计能快速看出文本主题,但要先去掉停用词,否则「的」「了」永远排第一。字符信息查询用于判断一个看起来一样的字符是不是同一个 Unicode 码位。脱敏打码要保留可核对的部分(如后四位),全遮等于失去核对能力。

本合集全部 22 款工具

全部工具总览 →
文本工具
文本去重

文本去重 - 去除文本重复行,支持忽略空行、大小写和排序

文本工具
文本排序

文本排序 - 支持升序、降序、随机打乱,可按字母、音序、长度排序

文本工具
姓名排序工具

在线姓名排序工具,支持按拼音首字母、字数、输入顺序与随机打乱四种方式排序,每行一个姓名即可

文本工具
文本替换

文本替换 - 批量查找替换,支持正则表达式和大小写选项

文本工具
去除标点符号

一键清除文本中的所有标点符号,适合数据清洗和文本分析预处理。

文本工具
引号/符号统一

智能引号、中英文标点、全角半角互转

文本工具
Unicode归一化与不可见字符清理

Unicode 归一化与不可见字符清理:检测文本里的零宽字符、不换行空格、方向控制符与控制字符,列出每个可疑字符的位置与码点,支持 NFC、NFD、NFKC、NFKD 四种归一化形式并一键清理。用于排查排版错乱、等号比较失败与复制粘贴带来的隐藏字符。

文本工具
乱码修复工具

在线尝试修复文本乱码,针对编码错配、URL 编码残留、HTML 实体未解析与 Unicode 转义等常见情况自动生成多个还原候选,并按中文占比评估可信度。

文本工具
文本格式化

文本格式化 - 智能清理文本格式,统一全角半角、修正标点、规范段落

文本工具
中英混排空格与段落规范化

中英混排排版规范工具:自动在中英文、中文与数字之间补空格,统一省略号与破折号,压缩连续空格与空行,清理行尾空白与段首缩进,让排版更整齐易读。只处理空格与段落间距,不做引号和全半角标点转换。纯浏览器本地处理。

文本工具
中文标点规范检查

中文标点规范检查工具:依据国家标准 GB/T 15834-2011《标点符号用法》,逐条排查并列书名号之间的顿号、省略号形式、省略号与「等」同用、概数误用顿号、序次语标点、括号内末尾标点等高频差错,给出问题位置与正确写法。纯浏览器本地处理。

文本工具
缩进转换

Tab与空格互转,统一代码缩进风格

文本工具
换行符转换

LF与CRLF互转,统一文本换行符格式

文本工具
长文本分块工具

在线把长文本按指定长度切分成多块,支持按段落、按句子或硬切三种模式,自动避免句子被截断,适用于短信分条、微博拆分、字幕分段与 RAG 文档预处理。

文本工具
批量提取器

从文本中提取邮箱、手机号、URL、IP地址

文本工具
列切割

按分隔符(逗号/Tab/空格等)将文本按列拆分,提取指定列,支持去重、排序、多列合并

文本工具
行号工具

为文本添加或删除行号,支持自定义格式

文本工具
文本批量填充与插入工具

在线批量给文本每行加前缀、后缀、序号,或把内容填充到指定长度,适合批量处理单号、名单、代码注释

文本工具
词频统计

统计文本中每个词/字出现次数,支持排序

文本工具
字符信息查询工具

在线查询单个字符的完整技术信息,包括 Unicode 码点、十进制值、UTF-8 字节序列、UTF-16 编码单元、HTML 实体、JS 转义写法与所属字符区块。

文本工具
文本打码

将文本中指定范围的文字替换为*号,保护敏感信息如手机号、身份证、银行卡等。

文本工具
倒序文本

将文本内容反向排列,支持字符倒序、单词倒序、行倒序三种模式。

关于「文本清洗与批量整理」的常见问题

去重应该按行还是按单元格?

按行去重适合名单、URL 列表这类一行一条的数据;按单元格适合从表格粘出来、多个字段挤在一行的情况。选错会出现「整行不重复但字段重复」的漏网。

乱码能完全修复吗?

取决于乱码类型。编码错位(如 UTF-8 被按 GBK 解读)通常可以还原;但如果转换过程中字符已经变成问号或方块,原始信息已丢失,无法恢复。发现乱码应当找回源文件,而不是在乱码上修补。

中英文之间到底要不要加空格?

没有强制标准,但中文排版惯例倾向于加,视觉上更透气。关键是全文一致:同一篇文档里一半加一半不加,比统一不加更难看。批量处理时注意不要把数字和小数点也拆开。

词频统计出来的结果没意义?

通常是没去停用词。中文的「的、了、是、在」,英文的 the、a、of 会占据前列。另外同义词未合并也会分散计数,比如「电脑」和「计算机」。统计前先明确要不要归一化。

打码要保留多少位?

手机号保留后四位、身份证保留前六后四,是兼顾隐私与可核对的做法。全遮之后无法验证「是不是同一个人」,反而增加沟通成本。涉及证件号等敏感信息时,切勿把未打码的原文发到公开渠道。

内容标识:本页内容由人工智能辅助生成,并经人工核对与编辑。详见 人工智能生成内容标识说明。