文本去重

本地处理

输入文本（每行一条）

忽略大小写去除空行排序

功能说明

文本去重工具是一款高效的在线文本处理应用，可快速去除文本中的重复行，支持多种去重模式和排序选项。

本工具采用优化的哈希算法，即使处理数万行文本也能在毫秒级完成。支持忽略大小写、保留首次出现的行、去重后排序等功能，满足各种复杂的去重需求。

适用于清理数据表格、去除重复日志、整理词库、清洗采集数据等场景。

1. 在文本框中粘贴需要去重的文本内容。

2. 选择去重选项：是否忽略大小写、是否忽略空行、去重后排序方式。

3. 点击"开始去重"按钮，系统将自动处理并显示结果。

4. 查看去重前后的行数对比，确认后可复制结果。

默认情况下，两行内容完全相同才视为重复。如开启"忽略大小写"，则"Hello"和"hello"会被视为重复。如开启"忽略空格"，则会先去除首尾空格再比较。

默认保留首次出现的行。如果勾选"保留最后出现"，则会保留最后一次出现的行。

支持按行去重与忽略空白差异等选项；列表类数据逐行去重，长文档去重建议按段落或句子粒度，粒度太粗会漏，太细会误伤正常重复用词。

默认算，可开启「忽略大小写」「压缩空白」后再比；做邮箱、编码类清洗时建议开启，能多清掉一批仅因书写差异造成的假重复。

保留首次出现顺序的模式不会打乱原序；选排序去重则会按字典序重排，做词条整理用保序，做数据归一化用排序，按需选择。