URL批量规范化去重

  • 打赏支持
  • 分享链接
  • 反馈建议
规范化口径与 canonical 一致:同一页面多种写法归成一种,再去重。追踪参数默认清掉 utm_* / fbclid / spm 等,可自行追加。
输入条数0
规范化后0
去重掉0

功能说明

同一个页面为什么会有好几个网址

大小写不同的域名、带不带默认端口、参数顺序不同、挂着追踪参数、末尾斜杠有无——这些写法都指向同一个页面,但对统计系统、缓存和搜索引擎来说就是不同的 URL。结果就是:同一个页面的数据被拆散到几行里,CDN 缓存命中率下降,搜索引擎把权重分摊到重复地址上。

规范化口径

  • 协议与主机:主机名统一小写;http 可升级为 https(升级前确认该地址 https 可访问)。
  • 端口:http 的 80 与 https 的 443 是默认端口,写出来属于噪音,统一去掉。
  • 追踪参数:utm_source、utm_medium、utm_campaign、utm_content、utm_term、fbclid、gclid、spm 等只服务归因,不代表页面内容,统一清除。业务参数(id、page、sku)绝不能动。
  • 参数排序:query 按参数名排序后,id=2&page=1 与 page=1&id=2 归成同一种写法。
  • fragment:# 后的锚点不参与页面内容判定,统一去除。

与 canonical 的关系

本工具做的是数据清洗层面的归一,页面层面的归一靠 canonical 标签。两件事要用同一套口径:如果 sitemap 与 canonical 各归各的,等于白做。先用本工具把历史 URL 列表洗干净,再对照站内 canonical 规则核查是否一致。

使用步骤

1. 在「参数按名排序」中填写需要处理的数值。

2. 在「URL 列表(每行一个)」中粘贴要处理的内容。

3. 点击「规范化」按钮执行。

4. 在结果区核对输出结果,需要留档时手动复制。

常见问题

URL批量规范化去重能做什么?

批量规范化 URL 列表:小写域名、去默认端口、去 utm 与常见追踪参数、query 按名排序、去尾斜杠、http 升 https,规范化后自动去重并统计变化。全部处理在浏览器本地完成,无需注册、无需安装。

计算结果的依据是什么?

按页面标注的公式与通用口径计算,页面上会给出取值说明。不同机构、不同地区可能存在细则差异,结果用于参考与快速估算。

结果和实际数值有出入怎么办?

先核对单位与口径(是否含税、是否按自然月、是否四舍五入),大部分偏差来自这里。确认输入无误仍有差异,说明该场景存在地方性或行业性规则。

填的数值会被保存吗?

不会。所有输入只在当前页面内存中参与计算,不上传、不留存,刷新页面即清空。

你可能还想问

这个工具需要联网才能用吗?

第一次打开页面需要联网加载,之后的计算与处理都在本地完成,断网也能继续操作。数据不经过服务器,也不受网络波动影响。

处理结果怎么保存或分享?

结果区支持一键复制,也可按页面提供的下载入口保存到本地;页面不做云端存储,关掉浏览器后需要重新处理。

相关工具

站长工具
Canonical规范链接生成器

在线生成 canonical 规范链接标签,支持去除或保留查询参数、统一协议与 www、处理末尾斜杠,避免重复内容影响 SEO

站长工具
网址批量生成工具

在线按规则批量生成网址列表,支持自定义前缀、数字区间、补零位数与后缀,一键导出用于爬虫或批量测试

站长工具
URL 参数解析器

输入任意URL,自动拆分协议、域名、端口、路径、参数、锚点,支持批量解析、参数删除、URL编码解码和CSV导出

站长工具
HTTPS混合内容扫描清单

在线扫描页面源码或链接列表里的 http:// 明文资源,按主动型与被动型分类,给出被拦截风险清单与一键升级结果

站长工具
重定向链与循环检测器

在线检测 URL 重定向链条的跳数、跨域跳转与循环死循环,输出最终落地 URL 与逐跳明细

站长工具
Nginx location匹配模拟

粘贴 nginx 的 location 配置块,输入任意 URL 即按 nginx 真实优先级模拟命中结果:精确 =、^~ 前缀、正则顺序、普通前缀最长匹配,支持多 URL 批量。

站长工具
Sitemap 校验与结构检查

在线 Sitemap 校验工具:粘贴 sitemap.xml 内容即可检查 XML 结构、条目数量、URL 重复、协议与域名一致性、URL 长度、查询参数、lastmod 格式与未来日期、changefreq 与 priority 合法性,并输出站点结构树预览。纯浏览器本地解析,站点数据不上传。

站长工具
OG标签预览器

OG标签预览器 - 输入任意网页URL,自动抓取Open Graph标签,生成微博、微信朋友圈、Twitter Card、LinkedIn等平台的分享卡片预览