robots与sitemap交叉检查

  • 打赏支持
  • 分享链接
  • 反馈建议
站点地图里的地址若被 robots 拦截,搜索引擎会丢弃而不收录——这是「sitemap 提交了却不收录」最常见的原因之一。匹配模拟 Google 的路径前缀规则,支持 * 通配与 $ 结尾锚定。
URL 总数0
被拦截0
可抓取0

功能说明

提交了 sitemap 却不收录,先查 robots

sitemap 是给搜索引擎的「这里有什么」,robots.txt 是「哪里不许来」。两个文件如果互相矛盾——地址在 sitemap 里,路径却被 Disallow 匹配——引擎会以 robots 为准,直接丢弃。这种自相矛盾非常常见:改版时随手加了一条 Disallow、上线测试目录忘了删,都中过招。

匹配规则按谁算

Google 与百度对 robots 路径规则的解释基本一致:规则匹配 URL 的路径部分;* 匹配任意长度字符;$ 锚定结尾;同一 UA 组里 Allow 与 Disallow 同时命中时,按「更具体(更长)的规则」优先。本工具按这套口径模拟,并默认检查 * 规则组——绝大多数站点只写这一组。

常见误伤写法

  • Disallow: /search:会拦住 /search-help 这类恰好同前缀的页面,想只拦搜索页应写成 /search? 或 /search/。
  • Disallow: /*?*:把所有带参数的地址全拦了,如果 sitemap 里有带参 URL 会全军覆没。
  • 大小写:路径匹配区分大小写,sitemap 里的大小写要与实际可访问地址一致。

检查完之后

被拦的地址二选一处理:要么改 robots 放行,要么把它从 sitemap 里移除——sitemap 里不该出现任何你不想被收录的地址。改完在站长平台的 robots 检测工具里再验一遍线上效果。

使用步骤

1. 在「规则组:*」中填写需要处理的数值。

2. 在「robots.txt 内容」中粘贴要处理的内容。

3. 点击「交叉检查」按钮执行。

4. 在结果区核对输出结果,需要留档时手动复制。

常见问题

robots与sitemap交叉检查能做什么?

粘贴 robots.txt 与 sitemap 内容,交叉核对 sitemap 里的每个 URL 是否被 Disallow 规则拦截,支持 * 与 $ 通配符。全部处理在浏览器本地完成,无需注册、无需安装。

这个工具需要注册或付费吗?

不需要。打开页面就能用,没有账号体系、没有次数限制,也不调用任何付费接口。

处理过程在本地还是服务器?

全部在浏览器本地完成,输入内容不上传、不留存。断网状态下页面加载后仍可继续使用。

结果怎么保存或分享?

结果区支持复制,需要留档时用页面提供的下载入口保存到本地。页面不做云端存储,关掉浏览器后需重新处理。

你可能还想问

这个工具需要联网才能用吗?

第一次打开页面需要联网加载,之后的计算与处理都在本地完成,断网也能继续操作。数据不经过服务器,也不受网络波动影响。

处理结果怎么保存或分享?

结果区支持一键复制,也可按页面提供的下载入口保存到本地;页面不做云端存储,关掉浏览器后需要重新处理。

相关工具

站长工具
robots.txt抓取规则模拟器

在线模拟搜索引擎抓取 robots.txt 的判定结果,按最长匹配与 Allow 优先规则判断指定 URL 是允许还是禁止抓取

站长工具
网站上线检查清单

在线网站上线前检查清单,覆盖域名可达性、HTTPS 安全、抓取索引、性能体验、内容合规与运维共 54 项,按权重计算就绪得分并标出必做阻断项

站长工具
Sitemap拆分与索引生成器

在线按 URL 数量拆分大型 sitemap 并生成索引文件,遵循 5 万条上限规范,输出分片清单与 sitemap-index.xml 内容

站长工具
Sitemap 校验与结构检查

在线 Sitemap 校验工具:粘贴 sitemap.xml 内容即可检查 XML 结构、条目数量、URL 重复、协议与域名一致性、URL 长度、查询参数、lastmod 格式与未来日期、changefreq 与 priority 合法性,并输出站点结构树预览。纯浏览器本地解析,站点数据不上传。

站长工具
Robots.txt生成器

Robots.txt生成器 - 可视化生成robots.txt文件,设置搜索引擎爬虫抓取规则

站长工具
Sitemap生成器

Sitemap生成器 - 输入URL列表生成XML Sitemap文件,帮助搜索引擎发现和抓取网站页面

站长工具
抓取预算估算器

按站点 URL 总数、日均抓取请求与页面更新周期,估算全站遍历周期、抓取充足度与服务器余量,并输出抓取预算优化建议

站长工具
Hreflang多语言标签生成器

批量生成多语言站点的 hreflang 标签,支持 HTML link、sitemap 与 HTTP 头三种输出形式,并校验语言地区代码格式与 x-default 是否缺失。