功能说明
提交了 sitemap 却不收录,先查 robots
sitemap 是给搜索引擎的「这里有什么」,robots.txt 是「哪里不许来」。两个文件如果互相矛盾——地址在 sitemap 里,路径却被 Disallow 匹配——引擎会以 robots 为准,直接丢弃。这种自相矛盾非常常见:改版时随手加了一条 Disallow、上线测试目录忘了删,都中过招。
匹配规则按谁算
Google 与百度对 robots 路径规则的解释基本一致:规则匹配 URL 的路径部分;* 匹配任意长度字符;$ 锚定结尾;同一 UA 组里 Allow 与 Disallow 同时命中时,按「更具体(更长)的规则」优先。本工具按这套口径模拟,并默认检查 * 规则组——绝大多数站点只写这一组。
常见误伤写法
- Disallow: /search:会拦住 /search-help 这类恰好同前缀的页面,想只拦搜索页应写成 /search? 或 /search/。
- Disallow: /*?*:把所有带参数的地址全拦了,如果 sitemap 里有带参 URL 会全军覆没。
- 大小写:路径匹配区分大小写,sitemap 里的大小写要与实际可访问地址一致。
检查完之后
被拦的地址二选一处理:要么改 robots 放行,要么把它从 sitemap 里移除——sitemap 里不该出现任何你不想被收录的地址。改完在站长平台的 robots 检测工具里再验一遍线上效果。
使用步骤
1. 在「规则组:*」中填写需要处理的数值。
2. 在「robots.txt 内容」中粘贴要处理的内容。
3. 点击「交叉检查」按钮执行。
4. 在结果区核对输出结果,需要留档时手动复制。
常见问题
robots与sitemap交叉检查能做什么?
粘贴 robots.txt 与 sitemap 内容,交叉核对 sitemap 里的每个 URL 是否被 Disallow 规则拦截,支持 * 与 $ 通配符。全部处理在浏览器本地完成,无需注册、无需安装。
这个工具需要注册或付费吗?
不需要。打开页面就能用,没有账号体系、没有次数限制,也不调用任何付费接口。
处理过程在本地还是服务器?
全部在浏览器本地完成,输入内容不上传、不留存。断网状态下页面加载后仍可继续使用。
结果怎么保存或分享?
结果区支持复制,需要留档时用页面提供的下载入口保存到本地。页面不做云端存储,关掉浏览器后需重新处理。
你可能还想问
这个工具需要联网才能用吗?
第一次打开页面需要联网加载,之后的计算与处理都在本地完成,断网也能继续操作。数据不经过服务器,也不受网络波动影响。
处理结果怎么保存或分享?
结果区支持一键复制,也可按页面提供的下载入口保存到本地;页面不做云端存储,关掉浏览器后需要重新处理。
速查在线工具箱