速查在线工具箱robots.txt 里写了禁止抓取，页面为什么还被收录？
robots.txt 管的是「来不来抓」，收录管的是「存不存进索引」，这是两件事。
禁止抓取与拒绝收录是两道不同的闸门。robots.txt 拦在第一道：爬虫读到禁止规则后不来取页面。但收录发生在第二道：搜索引擎仍可能仅凭站外链接把网址本身存进索引，展示成一条没有摘要的结果。
想真正移出索引，要用 noindex 标记或响应头，而它必须被爬到才生效。于是出现一个反直觉的结论：既要 noindex、又把页面写进禁止抓取，结果反而是页面既不被抓、noindex 也读不到，长期挂在索引里。
robots.txt 是搜索引擎与站长之间的一份约定，用最朴素的前缀匹配描述「哪些路径可以抓」。它的历史可以追溯到 1994 年，直到 2022 年才被正式写成规范文档。
正因为规则简单，它被赋予了太多本不属于它的期待：有人指望它隐藏后台地址，有人指望它移除收录。这两件事它都做不到——前者只会让地址更公开，后者需要另一个工具。
1抓取与索引：两道闸门的分工
把这两个动作分开看，绝大多数疑惑都能对号入座。
| 手段 | 作用在哪个阶段 | 写在何处 | 能阻止收录吗 |
|---|---|---|---|
| 禁止抓取规则 | 抓取（爬虫来不来取） | 网站的 robots.txt | 不能，只可能让结果没有摘要 |
| noindex 标记 | 索引（存不存进索引） | 页面内或响应头 | 可以，但前提是页面能被抓到 |
| 登录验证 | 访问本身 | 服务端 | 可以，但这是权限而非搜索指令 |
| 移除请求 | 已收录的结果 | 搜索引擎提供的工具 | 可以，属于事后补救 |
记一条判断口诀：想省抓取预算就用禁止抓取，想让页面消失就用 noindex，想两者都要先想清楚页面到底要不要被人搜到。
2写法上最容易出错的几处
文件本身只有几行，但每一行的语义都比看上去更严格。
| 写法 | 实际含义 | 风险 |
|---|---|---|
| Disallow: / | 禁止抓取全站 | 上线时忘了删，几个月内流量逐步归零 |
| Disallow: 空值 | 什么都没禁 | 与「禁止全站」形似而意反，误写成全禁的极多 |
| 路径区分大小写 | 大写与小写是两条不同规则 | 写了小写路径却没生效，因为实际链接是大写 |
| 文件返回 404 | 视为允许抓取全部 | 误删文件等于取消全部限制 |
| 文件返回 5xx | 可能被当作禁止全部 | 服务器故障期间抓取被暂停，恢复后需要重新爬 |
文件里列出的每一条路径都是公开信息，任何人访问一下就能读到。用它来「藏」后台地址，实际效果是把地址主动告诉别人。
3正确的处理顺序
当你确实想让某个页面从搜索结果里消失，按这个顺序做效率最高，也最不容易留下后遗症。
- 先确认页面是否需要被搜索到。要移出索引，就不能在禁止抓取规则里挡住它。
- 在页面上加 noindex 标记，或在响应头里加同义指令（响应头对图片、PDF 这类非网页文件同样有效）。
- 检查并移除针对该路径的禁止抓取规则，否则爬虫根本看不到 noindex。
- 让页面保持可抓取一段时间，等搜索引擎重新抓取并读到该标记后，页面会从索引中逐步消失。
- 如果希望更快，可在搜索引擎提供的工具里对这批网址提交移除请求，作为 noindex 生效前的临时手段。
- 最后复核：文件里是否声明了站点地图的位置，这条声明对收录帮助最大且成本为零。
顺着这个问题往下用
全部工具总览 →相关疑问
为什么被禁的页面还能搜到，但点进去是空的？
因为搜索引擎只拿到了站外链接里的那个网址，没拿到页面内容，于是只能展示一条没有摘要的结果。它并不违反规则，恰恰说明禁止抓取不等于移除收录。
同时写禁止抓取和 noindex 会怎样？
noindex 读不到，因为爬虫按规则没有抓取页面。结果是页面既拿不到新的内容信号，也去不掉索引里的旧条目，属于最常见的组合失误。
文件里能不能写禁止某类文件？
多数搜索引擎支持通配符与结尾锚定，可以匹配某个后缀的整类文件。但要注意，屏蔽脚本与样式文件会妨碍搜索引擎正确渲染页面，从而影响排名判断。
robots.txt 放错目录还有用吗？
没有。它必须放在域名根目录下，放在子目录里不会被识别。此外，若文件本身带有重定向或需要登录才能访问，也会被视同不存在。
继续看：相关问题与资料
全部问题解答 →内容说明：本页针对具体使用问题作答，方法步骤与数值由本站自行整理与复算，事实性内容以对应官方规范与文档为准。内容最后核对日期：2026-10-08。若发现错误，欢迎通过页脚反馈入口告知。