robots.txt 检查器

关于此工具

我如何使用这个工具？

根据 URL 测试粘贴的爬网程序规则，而无需获取您的网站。

使用结果前需要注意什么？

本地模拟 user-agent 分组、Allow、Disallow、通配符 * 和结束标记 $。优先匹配最具体的爬虫分组，再取最长路径规则；同等匹配时 Allow 优先。Crawl-delay 和不支持的指令会计入忽略项。不抓取网站，也不验证 HTTP 状态、缓存规则、收录状态或访问权限；每次仅测试同一网站来源。

计算或使用示例

该示例阻止/admin/，但允许/admin/help。 /products/shirt 没有屏蔽规则。

相关工具

方法参考