robots.txt 規則檢查器

關於此工具

我如何使用這個工具？

根據 URL 測試貼上的爬網程式規則，而無需取得您的網站。

在使用結果之前我應該檢查什麼？

本機規則模擬支援使用者代理群組、允許、禁止、通配符 * 和結束標記 $。最具體的配對代理組和最長路徑規則獲勝；允許勝平手。抓取延遲和不支援的指令被報告為被忽略。未測試任何抓取、HTTP 狀態、快取原則、索引或存取控制。使用一個網站來源。

計算或使用範例

此範例阻止/admin/，但允許/admin/help。 /products/shirt 沒有屏蔽規則。

相關工具

方法參考