robots.txt ルール チェッカー

このツールについて

このツールはどのように使用すればよいですか?

Web サイトを取得せずに、貼り付けられたクローラー ルールを URL に対してテストします。

結果を使用する前に何を確認すればよいですか?

ローカル ルール シミュレーションは、ユーザー エージェント グループ、許可、禁止、ワイルドカード *、および終了マーカー $ をサポートします。最も具体的な一致エージェント グループと最長パス ルールが優先されます。同点勝利を許可します。クロール遅延およびサポートされていないディレクティブは無視されたものとして報告されます。フェッチ、HTTP ステータス、キャッシュされたポリシー、インデックス作成、アクセス制御はテストされません。 1 つの Web サイトのオリジンを使用します。

作業例

サンプルでは /admin/ はブロックされますが、/admin/help は許可されます。 /products/shirt にはブロック ルールがありません。

関連ツール

メソッドのリファレンス