vérificateur de règles robots.txt

À propos de cet outil

Comment utiliser cet outil ?

Testez les règles de robot d'exploration collées par rapport aux URL sans récupérer votre site Web.

Que dois-je vérifier avant d'utiliser le résultat ?

La simulation de règles locales prend en charge les groupes d'agents utilisateurs, Autoriser, Interdire, le caractère générique * et le marqueur de fin $. Le groupe d'agents correspondants le plus spécifique et la règle du chemin le plus long gagnent ; Autoriser les égalités de victoires. Les délais d'exploration et les directives non prises en charge sont signalés comme ignorés. Aucune récupération, statut HTTP, politique mise en cache, indexation ou contrôle d'accès n'est testé. Utilisez une seule origine de site Web.

Exemple concret

L'exemple bloque /admin/ mais autorise /admin/help. /products/shirt n’a pas de règle de blocage.

Outils associés

Références de méthodes