← Mochi Tools

robots.txt-Regelprüfer

Testen Sie eingefügte Crawler-Regeln anhand von URLs, ohne Ihre Website abzurufen.

Über dieses Tool

Wie verwende ich dieses Tool?

Testen Sie eingefügte Crawler-Regeln anhand von URLs, ohne Ihre Website abzurufen.

Was sollte ich überprüfen, bevor ich das Ergebnis verwende?

Die lokale Regelsimulation unterstützt Benutzeragentengruppen, Zulassen, Nichtzulassen, Platzhalter * und Endmarkierung $. Die spezifischste übereinstimmende Agentengruppe und die Regel mit dem längsten Pfad gewinnen; Erlaube Siege bei Unentschieden. Crawl-Verzögerung und nicht unterstützte Anweisungen werden als ignoriert gemeldet. Es werden kein Abruf, HTTP-Status, zwischengespeicherte Richtlinie, Indizierung oder Zugriffskontrolle getestet. Verwenden Sie einen Website-Ursprung.

Arbeitsbeispiel

Das Beispiel blockiert /admin/, erlaubt aber /admin/help. /products/shirt hat keine Blockierungsregel.

Verwandte Tools

Methodenreferenzen

Dokumentation aktualisiert