narzędzie do sprawdzania reguł pliku robots.txt

O tym narzędziu

Jak korzystać z tego narzędzia?

Przetestuj wklejone reguły robota pod kątem adresów URL bez pobierania witryny.

Co powinienem sprawdzić przed wykorzystaniem wyniku?

Symulacja reguł lokalnych obsługuje grupy agentów użytkownika, Zezwalaj, Nie zezwalaj, symbole wieloznaczne * i znacznik końcowy $. Wygrywa najbardziej konkretna pasująca grupa agentów i reguła najdłuższej ścieżki; Zezwalaj na remisy zwycięstw. Opóźnienie indeksowania i nieobsługiwane dyrektywy są zgłaszane jako ignorowane. Nie testowane jest żadne pobieranie, stan HTTP, zasady buforowane, indeksowanie ani kontrola dostępu. Użyj jednego źródła strony internetowej.

Sprawdzony przykład

Przykład blokuje /admin/, ale pozwala na /admin/help. /products/shirt nie ma reguły blokowania.

Powiązane narzędzia

Odniesienia do metod