проверка правил robots.txt

Об этом инструменте

Как мне использовать этот инструмент?

Проверьте вставленные правила сканирования на соответствие URL-адресам, не загружая сайт.

Что следует проверить перед использованием результата?

Моделирование локальных правил поддерживает группы пользовательских агентов, «Разрешить», «Запретить», подстановочный знак * и конечный маркер $. Выигрывает наиболее точная соответствующая группа агентов и правило самого длинного пути; Разрешить выигрывать вничью. Директивы задержки сканирования и неподдерживаемые директивы считаются игнорируемыми. Никакая выборка, статус HTTP, политика кэширования, индексирование или контроль доступа не проверяются. Используйте один источник веб-сайта.

Рабочий пример

В примере блокируется /admin/, но разрешается /admin/help. В /products/shirt нет правила блокировки.

Сопутствующие инструменты

Ссылки на методы