← Mochi Tools

verificador de reglas robots.txt

Pruebe las reglas del rastreador pegadas con las URL sin buscar su sitio web.

Acerca de esta herramienta

¿Cómo uso esta herramienta?

Pruebe las reglas del rastreador pegadas con las URL sin buscar su sitio web.

¿Qué debo comprobar antes de utilizar el resultado?

La simulación de reglas locales admite grupos de agentes de usuario, Permitir, No permitir, comodín * y marcador final $. Gana el grupo de agentes coincidentes más específico y la regla de ruta más larga; Permitir empates. Las directivas con retraso de rastreo y no admitidas se informan como ignoradas. No se prueban la recuperación, el estado HTTP, la política de almacenamiento en caché, la indexación o el control de acceso. Utilice un origen de sitio web.

Ejemplo resuelto

El ejemplo bloquea /admin/ pero permite /admin/help. /products/shirt no tiene regla de bloqueo.

Herramientas relacionadas

Referencias de métodos

Documentación actualizada