Testa le regole del crawler incollate confrontandole con gli URL senza recuperare il tuo sito web.
Nessuno strumento corrispondente.
La simulazione delle regole locali supporta gruppi utente-agente, Consenti, Non consenti, caratteri jolly * e indicatore di fine $. Vince il gruppo di agenti corrispondente più specifico e la regola del percorso più lungo; Consenti vittorie in parità. Il ritardo della scansione e le direttive non supportate vengono segnalate come ignorate. Non vengono testati il recupero, lo stato HTTP, i criteri memorizzati nella cache, l'indicizzazione o il controllo degli accessi. Utilizza un'origine del sito web.
L'esempio blocca /admin/ ma consente /admin/help. /products/shirt non ha regole di blocco.