Test geplakte crawlerregels aan de hand van URL's zonder uw website op te halen.
Geen passend gereedschap.
Lokale regelsimulatie ondersteunt user-agentgroepen, Toestaan, Niet toestaan, wildcard * en eindmarkering $. De meest specifieke overeenkomende agentgroep en langste padregel winnen; Sta overwinningen toe. Crawlvertragingen en niet-ondersteunde richtlijnen worden gerapporteerd als genegeerd. Er wordt geen ophaal-, HTTP-status, cachebeleid, indexering of toegangscontrole getest. Gebruik één websiteoorsprong.
Het voorbeeld blokkeert /admin/ maar staat /admin/help toe. /products/shirt heeft geen blokkeerregel.