robots.txt regelkontrol

Om dette værktøj

Hvordan bruger jeg dette værktøj?

Test indsatte crawlerregler mod URL'er uden at hente dit websted.

Hvad skal jeg tjekke, før jeg bruger resultatet?

Lokal regelsimulering understøtter brugeragentgrupper, Tillad, Disallow, jokertegn * og slutmarkør $. Den mest specifikke matchende agentgruppe og regel for længste vej vinder; Tillad vinder bånd. Crawl-forsinkelse og ikke-understøttede direktiver rapporteres som ignoreret. Ingen hentning, HTTP-status, cachelagret politik, indeksering eller adgangskontrol testes. Brug én hjemmesideoprindelse.

Bearbejdet eksempel

Eksemplet blokerer /admin/ men tillader /admin/help. /products/shirt har ingen blokeringsregel.

Relaterede værktøjer

Metodereferencer