robots.txt-säännöntarkistus

Tietoja tästä työkalusta

Kuinka käytän tätä työkalua?

Testaa liitettyjen indeksointirobottien sääntöjä URL-osoitteisiin noutamatta verkkosivustoasi.

Mitä minun tulee tarkistaa ennen tuloksen käyttöä?

Paikallinen sääntösimulaatio tukee käyttäjäagenttiryhmiä, Salli-, Disallow-, jokerimerkkejä * ja loppumerkki $. Tarkin sovitusagenttiryhmä ja pisin reittisääntö voittaa; Salli voittaa tasapelit. Indeksointiviive ja ei-tuetut käskyt raportoidaan huomiotta jätetyiksi. Hakua, HTTP-tilaa, välimuistikäytäntöä, indeksointia tai käyttöoikeuksien valvontaa ei testata. Käytä yhtä verkkosivuston alkuperää.

Toiminut esimerkki

Esimerkki estää /admin/ mutta sallii /admin/help. /tuotteet/paita ei sisällä estosääntöä.

Aiheeseen liittyvät työkalut

Menetelmäviitteet