← Mochi Tools

مدقق قواعد ملف robots.txt

اختبر قواعد الزاحف التي تم لصقها مقابل عناوين URL دون جلب موقع الويب الخاص بك.

حول هذه الأداة

كيف أستخدم هذه الأداة؟

اختبر قواعد الزاحف التي تم لصقها مقابل عناوين URL دون جلب موقع الويب الخاص بك.

ما الذي يجب عليّ التحقق منه قبل استخدام النتيجة؟

تدعم محاكاة القواعد المحلية مجموعات وكيل المستخدم، السماح، عدم السماح، حرف البدل * وعلامة النهاية $. تفوز مجموعة الوكلاء الأكثر تحديدًا وقاعدة المسار الأطول؛ السماح بالفوز بالعلاقات. يتم الإبلاغ عن تأخير الزحف والتوجيهات غير المدعومة على أنها تم تجاهلها. لم يتم اختبار أي جلب أو حالة HTTP أو سياسة مخبأة أو فهرسة أو التحكم في الوصول. استخدم أصل موقع واحد.

مثال عملي

يحظر النموذج /admin/ ولكنه يسمح بـ /admin/help. /products/shirt ليس له قاعدة حظر.

الأدوات ذات الصلة

مراجع الطريقة

تم تحديث الوثائق