trình kiểm tra quy tắc robots.txt

Giới thiệu về công cụ này

Làm cách nào để sử dụng công cụ này?

Kiểm tra các quy tắc trình thu thập thông tin đã dán đối với các URL mà không cần tìm nạp trang web của bạn.

Tôi nên kiểm tra những gì trước khi sử dụng kết quả?

Mô phỏng quy tắc cục bộ hỗ trợ các nhóm tác nhân người dùng, Cho phép, Không cho phép, ký tự đại diện * và dấu kết thúc $. Nhóm tác nhân phù hợp cụ thể nhất và quy tắc đường đi dài nhất sẽ giành chiến thắng; Cho phép thắng quan hệ. Độ trễ thu thập thông tin và các chỉ thị không được hỗ trợ được báo cáo là bị bỏ qua. Không kiểm tra tìm nạp, trạng thái HTTP, chính sách được lưu trong bộ nhớ đệm, lập chỉ mục hoặc kiểm soát quyền truy cập. Sử dụng một nguồn gốc trang web.

Ví dụ hoạt động

Mẫu chặn /admin/ nhưng cho phép /admin/help. /products/shirt không có quy tắc chặn.

Công cụ liên quan

Tài liệu tham khảo phương pháp