AhrefsBot là gì? Hướng dẫn chặn Bot Ahrefs truy cập trang web của bạn

189

AhrefsBot là gì?

AhrefsBot là Bot thu thập thông tin Web hỗ trợ cơ sở dữ liệu liên kết 12 nghìn tỷ cho bộ công cụ tiếp thị trực tuyến của Ahrefs. Nó liên tục thu thập dữ liệu web để lấp đầy cơ sở dữ liệu của Ahrefs bằng các liên kết mới và kiểm tra tình trạng của những trang được tìm thấy trước đây để cung cấp dữ liệu toàn diện và cập nhật nhất cho người dùng của Ahrefs.

Dữ liệu liên kết được thu thập bởi Bot Ahrefs từ web được sử dụng bởi hàng ngàn nhà tiếp thị kỹ thuật số trên khắp thế giới để lập kế hoạch, thực hiện và giám sát các chiến dịch tiếp thị trực tuyến của họ. Dữ liệu này có giá trị to lớn cho cộng đồng SEO vì nó giúp các chuyên gia tiếp thị hiểu rõ hơn các thuật toán cơ bản của các công cụ tìm kiếm lớn nhất thế giới để họ có thể tối ưu hóa các trang web phù hợp. 24 giờ trình thu thập thông tin của Ahrefs truy cập hơn 6 tỷ trang web và cập nhật chỉ mục của Ahrefs 15-30 phút.

Theo một nghiên cứu của bên thứ ba gần đây về “good bots”, AhrefsBot là trình thu thập thông tin hoạt động tích cực thứ hai sau Googlebot.

AhrefsBot là gì? Hướng dẫn chặn Bot Ahrefs truy cập trang web của bạn

 

AhrefsBot đang làm gì trên trang web của bạn?

AhrefsBot đang thu thập dữ liệu trang web của bạn, ghi chú các liên kết đi và thêm chúng vào cơ sở dữ liệu của Ahrefs. Nó sẽ định kỳ thu thập dữ liệu trang web của bạn để kiểm tra tình trạng hiện tại của các liên kết được tìm thấy trước đó.

Trình thu thập thông tin của Ahrefs không thu thập hoặc lưu trữ bất kỳ thông tin nào khác về trang web của bạn. Nó không kích hoạt quảng cáo trên trang web của bạn và sẽ không thêm số vào lưu lượng truy cập Google Analytics của bạn.

Nó có tôn trọng file robots.txt không?

Vâng. Chắc chắn rồi. Ahrefs nghiêm túc tôn trọng robots.txt, không cho phép và cho phép các quy tắc.

Làm thế nào để kiểm soát AhrefsBot trên trang web của bạn?

Như đã đề cập ở trên, AhrefsBot tuân thủ đúng tệp robots.txt trên trang web của bạn. Vì vậy, bạn có thể kiểm soát hoàn toàn nó trên trang web của bạn nếu bạn cần.

Để thay đổi tần suất của AhrefsBot đến trang của bạn, bạn có thể chỉ định độ trễ chấp nhận được tối thiểu giữa hai yêu cầu liên tiếp từ bot của hrefs trong tệp robots.txt của bạn:

User-agent: AhrefsBot
Crawl-Delay: [value]

Thời gian thu thập thông tin trễ là thời gian tính bằng giây.

Nếu vì lý do nào đó bạn muốn ngăn AhrefsBot truy cập vào trang web của bạn, hãy đặt hai dòng sau vào tệp robots.txt trên máy chủ của bạn:

User-agent: AhrefsBot
Disallow: /

Xin lưu ý rằng AhrefsBot có thể cần một thời gian để chọn các thay đổi trong tệp robots.txt của bạn. Điều này sẽ được thực hiện trước mỗi lần thu thập dữ liệu theo lịch kế tiếp.

Cũng xin lưu ý rằng nếu robots.txt của bạn có lỗi và AhrefsBot sẽ không thể nhận ra các lệnh của bạn, nó sẽ tiếp tục thu thập dữ liệu trang web của bạn theo cách nó đã làm trước đó.

Nếu bạn nghĩ rằng AhrefsBot là một cách nào đó không thực hiện được trên trang web của bạn hoặc nếu bạn có bất kỳ câu hỏi nào về nó, vui lòng liên hệ với nhóm hỗ trợ của Ahrefs support@ahrefs.com.