TutusooBot

Chính sách trình thu thập TutusooBot

TutusooBot xây dựng chỉ mục web công khai mà TutuSoo dùng. Mặc định tuân thủ robots.txt, từ chối mục tiêu mạng riêng, và giới hạn kích thước phản hồi cùng số trang mỗi tác vụ thu thập.

Tổng quan bảo mật Quay lại tìm kiếm

Nhận diện trình thu thập của chúng tôi

Yêu cầu production dùng User-Agent bên dưới. Nhà xuất bản có thể nhắm riêng TutusooBot hoặc dùng quy tắc chung User-agent: *.

TutusooBot/0.1 (+https://tutusoo.com/bot)

Cho phép hoặc chặn thu thập

Một quy tắc robots.txt tiêu chuẩn là đủ. Thay đổi có hiệu lực ở lần thu thập lại sau; trang đã lập chỉ mục nay bị cấm sẽ bị gỡ.

User-agent: TutusooBot
Disallow: /private/
Crawl-delay: 5

Truy cập lịch sự và giới hạn tài nguyên

Yêu cầu được giãn cách theo từng trang web, đọc giá trị Crawl-delay được khai báo, và giới hạn trang quá lớn, chuyển hướng cùng sitemap.

  • Độ trễ mặc định giữa các trang là một giây.
  • Crawl-delay được tuân thủ kèm mức trần an toàn chống việc bị chiếm dụng vĩnh viễn.
  • Nội dung mỗi trang, độ sâu sitemap và số trang mỗi tác vụ đều bị giới hạn.