TutusooBot

Kebijakan crawler TutusooBot

TutusooBot membangun indeks web publik yang dipakai TutuSoo. Secara default menghormati robots.txt, menolak target jaringan privat, serta membatasi ukuran respons dan jumlah halaman per tugas crawl.

Ringkasan keamanan Kembali ke pencarian

Kenali crawler kami

Permintaan produksi memakai User-Agent di bawah. Penerbit bisa menargetkan TutusooBot secara spesifik atau memakai aturan umum User-agent: *.

TutusooBot/0.1 (+https://tutusoo.com/bot)

Izinkan atau blokir crawling

Satu aturan robots.txt standar cukup. Perubahan berlaku pada recrawl berikutnya; halaman yang sebelumnya terindeks lalu jadi dilarang akan dihapus.

User-agent: TutusooBot
Disallow: /private/
Crawl-delay: 5

Akses sopan dan batas sumber daya

Permintaan dijeda per situs, nilai Crawl-delay yang dideklarasikan dibaca, serta halaman berukuran besar, pengalihan, dan sitemap dibatasi.

  • Jeda default antar halaman adalah satu detik.
  • Crawl-delay dihormati dengan batas aman agar tugas tidak terus-menerus terisi.
  • Konten per halaman, kedalaman sitemap, dan halaman per tugas dibatasi.