TutusooBot

Policy del crawler TutusooBot

TutusooBot costruisce l’indice web pubblico usato da TutuSoo. Rispetta robots.txt per impostazione predefinita, rifiuta target di rete privata e limita dimensione della risposta e pagine per attività di crawl.

Panoramica sulla sicurezza Torna alla ricerca

Identifica il nostro crawler

Le richieste di produzione usano lo User-Agent sotto. Gli editori possono mirare specificamente a TutusooBot o usare le regole comuni User-agent: *.

TutusooBot/0.1 (+https://tutusoo.com/bot)

Consenti o blocca il crawling

Basta una regola robots.txt standard. Le modifiche valgono a un recrawl successivo; le pagine già indicizzate diventate non consentite vengono rimosse.

User-agent: TutusooBot
Disallow: /private/
Crawl-delay: 5

Accesso cortese e limiti di risorse

Le richieste sono distanziate per sito, i valori Crawl-delay dichiarati vengono letti, e pagine enormi, reindirizzamenti e sitemap sono limitati.

  • Il ritardo predefinito tra le pagine è di un secondo.
  • Il Crawl-delay è rispettato con un tetto di sicurezza contro job occupati in modo permanente.
  • Il contenuto per pagina, la profondità della sitemap e le pagine per attività sono limitati.