TutusooBot

Política do rastreador TutusooBot

O TutusooBot constrói o índice web público usado pelo TutuSoo. Respeita o robots.txt por padrão, recusa alvos de rede privada e limita o tamanho de resposta e páginas por tarefa de rastreio.

Visão geral de segurança Voltar à busca

Identifique nosso rastreador

As requisições de produção usam o User-Agent abaixo. Os editores podem mirar o TutusooBot especificamente ou usar as regras comuns User-agent: *.

TutusooBot/0.1 (+https://tutusoo.com/bot)

Permitir ou bloquear o rastreio

Uma regra padrão de robots.txt basta. As mudanças valem em um recrawl posterior; páginas antes indexadas que passam a não permitidas são removidas.

User-agent: TutusooBot
Disallow: /private/
Crawl-delay: 5

Acesso educado e limites de recursos

As requisições são espaçadas por site, os valores Crawl-delay declarados são lidos, e páginas enormes, redirecionamentos e sitemaps são limitados.

  • O atraso padrão entre páginas é de um segundo.
  • O Crawl-delay é respeitado com um teto de segurança contra tarefas permanentemente ocupadas.
  • O conteúdo por página, a profundidade do sitemap e as páginas por tarefa são limitados.