TutusooBot

Política del rastreador TutusooBot

TutusooBot construye el índice web público que usa TutuSoo. Respeta robots.txt por defecto, rechaza destinos de red privada y limita el tamaño de respuesta y las páginas por tarea de rastreo.

Resumen de seguridad Volver a la búsqueda

Identifica nuestro rastreador

Las solicitudes de producción usan el User-Agent de abajo. Los editores pueden apuntar específicamente a TutusooBot o usar las reglas comunes User-agent: *.

TutusooBot/0.1 (+https://tutusoo.com/bot)

Permitir o bloquear el rastreo

Basta una regla estándar de robots.txt. Los cambios se aplican en un recrawl posterior; las páginas indexadas que pasan a no permitidas se eliminan.

User-agent: TutusooBot
Disallow: /private/
Crawl-delay: 5

Acceso cortés y límites de recursos

Las solicitudes se espacian por sitio, se leen los valores Crawl-delay declarados y se acotan páginas enormes, redirecciones y sitemaps.

  • El retraso predeterminado entre páginas es de un segundo.
  • Se respeta Crawl-delay con un tope de seguridad para evitar trabajos ocupados permanentemente.
  • El contenido por página, la profundidad del sitemap y las páginas por tarea están limitados.