TutusooBot

Политика краулера TutusooBot

TutusooBot строит публичный веб-индекс, используемый TutuSoo. По умолчанию соблюдает robots.txt, отклоняет цели в частных сетях и ограничивает размер ответа и число страниц на задачу обхода.

Обзор безопасности Назад к поиску

Определение нашего краулера

Продакшн-запросы используют User-Agent ниже. Издатели могут нацелиться именно на TutusooBot или использовать общие правила User-agent: *.

TutusooBot/0.1 (+https://tutusoo.com/bot)

Разрешить или заблокировать обход

Достаточно стандартного правила robots.txt. Изменения вступают в силу при следующем перекраулинге; ранее проиндексированные, но ставшие запрещёнными страницы удаляются.

User-agent: TutusooBot
Disallow: /private/
Crawl-delay: 5

Вежливый доступ и лимиты ресурсов

Запросы разнесены по сайтам, читаются заявленные значения Crawl-delay, а слишком большие страницы, редиректы и sitemap ограничены.

  • Задержка между страницами по умолчанию — одна секунда.
  • Crawl-delay соблюдается с защитным потолком против навсегда занятых задач.
  • Ограничены содержимое на страницу, глубина sitemap и число страниц на задачу.