TutusooBot

TutusooBot クローラーポリシー

TutusooBot は TutuSoo が使う公開ウェブ索引を構築します。既定で robots.txt を遵守し、私設ネットワーク宛を拒否、レスポンスサイズとクロールタスクあたりのページ数を制限します。

セキュリティ概要 検索に戻る

クローラーの識別

本番リクエストは下記の User-Agent を使います。発行者は TutusooBot を個別指定するか、共通の User-agent: * ルールを使えます。

TutusooBot/0.1 (+https://tutusoo.com/bot)

クロールの許可・ブロック

標準の robots.txt ルールで十分です。変更は次回の再クロール時に反映;以前索引済みで不許可になったページは削除されます。

User-agent: TutusooBot
Disallow: /private/
Crawl-delay: 5

礼儀正しいアクセスとリソース上限

リクエストはサイトごとに間隔を空け、宣言された Crawl-delay を読み、特大ページ・リダイレクト・sitemap に上限を設けます。

  • ページ間の既定間隔は 1 秒です。
  • Crawl-delay を遵守しつつ、ジョブの恒久占有を防ぐ安全上限を設けます。
  • ページごとの内容・sitemap 深度・タスクあたりのページ数を制限します。