TutusooBot

TutusooBot 크롤러 정책

TutusooBot은 TutuSoo가 사용하는 공개 웹 색인을 만듭니다. 기본으로 robots.txt를 준수하고 사설망 대상을 거부하며 응답 크기와 크롤 작업당 페이지 수를 제한합니다.

보안 개요 검색으로 돌아가기

크롤러 식별

프로덕션 요청은 아래 User-Agent를 사용합니다. 게시자는 TutusooBot을 특정하거나 공통 User-agent: * 규칙을 쓸 수 있습니다.

TutusooBot/0.1 (+https://tutusoo.com/bot)

크롤 허용 또는 차단

표준 robots.txt 규칙이면 충분합니다. 변경은 이후 재크롤 시 적용되며, 이전에 색인됐다가 불허가 된 페이지는 제거됩니다.

User-agent: TutusooBot
Disallow: /private/
Crawl-delay: 5

정중한 접근과 리소스 제한

요청은 사이트별로 간격을 두고, 선언된 Crawl-delay 값을 읽으며, 초대형 페이지·리디렉션·sitemap을 제한합니다.

  • 페이지 간 기본 지연은 1초입니다.
  • Crawl-delay를 준수하되 작업이 영구 점유되지 않도록 안전 상한을 둡니다.
  • 페이지별 콘텐츠, sitemap 깊이, 작업당 페이지 수가 제한됩니다.