นโยบายครอว์เลอร์ TutusooBot

ระบุครอว์เลอร์ของเรา

คำขอโปรดักชันใช้ User-Agent ด้านล่าง ผู้เผยแพร่กำหนดเจาะจง TutusooBot หรือใช้กฎทั่วไป User-agent: * ได้

TutusooBot/0.1 (+https://tutusoo.com/bot)

อนุญาตหรือบล็อกการครอว์ล

กฎ robots.txt มาตรฐานก็พอ การเปลี่ยนแปลงมีผลเมื่อครอว์ลใหม่ครั้งถัดไป หน้าที่เคยจัดทำดัชนีแล้วถูกห้ามจะถูกลบ

User-agent: TutusooBot
Disallow: /private/
Crawl-delay: 5

การเข้าถึงอย่างสุภาพและขีดจำกัดทรัพยากร

เว้นช่วงคำขอต่อไซต์ อ่านค่า Crawl-delay ที่ประกาศไว้ และจำกัดหน้าใหญ่เกิน การเปลี่ยนเส้นทาง และ sitemap

• หน่วงเวลาระหว่างหน้าเริ่มต้นคือหนึ่งวินาที
• เคารพ Crawl-delay พร้อมเพดานความปลอดภัยกันไม่ให้งานถูกครอบครองถาวร
• เนื้อหาต่อหน้า ความลึกของ sitemap และจำนวนหน้าต่องานถูกจำกัด