TutusooBot क्रॉलर नीति

हमारे क्रॉलर की पहचान

प्रोडक्शन अनुरोध नीचे दिए User-Agent का उपयोग करते हैं। प्रकाशक विशेष रूप से TutusooBot को लक्षित कर सकते हैं या सामान्य User-agent: * नियम उपयोग कर सकते हैं।

TutusooBot/0.1 (+https://tutusoo.com/bot)

क्रॉलिंग की अनुमति या ब्लॉक

एक मानक robots.txt नियम पर्याप्त है। बदलाव अगले recrawl पर लागू होते हैं; पहले इंडेक्स लेकिन अब निषिद्ध पेज हटा दिए जाते हैं।

User-agent: TutusooBot
Disallow: /private/
Crawl-delay: 5

विनम्र एक्सेस और संसाधन सीमाएं

अनुरोध प्रति साइट अंतराल पर होते हैं, घोषित Crawl-delay मान पढ़े जाते हैं, और बहुत बड़े पेज, रीडायरेक्ट व sitemap सीमित होते हैं।

• पेजों के बीच डिफ़ॉल्ट देरी एक सेकंड है।
• Crawl-delay माना जाता है, कार्यों के स्थायी रूप से व्यस्त रहने से बचाने हेतु सुरक्षा सीमा के साथ।
• प्रति-पेज सामग्री, sitemap गहराई और प्रति कार्य पेज सीमित हैं।