سياسة زاحف TutusooBot

تعرّف على زاحفنا

تستخدم طلبات الإنتاج الـ User-Agent أدناه. يمكن للناشرين استهداف TutusooBot تحديدًا أو استخدام قواعد User-agent: * الشائعة.

TutusooBot/0.1 (+https://tutusoo.com/bot)

السماح بالزحف أو حظره

قاعدة robots.txt قياسية تكفي. تسري التغييرات عند إعادة زحف لاحقة؛ وتُزال الصفحات المفهرسة سابقًا التي أصبحت ممنوعة.

User-agent: TutusooBot
Disallow: /private/
Crawl-delay: 5

وصول مهذّب وحدود موارد

تُباعَد الطلبات لكل موقع، وتُقرأ قيم Crawl-delay المعلنة، وتُحدّ الصفحات الضخمة وعمليات إعادة التوجيه وملفات sitemap.

• التأخير الافتراضي بين الصفحات ثانية واحدة.
• يُحترم Crawl-delay مع سقف أمان يمنع بقاء المهام مشغولة دائمًا.
• محتوى كل صفحة وعمق sitemap وعدد الصفحات لكل مهمة محدودة.