MIT Custom Robots.txt Rules

عدّل ملف robots.txt الافتراضي باستخدام محرّر بسيط بدون الحاجة إلى أي تعليمات برمجية.

عدّل ملف robots.txt الافتراضي وتحكم في كيفية تفاعل روبوتات محركات البحث وبرامج زحف النماذج اللغوية الكبيرة (LLM) مع موقعك. لست بحاجة إلى نسخ/لصق أو تنزيل ملف txt.؛ فالتطبيق يستخرج الملف مباشرة في لوحة التحكم للبدء في التعديل فورًا. يمكنك تعيين قواعد السماح/المنع (Allow/Disallow) وقيم تأخير الزحف (Crawl-delay) لكل روبوت على حدة. بالإضافة إلى ذلك، يمكنك إضافة تعليقات للحفاظ على تنظيم قواعدك للرجوع إليها في المستقبل.

• تعديل القواعد باستخدام محرّر مهيكل أو الملف الخام.
• إضافة توجيهات ومجموعة وكلاء مستخدمين حسب الحاجة.
• استخدام زري التراجع أو الإعادة أثناء التعديل.
• الرجوع بسهولة إلى الإعدادات الافتراضية أثناء تعديل الملف الأصلي.
• أداة تحقق مدمجة لمراجعة بنية قواعد robots.txt المخصصة في الوقت الفعلي.