MIT Custom Robots.txt Rules

Modifica il file robots.txt predefinito tramite un semplice editor, senza bisogno di scrivere codice.

Modifica il file robots.txt predefinito e gestisci il modo in cui i bot dei motori di ricerca e i crawler degli LLM interagiscono con il sito. Non occorre copiare, incollare o scaricare il file .txt; l’app estrae il file direttamente nella dashboard per permetterti di modificarlo all’istante. Puoi impostare regole di tipo Allow/Disallow e valori di Crawl-delay per i singoli bot. Inoltre, puoi aggiungere commenti per organizzare le regole per riferimenti futuri.

• Modifica le regole usando un editor strutturato o il file raw.
• Aggiungi direttive e gruppi di user agent all’occorrenza.
• Usa i pulsanti per annullare o ripetere un’azione durante la modifica.
• Ripristina facilmente le impostazioni predefinite durante la modifica del file originale.
• Strumento di convalida integrato per controllare la sintassi delle regole personalizzate del file robots.txt in tempo reale.