MIT Custom Robots.txt Rules

Edite o arquivo robots.txt padrão com um editor simples, sem escrever código.

Modifique o arquivo robots.txt padrão e controle como bots de mecanismos de pesquisa e rastreadores de LLM interagem com o seu site. Não é necessário copiar, colar ou baixar o arquivo .txt; o app extrai o arquivo diretamente no painel para iniciar a edição na hora. Você pode definir regras de Allow/Disallow e valores de Crawl-delay para bots individuais. Além disso, adicione comentários para manter as regras organizadas para consultas futuras.

• Edite regras usando um editor estruturado ou o arquivo bruto.
• Adicione diretivas e grupos de user-agent conforme necessário.
• Use os botões de desfazer ou refazer durante a edição.
• Reverta facilmente para as configurações padrão ao editar o arquivo original.
• Validador integrado para verificar a sintaxe das regras personalizadas do robots.txt em tempo real.