MIT Custom Robots.txt Rules

Edite o ficheiro robots.txt predefinido com um editor simples e sem necessidade de código.

Modifique o ficheiro robots.txt predefinido e controle a forma como os bots de motores de busca e os rastreadores de LLM interagem com o site. Não é necessário copiar/colar nem transferir o ficheiro .txt; a aplicação extrai o ficheiro diretamente no painel de controlo para começar a editar instantaneamente. É possível definir regras de Allow/Disallow e valores de Crawl-delay para bots individuais. Além disso, adicione comentários para manter as regras organizadas para referência futura.

• Edite as regras através de um editor estruturado ou do ficheiro em bruto.
• Adicione a diretiva e o grupo de user-agent conforme necessário.
• Utilize o botão para anular ou refazer durante a edição.
• Reverta facilmente para as definições predefinidas enquanto edita o ficheiro original.
• Validador incorporado para verificar a sintaxe das regras do robots.txt personalizado em tempo real.