MIT Custom Robots.txt Rules

无需编写代码，使用简单的编辑器即可编辑默认的 robots.txt 文件。

修改默认的 robots.txt 文件，控制搜索引擎机器人和 LLM 爬虫与您网站的交互方式。您无需复制/粘贴或下载 .txt 文件；该应用会直接在控制面板中提取文件，以便您立即开始编辑。 您可以为各个机器人设置 Allow/Disallow 规则和 Crawl-delay 值。此外，还能添加注释，保持规则井然有序，方便日后查阅。

• 使用结构化编辑器或原始文件编辑规则。
• 根据需要添加指令和用户代理组。
• 编辑时可使用撤销或重做按钮。
• 编辑原始文件时，可轻松恢复为默认设置。
• 内置验证器可实时检查自定义 robots.txt 规则的语法。