MIT Custom Robots.txt Rules

無須編寫程式碼，透過簡單的編輯器即可編輯預設的 robots.txt 檔案。

修改預設的 robots.txt 檔案，並控制搜尋引擎機器人和 LLM 爬蟲與您網站互動的方式。您無須複製/貼上或下載 .txt 檔案；應用程式會直接在儀表板中擷取該檔案，讓您能立即開始編輯。 您可以為個別機器人設定 Allow/Disallow 規則及 Crawl-delay 數值。此外，還能新增註解以妥善整理規則，方便日後參考。

• 使用結構化編輯器或原始檔編輯規則。
• 視需要新增指令與使用者代理群組。
• 編輯時使用復原或重做按鈕。
• 編輯原始檔案時，輕鬆還原為預設設定。
• 內建驗證工具，即時檢查自訂 robots.txt 規則語法。