MIT Custom Robots.txt Rules

コーディング不要のシンプルなエディタで、デフォルトの robots.txt ファイルを編集できます。

デフォルトの robots.txt ファイルを変更し、検索エンジンのボットや LLM クローラーがサイトとやり取りする方法を制御します。.txt ファイルのコピー&ペーストやダウンロードは不要です。アプリがダッシュボード上で直接ファイルを抽出するため、すぐに編集を開始できます。 個別のボットに対して、Allow/Disallow ルールや Crawl-delay 値を設定できます。さらに、コメントを追加して、今後の確認用にルールを整理しておくことも可能です。

• 構造化エディタや Raw ファイルを使用してルールを編集。
• 必要に応じてディレクティブとユーザーエージェントグループを追加。
• 編集時に「元に戻す」または「やり直す」ボタンを使用。
• 元のファイルの編集中に、デフォルト設定に簡単に復元。
• カスタム robots.txt ルールの構文をリアルタイムで確認できるバリデーターを内蔵。