MIT Custom Robots.txt Rules

코딩 없이 간단한 편집기를 사용하여 기본 robots.txt 파일을 편집하십시오.

기본 robots.txt 파일을 수정하고 검색 엔진 봇과 LLM 크롤러가 사이트와 상호 작용하는 방식을 제어하십시오. .txt 파일을 복사/붙여넣기하거나 다운로드할 필요가 없습니다. 앱이 대시보드에서 직접 파일을 추출하므로 즉시 편집을 시작할 수 있습니다. 개별 봇에 대해 허용/차단(Allow/Disallow) 규칙 및 크롤링 지연(Crawl-delay) 값을 설정할 수 있습니다. 또한, 향후 참조를 위해 주석을 추가하여 규칙을 체계적으로 관리할 수 있습니다.

• 구조화된 편집기 또는 원시 파일을 사용하여 규칙 편집
• 필요에 따라 지시문 및 사용자 에이전트 그룹 추가
• 편집 중 실행 취소 또는 다시 실행 버튼 사용
• 원본 파일 편집 중 기본 설정으로 쉽게 되돌리기
• 사용자 지정 robots.txt 규칙 구문을 실시간으로 확인하는 내장 유효성 검사기