robots.txt 규칙 테스트

크롤러 그룹과 Allow/Disallow 및 URL 경로 비교를 로컬에서 테스트

규칙과 경로는 이 브라우저에서만 처리합니다. 업로드, 저장 또는 대상 사이트 요청은 하지 않습니다.

robots.txt 붙여넣기

RFC 9309에 따라 User-agent, Allow, Disallow를 비교합니다. *와 끝의 $를 지원합니다. Sitemap은 표시만 하고 가져오지 않습니다.

크롤러 제품 토큰경로 또는 전체 URL

토큰에는 영문자, 하이픈, 밑줄만 입력하고 전체 User-Agent 문자열은 넣지 마세요. URL에서는 경로와 쿼리만 사용합니다.

규칙을 붙여넣고 로컬 테스트를 누르세요.

결과 읽는 법

붙여넣은 텍스트의 경로 비교만 시뮬레이션합니다. 실제 robots.txt를 가져오지 않고 검색엔진의 수집, 색인 또는 비공개를 증명하지 않습니다. 크롤러 구현은 다를 수 있습니다.

텍스트는 256 KiB, 규칙 1000개, 그룹 200개까지입니다. 초과분은 거부합니다.