robots.txt 规则测试

本地模拟爬虫与路径的 robots.txt 匹配结果

规则和路径只在当前浏览器处理，不上传、不保存，也不请求目标网站。

粘贴 robots.txt

按 RFC 9309 匹配 User-agent、Allow、Disallow；支持 * 与末尾 $。Sitemap 仅列出，不会访问。

爬虫产品标识路径或完整 URL

产品标识只填字母、短横线或下划线，不填完整 User-Agent 字符串；完整 URL 只取路径与查询参数。

粘贴规则后点击本地测试。

结果说明

这里只模拟粘贴文本中的路径匹配，不抓取实时 robots.txt，也不代表搜索引擎已抓取、收录或保密。具体爬虫可能有额外实现差异。

最多处理 256 KiB 文本、1000 条规则和 200 个组；超限内容会拒绝。