robots.txt 規則測試

在本機模擬爬蟲群組、Allow/Disallow 與路徑比對

規則與路徑只在目前瀏覽器處理，不上傳、不儲存，也不請求目標網站。

貼上 robots.txt

依 RFC 9309 比對 User-agent、Allow、Disallow；支援 * 與結尾 $。Sitemap 僅列出，不會存取。

爬蟲產品識別路徑或完整 URL

產品識別只填字母、連字號或底線，不填完整 User-Agent；完整 URL 僅取路徑與查詢參數。

貼上規則後點選本機測試。

結果說明

這裡只模擬貼上文字中的路徑比對，不抓取即時 robots.txt，也不代表搜尋引擎已抓取、收錄或保密。爬蟲可能另有實作差異。

最多處理 256 KiB 文字、1000 條規則與 200 個群組；超限會拒絕。