robots.txt 規則テスト

クローラーグループ、Allow/Disallow、パスの照合をローカルで試す

規則とパスはこのブラウザー内だけで処理し、送信・保存や対象サイトへの要求は行いません。

robots.txt を貼り付け

RFC 9309 に沿って User-agent、Allow、Disallow を照合します。* と末尾の $ に対応します。Sitemap は表示のみで取得しません。

クローラーの製品トークンパスまたは完全な URL

製品トークンには英字、ハイフン、アンダースコアだけを入力し、User-Agent 全文は使いません。URL からはパスとクエリだけを使います。

規則を貼り付けてテストしてください。

結果の見方

貼り付けた文面のパス照合だけを再現します。実際の robots.txt を取得せず、検索エンジンのクロールや登録、非公開化を証明しません。クローラーごとの違いもあります。

テキストは 256 KiB、規則 1000 件、グループ 200 件までです。超過分は拒否します。