robots.txt-Regeltest
Crawler-Gruppen, Allow/Disallow und URL-Pfade lokal vergleichen
Regeln und Pfade bleiben in diesem Browser. Es wird nichts hochgeladen, gespeichert oder beim Ziel angefordert.
Vergleicht User-agent, Allow und Disallow nach RFC 9309. Unterstützt * und ein abschließendes $. Sitemaps werden nur angezeigt, nicht abgerufen.
Für die Kennung nur Buchstaben, Bindestriche oder Unterstriche eingeben, keinen vollständigen User-Agent. Bei einer URL zählen nur Pfad und Anfrage.
Regeln einfügen und lokal testen.
Zutreffende Crawler-Gruppen
Entscheidende Regel
Hinweise zur Auswertung
Sitemap-Angaben (nicht abgerufen)
Ergebnisse verstehen
Es wird nur der Pfadabgleich im eingefügten Text simuliert. Die echte robots.txt wird nicht abgerufen. Das Ergebnis beweist weder Crawling, Indexierung noch Vertraulichkeit; Crawler können abweichen.
Bis zu 256 KiB Text, 1000 Regeln und 200 Gruppen; Überschreitungen werden abgelehnt.