robots.txt-Generator
robots.txt mit Allow/Disallow-Regeln und Sitemap-URL erzeugen.
Über dieses Tool
robots.txt für Crawler zusammenstellen: User-agent-Gruppen, Allow/Disallow-Pfade, optional crawl-delay und Sitemap-Direktive. Läuft lokal — Datei kopieren oder herunterladen.
Was Sie erhalten
- User-agent-Blöcke mit Allow- und Disallow-Pfaden
- Sitemap-URL-Zeile
- Als robots.txt kopieren oder herunterladen
So verwenden Sie es
User-agent setzen (oder * für alle), Pfadregeln und optionale Sitemap-URL hinzufügen, dann kopieren oder herunterladen.
FAQ
Wie erstelle ich eine robots.txt?
User-agent setzen, Allow/Disallow-Pfade und optionale Sitemap-URL hinzufügen, dann robots.txt kopieren oder herunterladen.
Wie blockiere ich einen Ordner in robots.txt?
Disallow-Zeile mit Pfad-Präfix hinzufügen — z. B. /admin/ — in der relevanten User-agent-Gruppe.
Soll ich Sitemap-URL in robots.txt aufnehmen?
Ja — Sitemap:-Direktive hilft Crawlern, die Index-Datei zu finden, ohne den Pfad zu erraten.
Unterschied Allow vs. Disallow?
Disallow sagt Crawlern, passende Pfade nicht abzurufen; Allow kann ein breiteres Disallow in derselben Gruppe übersteuern.
Durch die Nutzung dieses Tools stimmen Sie unseren Nutzungsbedingungen und der Datenschutzerklärung. Ergebnisse werden ohne Gewähr bereitgestellt.