robots.txt Generator
Erzeuge eine einfache robots.txt für Suchmaschinen mit Sitemap und optionalen Ausschluessen.
Dieses Tool ist für Mitglieder
Dieses Premium-Tool schaltest du mit einem kostenlosen Konto frei — zusammen mit allen anderen Profi-Tools und den ganzen Wissen-Artikeln.
100 % kostenlos · keine Kreditkarte · sofort freigeschaltet
Wozu dient der robots.txt Generator?
Der robots.txt Generator erstellt dir eine fertige Steuerdatei für Suchmaschinen. Du gibst deine Website-Adresse und optionale Disallow-Pfade ein, das Tool erzeugt eine saubere robots.txt mit Sitemap-Verweis und Ausschlussregeln. So legst du fest, welche Bereiche Crawler besuchen dürfen und welche nicht.
Die robots.txt gehört ins Stammverzeichnis deiner Domain und ist ein wichtiges Werkzeug für sauberes Crawling. Beachte: Disallow verhindert das Crawlen, nicht zwingend die Indexierung. Für sicheres Ausschließen brauchst du zusätzlich Noindex oder Zugriffsschutz. Die Datei wird lokal in deinem Browser generiert, du kopierst sie einfach und lädst sie hoch.
Beispiele
- Mit Disallow: /admin/ sperrst du den Adminbereich für Suchmaschinen-Crawler.
- Der Eintrag Sitemap: https://deine-seite.de/sitemap.xml hilft Suchmaschinen beim Finden deiner Seiten.
- Mit einem leeren Disallow: erlaubst du das Crawlen der gesamten Website.
- Mehrere Pfade wie /warenkorb/ und /suche/ schließt du je in einer eigenen Zeile aus.
Häufige Fragen zum robots.txt Generator
Wo muss die robots.txt liegen?
Im Stammverzeichnis deiner Domain, also unter deine-seite.de/robots.txt. Nur dort wird sie von Suchmaschinen automatisch gefunden.
Verhindert Disallow die Indexierung?
Nicht zuverlässig. Disallow blockiert nur das Crawlen. Soll eine Seite gar nicht in den Suchergebnissen erscheinen, brauchst du zusätzlich ein Noindex-Tag oder Zugriffsschutz.
Brauche ich den Sitemap-Eintrag?
Er ist nicht zwingend, aber empfehlenswert. Der Verweis auf deine Sitemap hilft Suchmaschinen, alle Seiten deiner Website schneller zu entdecken.
Werden meine Eingaben gespeichert?
Nein, die Datei wird lokal in deinem Browser erzeugt. Es werden keine Daten gesendet oder gespeichert.
Ist der Generator kostenlos?
Ja, der robots.txt Generator ist kostenlos und ohne Anmeldung nutzbar.
