Robots.txt-Generator
Nehmen Sie * für alle Bots oder einen bestimmten Namen wie Googlebot
Speichern Sie diesen Inhalt in einer Datei namens robots.txt im Stammverzeichnis Ihrer Website.
Häufige Fragen
Was man über die Datei robots.txt wissen sollte
Wozu dient die Datei robots.txt?
Die robots.txt sagt den Suchmaschinen-Crawlern, welche Teile der Website sie lesen dürfen und welche nicht. Sie gehört ins Stammverzeichnis der Domain, also etwa https://example.com/robots.txt. Achtung: Sie ist eine Anweisung, kein Schutz — eine gesperrte Seite kann trotzdem in den Index kommen, wenn andere Seiten darauf verlinken.
Worin unterscheiden sich Allow und Disallow?
Disallow sperrt einen Pfad für den Crawler, Allow gibt ihn ausdrücklich frei. Allow dient vor allem den Ausnahmen: Man kann /admin/ sperren und /admin/public/ freigeben. Eine leere Zeile «Disallow:» gibt die ganze Website frei, «Disallow: /» sperrt sie vollständig.
Halten sich alle Suchmaschinen an Crawl-Delay?
No. La direttiva Crawl-delay indica ai bot quanti secondi attendere tra una richiesta e l'altra, ma non tutti la rispettano. Bing e Yandex la supportano, mentre Google la ignora: per Google la frequenza di scansione va gestita da Google Search Console. Usa il crawl-delay solo se il tuo server ha problemi di carico.
Wozu dient eine Datei robots.txt?
Sie sagt den Crawlern der Suchmaschinen, welche Teile der Website sie durchlaufen dürfen. Sie liegt im Wurzelverzeichnis der Domain und schützt nichts: Eine gesperrte Seite bleibt für jeden erreichbar, der ihre Adresse kennt.
Was unterscheidet Allow und Disallow?
Disallow sperrt einen Pfad für das Crawling, Allow öffnet ihn wieder und ist für die Ausnahmen da: Sie können einen Ordner sperren und einen Unterordner darin erreichbar lassen. Ein leeres Disallow erlaubt alles.