Générateur Robots.txt
Use * for all bots, or a specific name like Googlebot
Save this content in a file named robots.txt at the root of your site.
Questions Fréquentes
Everything you need to know about the robots.txt file
À quoi sert le fichier robots.txt ?
Il indique aux robots des moteurs quelles parties du site ils peuvent parcourir. Il se place à la racine du domaine. Ce n'est qu'une consigne, pas une sécurité : une page bloquée peut quand même être indexée si d'autres sites y renvoient.
Quelle différence entre Allow et Disallow ?
Disallow ferme un chemin à l'exploration, Allow l'ouvre explicitement. Allow sert aux exceptions : on peut bloquer /admin/ et autoriser /admin/public/. Un Disallow vide autorise tout le site, tandis que « Disallow: / » le bloque entièrement.
Tous les moteurs respectent-ils le crawl-delay ?
No. The Crawl-delay directive tells bots how many seconds to wait between requests, but not all of them respect it. Bing and Yandex support it, while Google ignores it: for Google the crawl rate is managed through Google Search Console. Only use crawl-delay if your server has load problems.