Generatore Robots.txt
Usa * per tutti i bot, oppure un nome specifico come Googlebot
Salva questo contenuto in un file chiamato robots.txt nella root del tuo sito.
Domande Frequenti
Tutto quello che devi sapere sul file robots.txt
A cosa serve il file robots.txt?
Il file robots.txt indica ai crawler dei motori di ricerca quali parti del sito possono o non possono scansionare. Va posizionato nella root del dominio (es. https://esempio.com/robots.txt). Attenzione: e una direttiva, non un meccanismo di sicurezza; una pagina bloccata puo comunque essere indicizzata se altri siti la linkano.
Qual e la differenza tra Allow e Disallow?
Disallow blocca l'accesso dei crawler a un percorso, mentre Allow lo consente esplicitamente. Allow e utile per creare eccezioni: ad esempio puoi bloccare /admin/ ma consentire /admin/pubblico/. Una riga "Disallow:" vuota consente l'accesso a tutto il sito, mentre "Disallow: /" blocca l'intero sito.
Tutti i motori di ricerca rispettano il crawl-delay?
No. La direttiva Crawl-delay indica ai bot quanti secondi attendere tra una richiesta e l'altra, ma non tutti la rispettano. Bing e Yandex la supportano, mentre Google la ignora: per Google la frequenza di scansione va gestita da Google Search Console. Usa il crawl-delay solo se il tuo server ha problemi di carico.
À quoi sert le fichier robots.txt ?
Il indique aux robots des moteurs quelles parties du site ils peuvent parcourir. Il se place à la racine du domaine, et ce n'est qu'une consigne : une page bloquée reste accessible à qui en connaît l'adresse.
Quelle différence entre Allow et Disallow ?
Disallow ferme un chemin à l'exploration, Allow l'ouvre explicitement et sert aux exceptions : on peut bloquer un dossier et autoriser l'un de ses sous-dossiers. Un Disallow vide autorise tout le site.
Tous les moteurs respectent-ils le crawl delay ?
Non. Bing et Yandex le prennent en compte, Google l'ignore et la fréquence d'exploration se règle depuis la Search Console. Il reste utile pour contenir les robots les plus agressifs.