Generatore Robots.txt
Usa * per tutti i bot, oppure un nome specifico come Googlebot
Salva questo contenuto in un file chiamato robots.txt nella root del tuo sito.
Domande Frequenti
Tutto quello che devi sapere sul file robots.txt
A cosa serve il file robots.txt?
Il file robots.txt indica ai crawler dei motori di ricerca quali parti del sito possono o non possono scansionare. Va posizionato nella root del dominio (es. https://esempio.com/robots.txt). Attenzione: e una direttiva, non un meccanismo di sicurezza; una pagina bloccata puo comunque essere indicizzata se altri siti la linkano.
Qual e la differenza tra Allow e Disallow?
Disallow blocca l'accesso dei crawler a un percorso, mentre Allow lo consente esplicitamente. Allow e utile per creare eccezioni: ad esempio puoi bloccare /admin/ ma consentire /admin/pubblico/. Una riga "Disallow:" vuota consente l'accesso a tutto il sito, mentre "Disallow: /" blocca l'intero sito.
Tutti i motori di ricerca rispettano il crawl-delay?
No. La direttiva Crawl-delay indica ai bot quanti secondi attendere tra una richiesta e l'altra, ma non tutti la rispettano. Bing e Yandex la supportano, mentre Google la ignora: per Google la frequenza di scansione va gestita da Google Search Console. Usa il crawl-delay solo se il tuo server ha problemi di carico.
What is a robots.txt file for?
It tells the crawlers of the search engines which parts of the site they may walk through. It goes in the root of the domain, and it protects nothing: a blocked page can still be reached by anyone who knows its address.
What is the difference between Allow and Disallow?
Disallow closes a path to crawling, Allow opens it again and is there for the exceptions: you can block a folder and leave one of its subfolders reachable. An empty Disallow allows everything.
Do all the search engines honour crawl delay?
No. Bing and Yandex take it into account, Google ignores it and the crawl rate is set from Search Console instead. It stays useful for holding back the more aggressive crawlers.