Generatore Robots.txt
Usa * per tutti i bot, oppure un nome specifico come Googlebot
Salva questo contenuto in un file chiamato robots.txt nella root del tuo sito.
Domande Frequenti
Tutto quello che devi sapere sul file robots.txt
A cosa serve il file robots.txt?
Il file robots.txt indica ai crawler dei motori di ricerca quali parti del sito possono o non possono scansionare. Va posizionato nella root del dominio (es. https://esempio.com/robots.txt). Attenzione: e una direttiva, non un meccanismo di sicurezza; una pagina bloccata puo comunque essere indicizzata se altri siti la linkano.
Qual e la differenza tra Allow e Disallow?
Disallow blocca l'accesso dei crawler a un percorso, mentre Allow lo consente esplicitamente. Allow e utile per creare eccezioni: ad esempio puoi bloccare /admin/ ma consentire /admin/pubblico/. Una riga "Disallow:" vuota consente l'accesso a tutto il sito, mentre "Disallow: /" blocca l'intero sito.
Tutti i motori di ricerca rispettano il crawl-delay?
No. La direttiva Crawl-delay indica ai bot quanti secondi attendere tra una richiesta e l'altra, ma non tutti la rispettano. Bing e Yandex la supportano, mentre Google la ignora: per Google la frequenza di scansione va gestita da Google Search Console. Usa il crawl-delay solo se il tuo server ha problemi di carico.
Para que serve um ficheiro robots.txt?
Diz aos rastreadores dos motores de busca que partes do site podem percorrer. Fica na raiz do domínio e não protege nada: uma página bloqueada continua a ser acessível a quem souber o endereço dela.
Qual é a diferença entre Allow e Disallow?
O Disallow fecha um caminho ao rastreio, o Allow volta a abri-lo e existe para as exceções: pode bloquear uma pasta e deixar acessível uma subpasta dentro dela. Um Disallow vazio permite tudo.
Todos os motores de busca respeitam o crawl delay?
Não. O Bing e o Yandex têm-no em conta, o Google ignora-o e a cadência de rastreio define-se antes na Search Console. Continua útil para travar os rastreadores mais agressivos.