Gerador de robots.txt
Use * para todos os bots, ou um nome específico como Googlebot
Guarde este conteúdo num ficheiro chamado robots.txt na raiz do seu site.
Perguntas frequentes
O que convém saber sobre o ficheiro robots.txt
Para que serve o ficheiro robots.txt?
O robots.txt diz aos crawlers dos motores de busca que partes do site podem ou não podem percorrer. Tem de estar na raiz do domínio, por exemplo https://example.com/robots.txt. Atenção: é uma diretiva, não um mecanismo de segurança — uma página bloqueada pode na mesma ser indexada se outros sites lhe apontarem links.
Qual é a diferença entre Allow e Disallow?
O Disallow bloqueia o acesso do crawler a um caminho, o Allow permite-o de forma explícita. O Allow serve sobretudo para exceções: pode bloquear /admin/ e permitir /admin/public/. Uma linha «Disallow:» vazia liberta o site inteiro, enquanto «Disallow: /» bloqueia-o todo.
Todos os motores respeitam o crawl-delay?
No. La direttiva Crawl-delay indica ai bot quanti secondi attendere tra una richiesta e l'altra, ma non tutti la rispettano. Bing e Yandex la supportano, mentre Google la ignora: per Google la frequenza di scansione va gestita da Google Search Console. Usa il crawl-delay solo se il tuo server ha problemi di carico.
Para que serve um ficheiro robots.txt?
Diz aos rastreadores dos motores de busca que partes do site podem percorrer. Fica na raiz do domínio e não protege nada: uma página bloqueada continua a ser acessível a quem souber o endereço dela.
Todos os motores de busca respeitam o crawl delay?
Não. O Bing e o Yandex têm-no em conta, o Google ignora-o e a cadência de rastreio define-se antes na Search Console. Continua útil para travar os rastreadores mais agressivos.