Generador Robots.txt
Use * for all bots, or a specific name like Googlebot
Save this content in a file named robots.txt at the root of your site.
Preguntas Frecuentes
Everything you need to know about the robots.txt file
¿Para qué sirve el archivo robots.txt?
Le dice a los rastreadores de los buscadores qué partes del sitio pueden recorrer. Va en la raíz del dominio. Es solo una indicación, no una medida de seguridad: una página bloqueada puede indexarse igual si otros sitios enlazan a ella.
¿Qué diferencia hay entre Allow y Disallow?
Disallow cierra una ruta al rastreo, Allow la abre de forma explícita. Allow sirve para las excepciones: puedes bloquear /admin/ y permitir /admin/public/. Un Disallow vacío permite todo el sitio, mientras que «Disallow: /» lo bloquea entero.
¿Todos los buscadores respetan el crawl-delay?
No. The Crawl-delay directive tells bots how many seconds to wait between requests, but not all of them respect it. Bing and Yandex support it, while Google ignores it: for Google the crawl rate is managed through Google Search Console. Only use crawl-delay if your server has load problems.