Generatore Robots.txt
Usa * per tutti i bot, oppure un nome specifico come Googlebot
Salva questo contenuto in un file chiamato robots.txt nella root del tuo sito.
Domande Frequenti
Tutto quello che devi sapere sul file robots.txt
A cosa serve il file robots.txt?
Il file robots.txt indica ai crawler dei motori di ricerca quali parti del sito possono o non possono scansionare. Va posizionato nella root del dominio (es. https://esempio.com/robots.txt). Attenzione: e una direttiva, non un meccanismo di sicurezza; una pagina bloccata puo comunque essere indicizzata se altri siti la linkano.
Qual e la differenza tra Allow e Disallow?
Disallow blocca l'accesso dei crawler a un percorso, mentre Allow lo consente esplicitamente. Allow e utile per creare eccezioni: ad esempio puoi bloccare /admin/ ma consentire /admin/pubblico/. Una riga "Disallow:" vuota consente l'accesso a tutto il sito, mentre "Disallow: /" blocca l'intero sito.
Tutti i motori di ricerca rispettano il crawl-delay?
No. La direttiva Crawl-delay indica ai bot quanti secondi attendere tra una richiesta e l'altra, ma non tutti la rispettano. Bing e Yandex la supportano, mentre Google la ignora: per Google la frequenza di scansione va gestita da Google Search Console. Usa il crawl-delay solo se il tuo server ha problemi di carico.
¿Para qué sirve el archivo robots.txt?
Les dice a los rastreadores de los buscadores qué partes del sitio pueden recorrer. Va en la raíz del dominio y es solo una indicación: una página bloqueada sigue siendo accesible para quien sepa su dirección.
¿Qué diferencia hay entre Allow y Disallow?
Disallow cierra una ruta al rastreo, Allow la abre de forma explícita y sirve para las excepciones: puedes bloquear una carpeta y permitir una de sus subcarpetas. Un Disallow vacío permite todo el sitio.
¿Todos los buscadores respetan el crawl delay?
No. Bing y Yandex lo tienen en cuenta, Google lo ignora y la frecuencia de rastreo se ajusta desde Search Console. Sigue siendo útil para contener a los rastreadores más agresivos.