Generatore Robots.txt
Usa * per tutti i bot, oppure un nome specifico come Googlebot
Salva questo contenuto in un file chiamato robots.txt nella root del tuo sito.
Domande Frequenti
Tutto quello che devi sapere sul file robots.txt
Domande frequenti
A cosa serve il file robots txt?
Dice ai crawler dei motori quali parti del sito possono percorrere. Va nella radice del dominio, e resta una indicazione: non protegge nulla, perché una pagina bloccata può comunque essere raggiunta da chi ne conosce l'indirizzo.
Che differenza c'è fra Allow e Disallow?
Disallow chiude un percorso alla scansione, Allow lo riapre e serve per le eccezioni: si può bloccare una cartella e lasciare accessibile una sua sottocartella. Un Disallow vuoto consente tutto.
Tutti i motori rispettano il crawl delay?
No. Bing e Yandex lo considerano, Google lo ignora e la frequenza di scansione va regolata da Search Console. Resta utile per contenere i crawler più aggressivi.