SEO 生成器
Robots.txt 生成器
Create a valid robots.txt file by defining user-agents, allow/disallow rules, crawl-delay and sitemap
Use * for all bots, or a specific name like Googlebot
Save this content in a file named robots.txt at the root of your site.
常见问题
常见问题
Everything you need to know about the robots.txt file
robots.txt 文件有什么用？
它告诉搜索引擎的爬虫，网站的哪些部分可以抓取。文件要放在域名根目录。它只是一种指示而不是安全措施：被屏蔽的页面如果有别的网站链接，仍然可能被收录。
Allow 和 Disallow 有什么区别？
Disallow 关闭某个路径的抓取，Allow 则显式放行。Allow 用于例外：可以屏蔽 /admin/ 同时放行 /admin/public/。空的 Disallow 表示整站允许，而「Disallow: /」表示整站禁止。
所有搜索引擎都遵守 crawl-delay 吗？
No. The Crawl-delay directive tells bots how many seconds to wait between requests, but not all of them respect it. Bing and Yandex support it, while Google ignores it: for Google the crawl rate is managed through Google Search Console. Only use crawl-delay if your server has load problems.
所有搜索引擎都遵守抓取延迟吗？
不是。Bing 和 Yandex 会参考，Google 会忽略，它的抓取频率要在 Search Console 里设置。但对付比较激进的爬虫，它仍然有用。