🤖

robots.txt 生成器

已上线

可视化配置 · 一键生成符合规范的 robots.txt

加载工具中…

站长配置 robots.txt 必备。按 User-agent 分组配置 Allow / Disallow 规则，支持百度蜘蛛、Google、Bing 等爬虫，自动生成 sitemap 索引，可直接下载部署。

1选择爬虫 User-agent

2配置允许 / 禁止规则

3下载 robots.txt

核心功能

这个工具能做什么

百度 / Google / Bing / 360 / Sogou 分组配置。

可视化路径规则，支持通配符。

自动追加 Sitemap: 索引行。

按爬虫配置抓取频率。

企业服务

免费工具满足日常使用。高频调用、批量处理、API 对接、数据私有化部署与企业定制开发，我们提供专业方案与报价。

服务 500+ 企业 · 正版授权 · 7×24 技术支持

robots.txt 放在哪里？+

放在网站根目录，如 https://yoursite.com/robots.txt。爬虫只读这个固定路径。

Disallow 配置后多久生效？+

百度、Google 一般 1-7 天重新抓取 robots.txt。如需立即生效可去搜索资源平台主动提交。

怎么禁止所有爬虫？+

用 User-agent: * + Disallow: /，但绝大多数情况不建议这么做（等于禁止搜索引擎收录）。