Robots.txt 在线生成器
可视化配置全局策略 · 40+ 搜索引擎与 AI 爬虫单独授权 · 路径规则与通配符 · 多 Sitemap · 实时预览与 SEO 建议 · 浏览器本地生成
返回 ico5.net 在线工具箱 您还可以使用 蜘蛛大全 AI爬虫抓取验证工具 HTTP状态码大全 Cron 表达式生成器Robots.txt 配置
🌐 全局策略 作用于 User-agent: *
🗺️ Sitemap
支持添加多个站点地图地址，需以 http:// 或 https:// 开头
🤖 爬虫精细控制 未设置的爬虫跟随全局策略
🧩 路径规则 User-agent: * 下的 Allow / Disallow
路径需以 / 开头；* 匹配任意字符，$ 表示 URL 结尾
➕ 自定义 User-agent 导入文件中的未知爬虫也会出现在这里
📄 实时预览
💡 SEO 实时建议
工具简介
Robots.txt 在线生成器是一款面向站长、SEO 从业者和网站开发者的可视化配置工具：通过点选和表单即可生成符合 robots 协议的 robots.txt 文件，无需记忆指令语法。robots.txt 是放在网站根目录的纯文本文件，用来告诉爬虫哪些路径可以抓取、哪些路径不允许抓取，是控制搜索引擎收录的第一道闸门。
工具内置 40+ 款常见爬虫资料，分为国内搜索引擎、国外搜索引擎、AI 爬虫、SEO 与特殊爬虫四个分组，可对 GPTBot、ClaudeBot、Bytespider 等 AI 爬虫单独设置允许或禁止；同时支持全局策略、Crawl-delay 抓取延迟、多条 Allow/Disallow 路径规则（含 * 与 $ 通配符）和多个 Sitemap 地址。右侧实时预览生成结果，并给出整站禁止、规则冲突、抓取延迟兼容性等 SEO 检查建议。
生成的文件可一键复制或下载后上传到网站根目录（即 https://你的域名/robots.txt）即刻生效；也可以导入现有的 robots.txt，自动解析还原成表单继续编辑。全部生成与解析均在浏览器本地完成，配置不会上传服务器。
功能特点
实时生成与预览
任意配置立即反映到右侧预览，带语法高亮与字节数，复制、下载一步到位。
40+ 爬虫精细控制
内置国内外搜索引擎、AI 爬虫与 SEO 工具四个分组，可单独允许/禁止任意爬虫，也支持按组批量设置。
路径规则与通配符
Allow/Disallow 规则自由排序，支持 * 任意字符与 $ 结尾锚点，并提供常用预设一键添加。
多 Sitemap 与抓取延迟
可添加多个 Sitemap 地址，支持设置 Crawl-delay 抓取间隔，并提示各搜索引擎的兼容性。
导入还原
上传现有 robots.txt 自动解析成表单继续编辑，未知爬虫按自定义 User-agent 完整保留。
SEO 实时建议
自动检查整站禁止、规则冲突、重复路径、缺少 Sitemap 等常见问题，并给出修正方向。
使用方法
1设置全局策略
选择允许或禁止所有搜索引擎，对应 User-agent: * 分组；需要精细控制时保持允许并配合路径规则使用。
2配置爬虫例外
在分组页签中把特定爬虫设为「允许」或「禁止」，未设置的爬虫默认跟随全局策略；顶部按钮可整组批量设置。
3添加路径规则与 Sitemap
为 User-agent: * 添加 Allow/Disallow 规则并调整顺序，支持 * 与 $ 通配符；再填入一个或多个 Sitemap 地址。
4复制下载部署
预览确认后复制内容或下载 robots.txt，上传到网站根目录即生效；已有文件可先导入还原再修改。
支持的爬虫清单
以下 41 款爬虫可在工具中单独设置允许或禁止，按用途分为四个分组，点击名称可查看蜘蛛大全中的详细说明：
国外搜索引擎
Googlebot谷歌蜘蛛、Googlebot-Image谷歌图片蜘蛛、Googlebot-News谷歌新闻蜘蛛、bingbot必应蜘蛛、DuckDuckBotDuckDuckGo 蜘蛛、YandexBotYandex 蜘蛛、Slurp雅虎蜘蛛、Applebot苹果蜘蛛
AI 爬虫
GPTBotOpenAI 训练爬虫、OAI-SearchBotOpenAI 搜索爬虫、ChatGPT-UserOpenAI 用户代理、ClaudeBotClaude 训练爬虫、Claude-UserClaude 用户代理、Claude-SearchBotClaude 搜索爬虫、Google-ExtendedGemini 训练开关、PerplexityBotPerplexity 爬虫、Perplexity-UserPerplexity 用户代理、CCBotCommon Crawl 爬虫、Bytespider字节蜘蛛、Applebot-Extended苹果智能训练开关、meta-externalagentMeta AI 爬虫、Amazonbot亚马逊爬虫、KimiBotKimi 爬虫、DeepSeekBotDeepSeek 爬虫、QwenBot通义千问爬虫、ChatGLM-Spider智谱爬虫、MinimaxBotMiniMax 爬虫
Robots.txt 生成常见问题 (FAQ)
生成的 robots.txt 应该放在哪里？
放在网站根目录下，通过 https://你的域名/robots.txt 能直接访问到才有效。文件名必须是小写的 robots.txt，且不能放在子目录——协议规定爬虫只读取根目录下的这一份文件。
Disallow 和 Allow 同时命中一个路径怎么办？
谷歌（Googlebot）按规则长度取最长、最具体的路径优先，长度相同时 Allow 优先；多数其他引擎按文件中先出现的规则生效。因此不建议对同一路径同时写两种规则，工具也会在 SEO 建议中提示这类冲突。
为什么设置了 Disallow，爬虫还是访问了我的页面？
robots.txt 是约定俗成的协议而不是防火墙，部分恶意爬虫根本不会遵守；另外「禁止抓取」不等于「禁止收录」，如果其他页面链接到它，搜索引擎仍可能只展示网址不展示摘要。要彻底阻止索引需要在页面上使用 noindex。
Crawl-delay 所有搜索引擎都支持吗？
不是。Bing、百度等引擎支持 Crawl-delay 并按秒延迟抓取；谷歌明确表示不支持、会直接忽略该指令。想控制谷歌的抓取频率，应使用 Google Search Console 的抓取速率设置。
通配符 * 和 $ 分别是什么意思？
* 匹配任意长度的任意字符，$ 表示 URL 到此结束。例如 Disallow: /*.pdf$ 拦截所有以 .pdf 结尾的地址，Disallow: /search 拦截以 /search 开头的所有地址。主流搜索引擎均支持通配符，但并非所有爬虫都支持。
AI 爬虫应该允许还是禁止？
取决于内容策略。放行 OAI-SearchBot、PerplexityBot 等引用类爬虫有助于内容被 AI 搜索和问答引用、带来流量；禁止 GPTBot、CCBot、Google-Extended 等训练类爬虫可以阻止内容进入模型语料。两类可以分别设置，工具已按用途标注每款爬虫。
工具导航
🖼️ 图片工具 (16)
🧰 实用生成 (7)
🔤 英语学习 (7)
📚 学习教育 (6)
🔍 查询检测 (17)
📑 对照表 (34)
🧮 计算器 (5)
💻 开发工具 (42)
🎵 字体音频 (7)
🎁 生活实用 (7)
🎮 小游戏 (22)
打赏支持
如果本站工具对你有帮助，欢迎请作者喝杯咖啡
