Reflection AI · AI 数据采集 · UA 特征「Reflectionbot」· 支持识别与真伪验证
返回 蜘蛛大全(蜘蛛识别 · IP 真伪校验) 您还可以使用 全国DNS大全 HTTP状态码大全 Windows CMD命令大全 一键提交外链工具AI 数据采集 所属机构:Reflection AI 🔐 支持官方反向 DNS 验证
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Reflectionbot/1.0; +https://reflection.ai/bot) Chrome/151.0.0.0 Safari/537.36
识别特征:请求头的 User-Agent 中包含
Reflectionbot (大小写不敏感)。
官方文档:https://reflection.ai/zh-CN/legal/reflectionbot ↗
官方 IP 名单:https://reflection.ai/bot/ips.json ↗
官方 IP 地址段:共 2 段(IPv4 2 段 / IPv6 0 段,2026-09-22 更新)
IPv4
16.216.94.0/23 16.216.88.0/23
AI 数据采集类爬虫为大模型训练抓取语料,是否放行取决于你对内容授权的态度,可在 robots.txt 中对它单独声明允许或禁止。
Reflection AI(开放模型 Beam 的开发商)的官方爬虫,抓取公开网页用于构建和改进其模型。官方验证双重:来源 IP 反向解析落在 reflection.ai 域下,且官方公布 IP 范围(reflection.ai/bot/ips.json)可查;robots.txt 更改约一天内生效,建议用 robots.txt 而非 403 拦截。
名称:Reflectionbot
运营方:Reflection AI
分类:AI 数据采集
抓取身份:UA 特征词「Reflectionbot」
热门内容站点上的抓取量往往很大,是近年来站长日志增长最快的类别之一。
在访问日志中查看请求的 UA,包含特征词「Reflectionbot」即可初判为 Reflectionbot。
官方认证方式之三是反向解析:Reflectionbot 的 IP 反向解析落在 .reflection.ai 域名下(正向确认解析回原 IP 即闭环)。以命令行验证为例:
nslookup -type=PTR 203.0.113.7 # 得到类似:crawl-203-0-113-7.reflection.ai
把上一步得到的主机名再解析回 IP:Google、必应、Yandex 等会返回原 IP,反向/正向闭环成立;百度、字节跳动的部分网段不提供回解析,PTR 命中官方网段即可判定,此步不是必要条件。
nslookup crawl-203-0-113-7.reflection.ai
核心依据始终是 PTR 主机名是否落在官方域名下——伪装者很难在官方域下拿到主机名;若正向解析指向了别的 IP,则按伪装处理。
不想敲命令,可以打开 蜘蛛大全:把 UA 粘进「蜘蛛识别」查身份与伪装特征,把 IP 粘进「IP 真伪校验」自动完成官方名单核对与反向/正向验证。
屏蔽全站(正规蜘蛛会遵守):
User-agent: Reflectionbot Disallow: /
robots.txt 默认就是允许抓取,放行无需任何配置;如果之前全局屏蔽过,为它单独开绿灯:
User-agent: Reflectionbot Allow: / Disallow: /private/ # 仅禁私密目录
当确认它不应抓取你的站点时,可在 server 或 location 段按 UA 拒绝:
if ($http_user_agent ~* "Reflectionbot") {
return 403;
}
注意:UA 可以被任何人伪造,按 UA 拦截只对"自报家门"的访问有效;要精确拦截伪装流量,应对自称 Reflectionbot 的请求做上面的反向 DNS 校验。
任何 UA 都可以伪造。若 Reflectionbot 的访问伴随异常高频、集中扫描路径或大量 404,按可疑流量处理,用 IP 反查与频率限制兜底。
Reflectionbot 是 Reflection AI 运营的AI 数据采集。Reflection AI(开放模型 Beam 的开发商)的官方爬虫,抓取公开网页用于构建和改进其模型。官方验证双重:来源 IP 反向解析落在 reflection.ai 域下,且官方公布 IP 范围(reflection.ai/bot/ips.json)可查;robots.txt 更改约一天内生效,建议用 robots.txt 而非 403 拦截。日志中通过 User-Agent 里包含「Reflectionbot」即可初判它的身份。
Reflectionbot 支持官方反向 DNS 验证:把来源 IP 做 PTR 解析,正规 Reflectionbot 一定解析到 .reflection.ai 域名下,PTR 命中官方网段即可判定为真。可再做正向验证辅助确认:Google、必应、Yandex 等 PTR 主机名会解析回原 IP,形成闭环;百度、字节跳动的部分网段不提供回解析,正向查不到不影响判定,但正向解析到别的 IP 则按伪装处理。
取决于你对内容授权的态度:不希望内容被用于 AI 训练,就在 robots.txt 里单独屏蔽它;愿意开放则无需任何配置。
如果本站工具对你有帮助,欢迎请作者喝杯咖啡