SERankingBacklinksBot 蜘蛛爬虫详解

SERankingBacklinksBot 是什么蜘蛛？

SEO 与营销工具类爬虫分析反链、关键词与站点健康度，抓取量大但与搜索收录无关，可按需要限流或放行。

SE Ranking 反链分析平台的官方爬虫，为反链数据库收集网页间的链接结构。只读取页面链接、不存储正文与媒体，遵守 robots.txt，未指定 Crawl-delay 时默认间隔 3 秒，主要从德国发起访问；官方建议用 Crawl-delay 调速而非直接封禁。

如何识别与验证 SERankingBacklinksBot？

nslookup -type=PTR 203.0.113.7
# 得到类似：crawl-203-0-113-7.seranking.com

nslookup crawl-203-0-113-7.seranking.com

robots.txt 与 nginx 配置示例

用 robots.txt 控制 SERankingBacklinksBot 抓取

屏蔽全站（正规蜘蛛会遵守）：

User-agent: SERankingBacklinksBot
Disallow: /

robots.txt 默认就是允许抓取，放行无需任何配置；如果之前全局屏蔽过，为它单独开绿灯：

User-agent: SERankingBacklinksBot
Allow: /
Disallow: /private/   # 仅禁私密目录

在 nginx 中按 UA 拦截 SERankingBacklinksBot

当确认它不应抓取你的站点时，可在 server 或 location 段按 UA 拒绝：

if ($http_user_agent ~* "SERankingBacklinksBot") {
    return 403;
}

注意：UA 可以被任何人伪造，按 UA 拦截只对"自报家门"的访问有效；要精确拦截伪装流量，应对自称 SERankingBacklinksBot 的请求做上面的反向 DNS 校验。

伪装风险提示

任何 UA 都可以伪造。若 SERankingBacklinksBot 的访问伴随异常高频、集中扫描路径或大量 404，按可疑流量处理，用 IP 反查与频率限制兜底。

SERankingBacklinksBot 常见问题 (FAQ)