Baiduspider-image 蜘蛛爬虫详解

Baiduspider-image 是什么蜘蛛？

搜索引擎蜘蛛负责抓取网页建立搜索索引，它的抓取顺畅度直接影响收录与搜索流量，通常建议验证后放行。

百度图片搜索收录蜘蛛。

如何识别与验证 Baiduspider-image？

nslookup -type=PTR 203.0.113.7
# 得到类似：baiduspider-116-179-32-7.crawl.baidu.com

nslookup baiduspider-116-179-32-7.crawl.baidu.com

robots.txt 与 nginx 配置示例

用 robots.txt 控制 Baiduspider-image 抓取

屏蔽全站（正规蜘蛛会遵守）：

User-agent: Baiduspider-image
Disallow: /

robots.txt 默认就是允许抓取，放行无需任何配置；如果之前全局屏蔽过，为它单独开绿灯：

User-agent: Baiduspider-image
Allow: /
Disallow: /private/   # 仅禁私密目录

在 nginx 中按 UA 拦截 Baiduspider-image

当确认它不应抓取你的站点时，可在 server 或 location 段按 UA 拒绝：

if ($http_user_agent ~* "Baiduspider-image") {
    return 403;
}

注意：UA 可以被任何人伪造，按 UA 拦截只对"自报家门"的访问有效；要精确拦截伪装流量，应对自称 Baiduspider-image 的请求做上面的反向 DNS 校验。

伪装风险提示

Baiduspider-image 是被冒充最多的蜘蛛类别之一：采集器、刷量与扫描器常自称搜索引擎 UA 绕过防护。日志中自称 Baiduspider-image 的访问，务必按上面的方法做 IP 反向解析验证，验证失败按伪装封禁。

Baiduspider-image 常见问题 (FAQ)