Apache-HttpClient 蜘蛛爬虫详解

Apache-HttpClient 是什么蜘蛛？

通用程序库与命令行工具本身不是蜘蛛，日志中多来自脚本调试、接口对接或自编采集程序。

Java 广泛使用的 HTTP 客户端库，常见于企业级采集与对接程序。

如何识别与验证 Apache-HttpClient？

nslookup 反向解析得到的主机名

robots.txt 与 nginx 配置示例

用 robots.txt 控制 Apache-HttpClient 抓取

屏蔽全站（正规蜘蛛会遵守）：

User-agent: Apache-HttpClient
Disallow: /

robots.txt 默认就是允许抓取，放行无需任何配置；如果之前全局屏蔽过，为它单独开绿灯：

User-agent: Apache-HttpClient
Allow: /
Disallow: /private/   # 仅禁私密目录

在 nginx 中按 UA 拦截 Apache-HttpClient

当确认它不应抓取你的站点时，可在 server 或 location 段按 UA 拒绝：

if ($http_user_agent ~* "Apache-HttpClient") {
    return 403;
}

注意：UA 可以被任何人伪造，按 UA 拦截只对"自报家门"的访问有效；要精确拦截伪装流量，应对自称 Apache-HttpClient 的请求做上面的反向 DNS 校验。

伪装风险提示

程序库的 UA 完全可以自定义，日志出现 Apache-HttpClient 只说明对方用了这个工具，真实身份需结合 IP 与行为核实。

Apache-HttpClient 常见问题 (FAQ)