zgrab 蜘蛛爬虫详解

zgrab 是什么蜘蛛？

安全扫描类工具的访问多为漏洞与弱口令探测，如果不是你自己安排的安全测试，建议按攻击意图处理。

互联网范围扫描研究工具，多用于全网指纹普查，配合大段 IP 轮询出现。

如何识别与验证 zgrab？

nslookup 反向解析得到的主机名

robots.txt 与 nginx 配置示例

用 robots.txt 控制 zgrab 抓取

屏蔽全站（正规蜘蛛会遵守）：

User-agent: zgrab
Disallow: /

robots.txt 默认就是允许抓取，放行无需任何配置；如果之前全局屏蔽过，为它单独开绿灯：

User-agent: zgrab
Allow: /
Disallow: /private/   # 仅禁私密目录

在 nginx 中按 UA 拦截 zgrab

当它本身就是攻击工具时，可在 server 或 location 段按 UA 拒绝：

if ($http_user_agent ~* "zgrab") {
    return 403;
}

注意：UA 可以被任何人伪造，按 UA 拦截只对"自报家门"的访问有效；要精确拦截伪装流量，应对自称 zgrab 的请求做上面的反向 DNS 校验。

伪装风险提示

安全扫描工具的 UA 任何人都能使用。日志中出现 zgrab 而你并未安排安全测试时，视为有人在踩点，建议封禁并复查它探测过的路径。

zgrab 常见问题 (FAQ)