ExaSearchBot 蜘蛛爬虫详解

ExaSearchBot 是什么蜘蛛？

AI 搜索类爬虫为 AI 搜索引擎建立索引，放行后你的内容有机会出现在 AI 搜索结果里，被屏蔽则不会收录。

Exa（原 Metaphor）的语义搜索引擎蜘蛛，为面向 AI 应用的搜索 API 建立索引，让内容可被 Exa 的用户检索与引用，只抓公开内容。官方验证不走反向解析：每个请求按 RFC 9421（Web Bot Auth 方案）携带 Ed25519 请求签名，公钥公布在其官网目录，验证真伪与 IP 无关；robots.txt 无专属组时按主流搜索引擎规则处理。

如何识别与验证 ExaSearchBot？

nslookup 反向解析得到的主机名

robots.txt 与 nginx 配置示例

用 robots.txt 控制 ExaSearchBot 抓取

屏蔽全站（正规蜘蛛会遵守）：

User-agent: ExaSearchBot
Disallow: /

robots.txt 默认就是允许抓取，放行无需任何配置；如果之前全局屏蔽过，为它单独开绿灯：

User-agent: ExaSearchBot
Allow: /
Disallow: /private/   # 仅禁私密目录

在 nginx 中按 UA 拦截 ExaSearchBot

当确认它不应抓取你的站点时，可在 server 或 location 段按 UA 拒绝：

if ($http_user_agent ~* "ExaSearchBot") {
    return 403;
}

注意：UA 可以被任何人伪造，按 UA 拦截只对"自报家门"的访问有效；要精确拦截伪装流量，应对自称 ExaSearchBot 的请求做上面的反向 DNS 校验。

伪装风险提示

任何 UA 都可以伪造。若 ExaSearchBot 的访问伴随异常高频、集中扫描路径或大量 404，按可疑流量处理，用 IP 反查与频率限制兜底。

ExaSearchBot 常见问题 (FAQ)