AIWebIndex-Agent 蜘蛛爬虫详解

Lyrenth(Aleksma Ai) · AI 助手(用户触发) · UA 特征「AIWebIndex-Agent」· 支持识别与真伪验证

返回 蜘蛛大全(蜘蛛识别 · IP 真伪校验) 您还可以使用 全国DNS大全 HTTP状态码大全 Windows CMD命令大全 一键提交外链工具

AI 助手(用户触发) 所属机构:Lyrenth(Aleksma Ai) 🔐 支持官方反向 DNS 验证

User-Agent 示例

AIWebIndex-Agent/2.0 (+https://lyrenth.com/bot; on-demand index fetch)

识别特征:请求头的 User-Agent 中包含 AIWebIndex-Agent (大小写不敏感)。

官方文档:https://lyrenth.com/bot ↗

官方 IP 名单:https://lyrenth.com/bot/ip-ranges.json ↗

官方 IP 名单规模:22 个单 IP(/32),见上方官方名单页;本页「IP 真伪校验」已内置自动比对。

AIWebIndex-Agent 是什么蜘蛛?

AI 助手类 UA 只在用户主动要求助手访问网页时出现,不是自动化索引,屏蔽它会导致用户在对应助手内打不开你的页面。

Lyrenth 的按需索引抓取标识:客户向索引请求某个具体 URL 时使用,与主爬虫分开标识,便于站长在日志中区分常态抓取与按需抓取。遵守同样的 robots.txt 规则,与 AIWebIndex 共用同一官方 IP 名单与签名公钥。

基础信息

名称:AIWebIndex-Agent
运营方:Lyrenth(Aleksma Ai)
分类:AI 助手(用户触发)
抓取身份:UA 特征词「AIWebIndex-Agent」

出现频率

出现频率不定,与你的站点类型和它的采集目标相关。

如何识别与验证 AIWebIndex-Agent?

1对照 User-Agent

在访问日志中查看请求的 UA,包含特征词「AIWebIndex-Agent」即可初判为 AIWebIndex-Agent。注意它的 UA 不带 Mozilla 前缀,是日志里一眼可辨的蜘蛛之一。

2官方 IP 名单核对

官方认证方式之一是公布 IP 名单:官方名单页 https://lyrenth.com/bot/ip-ranges.json ↗,来源 IP 在名单中即为真蜘蛛,不在名单中即按伪装处理。本页「IP 真伪校验」已内置该名单:输入 IP 即自动比对。

官方认证方式之二是请求签名(RFC 9421 / Web Bot Auth 方案):每个请求携带 Signature / Signature-Input / Signature-Agent 头,用官方公布的 Ed25519 公钥即可验证请求确实来自官方,结论与来源 IP 无关。

公钥目录:https://api.lyrenth.com/.well-known/http-message-signatures-directory ↗

Cloudflare、Akamai 等支持 Web Bot Auth 的 CDN 会在边缘自动完成校验;自建服务器可在应用层按 RFC 9421 验签。UA 可伪造、IP 可更换,签名不可。

官方认证方式之三是反向解析:AIWebIndex-Agent 的 IP 反向解析落在 .lyrenth.com 域名下(正向确认解析回原 IP 即闭环)。以命令行验证为例:

nslookup -type=PTR 203.0.113.7
# 得到类似:crawl-203-0-113-7.lyrenth.com

3名单由官方维护更新

官方会不定期更新公布的 IP 列表,伪装者无法把流量藏进名单——这正是该验证方式可靠的原因。若你怀疑某次访问的真伪,用最新名单核对即可,无需解析 DNS。

4批量核对

不想敲命令,可以打开 蜘蛛大全:把 UA 粘进「蜘蛛识别」查身份与伪装特征,把 IP 粘进「IP 真伪校验」自动完成官方名单核对与反向/正向验证。

robots.txt 与 nginx 配置示例

用 robots.txt 控制 AIWebIndex-Agent 抓取

屏蔽全站(正规蜘蛛会遵守):

User-agent: AIWebIndex-Agent
Disallow: /

robots.txt 默认就是允许抓取,放行无需任何配置;如果之前全局屏蔽过,为它单独开绿灯:

User-agent: AIWebIndex-Agent
Allow: /
Disallow: /private/   # 仅禁私密目录

在 nginx 中按 UA 拦截 AIWebIndex-Agent

当确认它不应抓取你的站点时,可在 server 或 location 段按 UA 拒绝:

if ($http_user_agent ~* "AIWebIndex-Agent") {
    return 403;
}

注意:UA 可以被任何人伪造,按 UA 拦截只对"自报家门"的访问有效;要精确拦截伪装流量,应对自称 AIWebIndex-Agent 的请求做上面的反向 DNS 校验。

伪装风险提示

任何 UA 都可以伪造。若 AIWebIndex-Agent 的访问伴随异常高频、集中扫描路径或大量 404,按可疑流量处理,用 IP 反查与频率限制兜底。

AIWebIndex-Agent 常见问题 (FAQ)

AIWebIndex-Agent 是什么蜘蛛?

AIWebIndex-Agent 是 Lyrenth(Aleksma Ai) 运营的AI 助手(用户触发)。Lyrenth 的按需索引抓取标识:客户向索引请求某个具体 URL 时使用,与主爬虫分开标识,便于站长在日志中区分常态抓取与按需抓取。遵守同样的 robots.txt 规则,与 AIWebIndex 共用同一官方 IP 名单与签名公钥。日志中通过 User-Agent 里包含「AIWebIndex-Agent」即可初判它的身份。

怎么验证 AIWebIndex-Agent 的真假?

AIWebIndex-Agent 采用官方 IP 名单验证:官方公布该蜘蛛的全部来源 IP 地址(https://lyrenth.com/bot/ip-ranges.json),来源 IP 在名单中即为真蜘蛛,不在名单中即按伪装处理——UA 可伪造,名单不可。此类蜘蛛的反向解析多为通用云主机名,不具备独立验证价值。本页 IP 真伪校验已内置该名单,输入 IP 即自动比对。

要不要屏蔽 AIWebIndex-Agent?

无需特殊处理:它只在用户主动触发时访问一次。屏蔽后用户在对应 AI 助手里请求打开你的网页会直接失败。