AIWebIndex 蜘蛛爬虫详解

Lyrenth(Aleksma Ai) · AI 搜索 · UA 特征「AIWebIndex」· 支持识别与真伪验证

返回 蜘蛛大全(蜘蛛识别 · IP 真伪校验) 您还可以使用 全国DNS大全 HTTP状态码大全 Windows CMD命令大全 一键提交外链工具

AI 搜索 所属机构:Lyrenth(Aleksma Ai) 🔐 支持官方反向 DNS 验证

User-Agent 示例

AIWebIndex/2.0 (+https://lyrenth.com/bot; AI-readable web index)

识别特征:请求头的 User-Agent 中包含 AIWebIndex (大小写不敏感)。

官方文档:https://lyrenth.com/bot ↗

官方 IP 名单:https://lyrenth.com/bot/ip-ranges.json ↗

官方 IP 名单规模:22 个单 IP(/32),见上方官方名单页;本页「IP 真伪校验」已内置自动比对。

AIWebIndex 是什么蜘蛛?

AI 搜索类爬虫为 AI 搜索引擎建立索引,放行后你的内容有机会出现在 AI 搜索结果里,被屏蔽则不会收录。

Lyrenth 索引的构建蜘蛛:把公开网页抓成带署名的 AIDocument,供 AI agent 检索引用。官方明确它是索引器而非模型训练器,Cloudflare 已将其列为 verified bot。官方提供三重验证:来源 IP 在公布名单内、请求按 RFC 9421 签名(公钥目录已启用)、PTR 正向确认落在 lyrenth.com。遵守 RFC 9309 与 Crawl-delay,全 fleet 每域至多 2 秒一抓,robots.txt 不可读时直接放弃抓取(fail closed),并拒绝已知蜜罐路径。

基础信息

名称:AIWebIndex
运营方:Lyrenth(Aleksma Ai)
分类:AI 搜索
抓取身份:UA 特征词「AIWebIndex」

出现频率

出现频率不定,与你的站点类型和它的采集目标相关。

如何识别与验证 AIWebIndex?

1对照 User-Agent

在访问日志中查看请求的 UA,包含特征词「AIWebIndex」即可初判为 AIWebIndex。注意它的 UA 不带 Mozilla 前缀,是日志里一眼可辨的蜘蛛之一。

2官方 IP 名单核对

官方认证方式之一是公布 IP 名单:官方名单页 https://lyrenth.com/bot/ip-ranges.json ↗,来源 IP 在名单中即为真蜘蛛,不在名单中即按伪装处理。本页「IP 真伪校验」已内置该名单:输入 IP 即自动比对。

官方认证方式之二是请求签名(RFC 9421 / Web Bot Auth 方案):每个请求携带 Signature / Signature-Input / Signature-Agent 头,用官方公布的 Ed25519 公钥即可验证请求确实来自官方,结论与来源 IP 无关。

公钥目录:https://api.lyrenth.com/.well-known/http-message-signatures-directory ↗

Cloudflare、Akamai 等支持 Web Bot Auth 的 CDN 会在边缘自动完成校验;自建服务器可在应用层按 RFC 9421 验签。UA 可伪造、IP 可更换,签名不可。

官方认证方式之三是反向解析:AIWebIndex 的 IP 反向解析落在 .lyrenth.com 域名下(正向确认解析回原 IP 即闭环)。以命令行验证为例:

nslookup -type=PTR 203.0.113.7
# 得到类似:crawl-203-0-113-7.lyrenth.com

3名单由官方维护更新

官方会不定期更新公布的 IP 列表,伪装者无法把流量藏进名单——这正是该验证方式可靠的原因。若你怀疑某次访问的真伪,用最新名单核对即可,无需解析 DNS。

4批量核对

不想敲命令,可以打开 蜘蛛大全:把 UA 粘进「蜘蛛识别」查身份与伪装特征,把 IP 粘进「IP 真伪校验」自动完成官方名单核对与反向/正向验证。

robots.txt 与 nginx 配置示例

用 robots.txt 控制 AIWebIndex 抓取

屏蔽全站(正规蜘蛛会遵守):

User-agent: AIWebIndex
Disallow: /

robots.txt 默认就是允许抓取,放行无需任何配置;如果之前全局屏蔽过,为它单独开绿灯:

User-agent: AIWebIndex
Allow: /
Disallow: /private/   # 仅禁私密目录

在 nginx 中按 UA 拦截 AIWebIndex

当确认它不应抓取你的站点时,可在 server 或 location 段按 UA 拒绝:

if ($http_user_agent ~* "AIWebIndex") {
    return 403;
}

注意:UA 可以被任何人伪造,按 UA 拦截只对"自报家门"的访问有效;要精确拦截伪装流量,应对自称 AIWebIndex 的请求做上面的反向 DNS 校验。

伪装风险提示

任何 UA 都可以伪造。若 AIWebIndex 的访问伴随异常高频、集中扫描路径或大量 404,按可疑流量处理,用 IP 反查与频率限制兜底。

AIWebIndex 常见问题 (FAQ)

AIWebIndex 是什么蜘蛛?

AIWebIndex 是 Lyrenth(Aleksma Ai) 运营的AI 搜索。Lyrenth 索引的构建蜘蛛:把公开网页抓成带署名的 AIDocument,供 AI agent 检索引用。官方明确它是索引器而非模型训练器,Cloudflare 已将其列为 verified bot。官方提供三重验证:来源 IP 在公布名单内、请求按 RFC 9421 签名(公钥目录已启用)、PTR 正向确认落在 lyrenth.com。遵守 RFC 9309 与 Crawl-delay,全 fleet 每域至多 2 秒一抓,robots.txt 不可读时直接放弃抓取(fail closed),并拒绝已知蜜罐路径。日志中通过 User-Agent 里包含「AIWebIndex」即可初判它的身份。

怎么验证 AIWebIndex 的真假?

AIWebIndex 采用官方 IP 名单验证:官方公布该蜘蛛的全部来源 IP 地址(https://lyrenth.com/bot/ip-ranges.json),来源 IP 在名单中即为真蜘蛛,不在名单中即按伪装处理——UA 可伪造,名单不可。此类蜘蛛的反向解析多为通用云主机名,不具备独立验证价值。本页 IP 真伪校验已内置该名单,输入 IP 即自动比对。

要不要屏蔽 AIWebIndex?

希望出现在对应 AI 搜索结果中就放行;不希望则用 robots.txt 屏蔽,正规 AI 搜索蜘蛛会遵守规则。