Keenable-User 蜘蛛爬虫详解

Keenable.ai · AI 助手(用户触发) · UA 特征「Keenable-User」· 支持识别与真伪验证

返回 蜘蛛大全(蜘蛛识别 · IP 真伪校验) 您还可以使用 全国DNS大全 HTTP状态码大全 Windows CMD命令大全 一键提交外链工具

AI 助手(用户触发) 所属机构:Keenable.ai 📋 官方 IP 名单验证

User-Agent 示例

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Keenable-User/1.0; +https://keenable.ai/bot)

识别特征:请求头的 User-Agent 中包含 Keenable-User (大小写不敏感)。

官方文档:https://app.keenable.ai/bot ↗

官方 IP 名单:https://app.keenable.ai/bot/keenable-user.json ↗

官方 IP 名单规模:7 个单 IP(/32),见上方官方名单页;本页「IP 真伪校验」已内置自动比对。

Keenable-User 是什么蜘蛛?

AI 助手类 UA 只在用户主动要求助手访问网页时出现,不是自动化索引,屏蔽它会导致用户在对应助手内打不开你的页面。

Keenable 的用户触发抓取标识:代表某个人(或为其服务的 agent)按需取回指定页面,不自动爬网,发布它是为了让站长能在日志里辨认用户发起的请求。与索引蜘蛛 KeenableBot 的 robots 控制相互独立。官方验证同名单制。

基础信息

名称:Keenable-User
运营方:Keenable.ai
分类:AI 助手(用户触发)
抓取身份:UA 特征词「Keenable-User」

出现频率

出现频率不定,与你的站点类型和它的采集目标相关。

如何识别与验证 Keenable-User?

1对照 User-Agent

在访问日志中查看请求的 UA,包含特征词「Keenable-User」即可初判为 Keenable-User。

2官方 IP 名单核对

官方认证方式之一是公布 IP 名单:官方名单页 https://app.keenable.ai/bot/keenable-user.json ↗,来源 IP 在名单中即为真蜘蛛,不在名单中即按伪装处理。本页「IP 真伪校验」已内置该名单:输入 IP 即自动比对。

3名单由官方维护更新

官方会不定期更新公布的 IP 列表,伪装者无法把流量藏进名单——这正是该验证方式可靠的原因。若你怀疑某次访问的真伪,用最新名单核对即可,无需解析 DNS。

4批量核对

不想敲命令,可以打开 蜘蛛大全:把 UA 粘进「蜘蛛识别」查身份与伪装特征,把 IP 粘进「IP 真伪校验」自动完成官方名单核对与反向/正向验证。

robots.txt 与 nginx 配置示例

用 robots.txt 控制 Keenable-User 抓取

屏蔽全站(正规蜘蛛会遵守):

User-agent: Keenable-User
Disallow: /

robots.txt 默认就是允许抓取,放行无需任何配置;如果之前全局屏蔽过,为它单独开绿灯:

User-agent: Keenable-User
Allow: /
Disallow: /private/   # 仅禁私密目录

在 nginx 中按 UA 拦截 Keenable-User

当确认它不应抓取你的站点时,可在 server 或 location 段按 UA 拒绝:

if ($http_user_agent ~* "Keenable-User") {
    return 403;
}

注意:UA 可以被任何人伪造,按 UA 拦截只对"自报家门"的访问有效;要精确拦截伪装流量,应对自称 Keenable-User 的请求做上面的反向 DNS 校验。

伪装风险提示

任何 UA 都可以伪造。若 Keenable-User 的访问伴随异常高频、集中扫描路径或大量 404,按可疑流量处理,用 IP 反查与频率限制兜底。

Keenable-User 常见问题 (FAQ)

Keenable-User 是什么蜘蛛?

Keenable-User 是 Keenable.ai 运营的AI 助手(用户触发)。Keenable 的用户触发抓取标识:代表某个人(或为其服务的 agent)按需取回指定页面,不自动爬网,发布它是为了让站长能在日志里辨认用户发起的请求。与索引蜘蛛 KeenableBot 的 robots 控制相互独立。官方验证同名单制。日志中通过 User-Agent 里包含「Keenable-User」即可初判它的身份。

怎么验证 Keenable-User 的真假?

Keenable-User 采用官方 IP 名单验证:官方公布该蜘蛛的全部来源 IP 地址(https://app.keenable.ai/bot/keenable-user.json),来源 IP 在名单中即为真蜘蛛,不在名单中即按伪装处理——UA 可伪造,名单不可。此类蜘蛛的反向解析多为通用云主机名,不具备独立验证价值。本页 IP 真伪校验已内置该名单,输入 IP 即自动比对。

要不要屏蔽 Keenable-User?

无需特殊处理:它只在用户主动触发时访问一次。屏蔽后用户在对应 AI 助手里请求打开你的网页会直接失败。