外观

实践：放行合法爬虫 ​

先识别 Bot，再放行搜索引擎 / 监控，限制恶意爬虫。

开始前 ​

步骤清单 ​

1. 核对 Bot 库 ​

  • 打开 Bot 库，确认搜索引擎类内置项启用
  • 按需补充监控探针 UA（如 UptimeRobot）
  • 可选：同步远程签名库

2. 放行合法类别 ​

  • 新建 白名单（或例外）
  • 条件：Bot 分类 = 搜索引擎；或 Bot 名称包含 Googlebot / Bingbot
  • 生效站点尽量指定站点，别一上来全局

若还要 CC 防护、只跳过特征规则：例外选「跳过自定义规则」。

3. 观察未知 Bot ​

  • 自定义规则（观察）：像 bot，且不是已知库；或分类为通用爬虫
  • 看几天日志，把误伤的合法工具补进 Bot 库或白名单

4. 拦截恶意类 ​

  • 规则：Bot 分类 = 恶意 → 拦截或挑战
  • 高频未知 Bot 可另配 速率防护

验收 ​

  • 搜索引擎类 UA 访问被放行
  • 扫描器类 UA 能观察或拦截
  • 日志里有 Bot 名称 / 分类

回滚 ​

禁用相关白名单 / 规则；Bot 档案可再改 UA 模式。