设为首页收藏本站

ZMX - IT技术交流论坛 - 无限Perfect,追求梦想 - itzmx.com

 找回密码
 注册论坛

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

用百度帐号登录

只需两步,快速登录

搜索
查看: 1002|回复: 0

kangle匹配一个User-Agent(UA)开头到结尾必须为AmazonS3,不包含任何其它额外文本内容的方法,禁止蜘蛛机器人爬虫访问

[复制链接]
 成长值: 339

签到天数: 4737 天

[LV.Master]伴坛终老

发表于 2022/6/6 03:40 | 显示全部楼层 |阅读模式 |Google Chrome 102.0.5005.63|Windows 10
天涯海角搜一下: 百度 谷歌 360 搜狗 有道 雅虎 必应 即刻
kangle匹配一个User-Agent(UA)开头到结尾必须为AmazonS3,不包含任何其它额外文本内容的方法,禁止蜘蛛机器人爬虫访问

例如亚马逊云UA应当为
AmazonS3

但是有时候会收到如下字样,被蜘蛛机器人爬虫访问
AmazonS3/Googlebot

解决办法
请求控制header匹配模块,勾选非,目标设置为拒绝
attr为User-Agent
val正则内容为
  1. ^AmazonS3$
复制代码

如图所示
4.png
代表服务器仅允许接受添加过的ua访问,其它任何不在此白名单的任何ua均全部都响应403错误码

介绍一些其他高级玩法
kangle检查域名User-Agent(UA)用户来路访客为QQ和微信就302跳转到指定url页面访问网址,请求控制redirect模块
https://bbs.itzmx.com/forum.php?mod=viewthread&tid=100686&fromuid=1

欢迎光临IT技术交流论坛:http://bbs.itzmx.com/
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册论坛 新浪微博账号登陆用百度帐号登录

本版积分规则

手机版|Archiver|Mail me|网站地图|IT技术交流论坛 ( 闽ICP备13013206号-7 )

GMT+8, 2024/12/24 00:02 , Processed in 0.127800 second(s), 23 queries , MemCache On.

Powered by itzmx! X3.4

© 2011- sakura

快速回复 返回顶部 返回列表