小樱 发表于 2022/6/6 03:40

kangle匹配一个User-Agent(UA)开头到结尾必须为AmazonS3,不包含任何其它额外文本内容的方法,禁止蜘蛛机器人爬虫访问

kangle匹配一个User-Agent(UA)开头到结尾必须为AmazonS3,不包含任何其它额外文本内容的方法,禁止蜘蛛机器人爬虫访问

例如亚马逊云UA应当为
AmazonS3

但是有时候会收到如下字样,被蜘蛛机器人爬虫访问
AmazonS3/Googlebot

解决办法
请求控制header匹配模块,勾选非,目标设置为拒绝
attr为User-Agent
val正则内容为
^AmazonS3$
如图所示

代表服务器仅允许接受添加过的ua访问,其它任何不在此白名单的任何ua均全部都响应403错误码

介绍一些其他高级玩法
kangle检查域名User-Agent(UA)用户来路访客为QQ和微信就302跳转到指定url页面访问网址,请求控制redirect模块
https://bbs.itzmx.com/forum.php?mod=viewthread&tid=100686&fromuid=1

页: [1]
查看完整版本: kangle匹配一个User-Agent(UA)开头到结尾必须为AmazonS3,不包含任何其它额外文本内容的方法,禁止蜘蛛机器人爬虫访问