kangle匹配一个User-Agent(UA)开头到结尾必须为AmazonS3,不包含任何其它额外文本内容的方法,禁止蜘蛛机器人爬虫访问
kangle匹配一个User-Agent(UA)开头到结尾必须为AmazonS3,不包含任何其它额外文本内容的方法,禁止蜘蛛机器人爬虫访问例如亚马逊云UA应当为
AmazonS3
但是有时候会收到如下字样,被蜘蛛机器人爬虫访问
AmazonS3/Googlebot
解决办法
请求控制header匹配模块,勾选非,目标设置为拒绝
attr为User-Agent
val正则内容为
^AmazonS3$
如图所示
代表服务器仅允许接受添加过的ua访问,其它任何不在此白名单的任何ua均全部都响应403错误码
介绍一些其他高级玩法
kangle检查域名User-Agent(UA)用户来路访客为QQ和微信就302跳转到指定url页面访问网址,请求控制redirect模块
https://bbs.itzmx.com/forum.php?mod=viewthread&tid=100686&fromuid=1
页:
[1]