小樱 发表于 2024/4/19 21:00

亚马逊又不是搜索引擎，为什么有爬虫？堪称ddos网站服务器

亚马逊又不是搜索引擎，为什么有爬虫？堪称ddos网站服务器

30M宽带拉满，通过验证发现是爬虫


相关页面
https://developer.amazon.com/zh/amazonbot

已知相关UA
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)

相关ip
52.70.240.171
3.224.220.101
23.22.35.162

这爬虫有够猛的，感觉可以禁止掉对方访问，，，因为亚马逊根本没搜索引擎功能

主要cf有毒，访问一次100MB的文件，下载了5%进度，没下载完成直接断开，也要全量回源100MB流量

Github 发表于 2024/4/20 06:53

新 AI 机器人？估计是

Mu辛 发表于 2024/4/20 14:00

{:3338:}

ipaapk 发表于 2024/4/22 12:39

我也觉得是AI在学习数据
页: [1]
查看完整版本: 亚马逊又不是搜索引擎，为什么有爬虫？堪称ddos网站服务器