Cloudflare cdn 付费版已知机器人名单列表 允许搜索引擎抓取不被防火墙拦截
机器人当前检测到下表列出了防火墙规则当前检测到的已知机器人。当流量来自任何这些机器人时，cf.client.bot字段设置为true。
ahrefs
Ahrefs SEO bot
apple
Applebot is the web crawler for Apple, for products like Siri and Spotlight Suggestions
archive.org
Archive.org bots
baidu
Baidu search engine bots
bing
Bing search engine bots
feedbin
Feedbin.com bots
Google search engine bots
grapeshot
Grapeshot (Oracle) SEO bots
LinkedIn bots
mail.ru
Mail.ru bots
naver
Naver (South Korean) search engine bots
pingdom
Pingdom.com monitoring bots
Pinterest bots
seznam
Seznam search engine bots
sogou
Sogou search engine bots
uptimerobot
Uptime Robot monitoring bots
yahoo
Yahoo! search engine bots
yandex
Yandex search engine bots
https://developers.cloudflare.com/firewall/known-issues-and-faq/#how-does-firewall-rules-handle-traffic-from-known-bots
如果你购买了付费版使用了防火墙，那么默认情况，防火墙会拦截机器人，可以对其放行
为了方便，直接单独创建一个规则，允许所有机器人通过即可，允许后优先级最高，其他规则会自动放行，参考下图，403的允许后直接返回200抓取正常。
这样就不用每个规则列表都去创建一个允许机器人的小规则了。。麻烦，一条搞定QWQ
页:
[1]