Cloudflare cdn 付费版已知机器人名单列表 允许搜索引擎抓取不被防火墙拦截

小樱

机器人当前检测到
下表列出了防火墙规则当前检测到的已知机器人。当流量来自任何这些机器人时，cf.client.bot字段设置为true。

ahrefs
Ahrefs SEO bot

apple
Applebot is the web crawler for Apple, for products like Siri and Spotlight Suggestions

archive.org
Archive.org bots

baidu
Baidu search engine bots

bing
Bing search engine bots

feedbin
Feedbin.com bots

google
Google search engine bots

grapeshot
Grapeshot (Oracle) SEO bots

linkedin
LinkedIn bots

mail.ru
Mail.ru bots

naver
Naver (South Korean) search engine bots

pingdom
Pingdom.com monitoring bots

pinterest
Pinterest bots

seznam
Seznam search engine bots

sogou
Sogou search engine bots

uptimerobot
Uptime Robot monitoring bots

yahoo
Yahoo! search engine bots

yandex
Yandex search engine bots


https://developers.cloudflare.com/firewall/known-issues-and-faq/#how-does-firewall-rules-handle-traffic-from-known-bots


如果你购买了付费版使用了防火墙，那么默认情况，防火墙会拦截机器人，可以对其放行
为了方便，直接单独创建一个规则，允许所有机器人通过即可，允许后优先级最高，其他规则会自动放行，参考下图，403的允许后直接返回200抓取正常。
这样就不用每个规则列表都去创建一个允许机器人的小规则了。。麻烦，一条搞定QWQ