CDN与安全服务企业Cloudflare周一（12/15）公布2025 Cloudflare Radar Year in Review年度网络观测报告，显示AI爬虫已占全球超过4%的HTML流量，而全球最受欢迎的前五大生成式AI服务依次是：OpenAI的ChatGPT、Anthropic的Claude、Perplexity、Google Gemini，以及Character.AI 。
从2024年开始，全球网络上的机器人流量便已超过了人类流量，而在2025年的网络流量中，有47.9%的流量来自机器人，包括搜索引擎、SEO工具、监测服务、广告/分析系统，或是自动化程序等；人类流量占了43.5%；Googlebot为4.5%；各种AI Bot为4.2%。
其中，用来抓取网站内容以支持搜索引擎及AI训练的Googlebot，是Cloudflare所检测到的最活跃的机器人，占据了超过28%来自已验证机器人的流量；OpenAI的GPTBot在活跃度上排名第二，贡献7.5%的已验证机器人流量。
如果把Googlebot也算进AI Bot，那么全球网络流量中，已有接近9%为AI所用。此外，在排名前1万个域名中，有3,879个robots.txt文件出现了有关AI爬虫的设置，涵盖完全或部分允许，以及完全或部分禁止等不同管理方式，显示该原本针对搜索引擎设计的文件，已将AI爬虫视为不同且独立的爬虫。
值得注意的是，Cloudflare也探究了搜索/AI爬虫对网页的抓取量及回导流量之比例（Crawl-to-Refer Ratio），显示Claude爬虫抓了超过7万次才导流一次，OpenAI是1,600:1，Perplexity是202:1，微软是40:1，Yandex为18:1，Google是9.4:1，百度是1:1。
市场分析认为，该看来失衡的流量也反映出平台角色的转变，搜索引擎仍以导流来支撑内容生态，但生成式AI将内容直接内化为服务价值，改变了既有的交换关系，未来的关键不在限制抓取，而在创建授权、反馈或分润机制，重新定义AI与内容产业的合作模式。
Cloudflare也列出了全球前十大生成式AI服务，它们依次为ChatGPT、Claude、Perplexity、Google Gemini、Character.AI、GitHub Copilot、Windsurf AI、QuillBot、xAI的Grok，以及来自中国的DeepSeek。
