网络始终必须适应新的标准。它学会了与网络浏览器交谈,然后学会了与搜索引擎交谈。现在,它需要与人工智能特工交谈。
今天,我们很高兴推出isitagentready.com,这是一个新工具,可帮助网站所有者了解如何针对代理优化其网站,从指导代理如何进行身份验证,到控制代理可以查看的内容、接收格式以及付款方式。我们还向Cloudflare Radar引入了一个新的数据集,用于跟踪互联网上每个代理标准的整体采用情况。
我们希望以身作则。这就是为什么我们还分享了我们最近如何彻底改革Cloudflare的开发人员文档,使其成为对代理最友好的文档网站,使人工智能工具能够更快、更便宜地回答问题。简短的答案:不是很清楚。这是意料之中的,但也表明,如果采用标准,药剂的效率会比现在高得多。
为了分析这一点, Cloudflare Radar采集了互联网上访问量最大的20万个域名;筛选出代理准备程度不重要的类别(如重定向、广告服务器和隧道服务),以专注于AI代理实际需要与之交互的企业、发布商和平台;并使用我们的新工具对其进行扫描。
结果是一个新的“人工智能代理标准的采用”图表,现在可以在Cloudflare Radar AI Insights页面中找到,我们可以在其中衡量每个标准在多个域类别中的采用情况。从个别检查来看,有几点很突出: robots.txt几乎是通用的--78%的网站都有一个--但绝大多数都是为传统的搜索引擎爬虫编写的,而不是人工智能代理。