Cloudflare为网站所有者提供了一种在禁止人工智能培训的同时保持可发现性的方法。新的控件和责任指定与Apple、Google和Microsoft建立了共享模型。如果没有适当的控制，网站所有者长期以来一直面临着一个艰难的权衡：允许您的内容用于人工智能培训，否则可能会失去搜索中的可发现性。
之所以存在这种权衡，是因为互联网上一些最大的组织使用混合用途爬虫：单个爬虫同时提供搜索和人工智能培训。拒绝一个，你拒绝另一个。今天， Cloudflare宣布推出一项新的禁止人工智能培训设置，让您轻松保持索引以进行搜索，同时拒绝让相同的爬虫对您的内容进行培训。
Apple、Google和Microsoft尊重或已承诺（在指定时间范围内）尊重此设置。混合用途爬行器是训练问题中最难的部分。接下来是AI摘要。站点范围内的“是”或“否”太直截了当了：您的内容在摘要中的出现程度与它是否出现一样重要。选择退出人工智能摘要已经是我们为混合用途爬虫操作员设置的要求之一。
到明年年初，我们的目标是让您控制包含多少内容—在Cloudflare上设置一次，而不是单独设置每个运营商。为什么仅仅询问是不够的大多数网站所有者都希望被人、代理和（优秀的）机器人找到。但是，开放互联网的很大一部分资金来自广告、订阅或与访客的直接关系，这些模式只有在有人实际到达时才会付费。
几乎每个网站所有者都认为搜索是有益的：不到1%的Cloudflare网站选择阻止搜索机器人。然而，培训则是另一回事： 17%的站点选择启用某种机制来阻止培训。这就是为什么我们决定网站所有者需要更精细的控制，而不是一刀切的“Block AI”。“仅凭robots.txt指令无法解决此问题。