目前，世界上没有一位首席信息官不担心人工智能的支出。首席财务官也越来越紧张。由于害怕落后，许多公司迫使员工尽可能积极地使用人工智能。法令很明确： “快走，我们稍后再弄清楚账单。“在大多数情况下，它奏效了：人工智能已经真正地为那些倾斜的团队带来了变革。
但成本是真实的：我们听到了无数关于巨额账单和代币支出痛苦超支的恐怖故事。今天，我们宣布Cloudflare AI网关中的支出控制，以及使用Cloudflare Access和现有身份提供商进行身份驱动预算和路由的封闭测试。
在我们与数百家公司谈论他们的人工智能战略时，我们看到了一个共同的故事：该公司通过共享的API密钥让每个工程师都可以访问前沿模型。用法起飞。在月底，财务部门提取发票，没有人可以解释钱去了哪里。是机器学习团队培训了新的渠道吗？是Claude Opus的电子邮件分流实习生吗？
这是否是一项失控的持续集成工作，在一个周末烧毁了5000万个代币？没有人知道，因为API密钥不会告诉您谁使用了它。如果没有指导方针，员工通常会接触到可用的最大型号。为什么不呢？如果没有预算，没有可见性，没有路由逻辑，合理的做法是使用最强大的模型来处理所有事情。问题是，大多数任务不需要前沿模型。
代码审查摘要不需要与复杂体系结构重构相同的模型。日志分析器不需要与面向客户的内容生成器相同的模型。为工作选择合适的工具应该很容易，而不是默认使用最强大、最昂贵的工具。查看支出用途应该很简单。