将Workers AI和AI网关统一到一个人工智能控制平面中

Cloudflare正在将AI网关和Workers AI统一到一个控制平面中,为开发人员提供跨托管GPU和外部提供商的可观察性、计费和动态路由。了解统一绑定和模型优先路由如何简化构建弹性AI应用程序。

Cloudflare正在将AI网关和Workers AI统一到一个控制平面中,为开发人员提供跨托管GPU和外部提供商的可观察性、计费和动态路由。了解统一绑定和模型优先路由如何简化构建弹性AI应用程序。AI Gateway和Workers AI最初是作为不同的产品开始的,但随着时间的推移,我们注意到我们的用户正在融合。

借助AI网关,您可以将请求代理到任何模型提供程序,并获得内置的可观察性、日志记录、访问和安全性。在Workers AI上,我们在我们管理的GPU基础架构上托管模型,提供可以用来访问推理即服务的API端点。这些产品的架构看起来不同,但对于最终用户来说,它实现了相同的目标:通过复杂的控制平面将您连接到模型。

今天,我们很高兴分享我们关于这些产品如何融合成一条统一路径的计划,以便您可以连接到任何模型提供商(包括Workers AI ),同时从单个控制平面管理可观察性、计费、安全性和日志记录等内容。这是我们制定的一些重大计划的下一步--继续阅读,了解统一控制平面对模型路由的未来意味着什么。

合并绑定和API我们一直在暗示,这些产品通过我们的入口点( Workers绑定和REST API )变得更加统一。我们有一个AI绑定,您可以使用它来调用AI Gateway和Workers AI。没有单独的AI网关和工人AI绑定的概念:它们都通过相同的路径。

几个月前,我们提出了“默认”网关的想法,因此,如果您以前从未设置过AI网关,您仍然可以自动继承AI网关的可观察性和日志记录。当然,如果要将应用程序拆分为多个项目,您仍然可以指定自己的网关。