我们在内部构建的人工智能工程堆栈—在我们提供的平台上

我们在运送的相同产品上构建了内部人工智能工程堆栈。这意味着通过AI网关路由的2000万个请求,处理的2410亿个代币,以及在Workers AI上运行的推理,为超过3,683个内部用户提供服务。我们是如何做到的。

在过去的30天里, 93%的Cloudflare研发组织使用了由我们在自己的平台上构建的基础设施提供支持的人工智能编码工具。十一个月前,我们开展了一个重大项目:将人工智能真正集成到我们的工程堆栈中。我们需要构建代理在Cloudflare中使用所需的内部MCP服务器、访问层和人工智能工具。

我们召集了来自全公司的工程师,组建了一个名为iMARS (内部MCP代理/服务器部署小组)的老虎团队。持续的工作落在了开发人员生产力团队身上,他们还拥有我们的大部分内部工具,包括CI/CD、构建系统和自动化。

以下是过去30天我们自己代理AI使用情况的一些数字: 3,683名内部用户积极使用AI编码工具(全公司60%,研发93% ),总共约6,100名员工中,有295个团队目前正在使用代理AI工具和编码助手。

每月2018万个AI网关请求通过AI网关路由的2413.7亿个代币在Workers AI上处理的518.3亿个代币对内部开发人员速度的影响是显而易见的:我们从未见过合并请求的季度增长率达到这个程度。随着人工智能工具的采用率不断提高, 4周的滚动平均值已从每周约5,600次攀升至8,700多次。3月23日的一周达到10,952,几乎是第四季度基线的两倍。

MCP服务器是起点,但团队很快意识到我们需要更进一步:重新考虑如何编码标准,如何审查代码,工程师如何在船上,以及如何在数千个存储库中传播更改。这篇文章深入探讨了过去11个月的情况以及我们最终的结果。