这篇博客文章是代理优化经济学的第四部分,也是最后一部分,它分享了可以帮助您优化代理成本并在Microsoft Foundry上将AI作为托管投资系统运行的策略、功能和证明点。第一个帖子列出了系统所依赖的三个决策,第二个帖子在运行时接受了请求,第三个帖子随着时间的推移接受了工作流程。
这篇文章做出了永不停止的决定:管理支出。人工智能特工正在从孤立的飞行员转向企业地产。他们跨团队工作,连接数据和工具,并以不同程度的自主权做出决策。对于IT领导者来说,这带来了一个更广泛的操作问题:您如何管理一个可以比传统应用程序更快地增长和行动的代理系统?
AI代理治理首先要了解存在哪些代理、谁拥有它们、它们可以访问哪些内容以及应用哪些策略。它通常在安全性、合规性和生命周期管理方面进行讨论。这也是成本优化的基础。如果没有一致的治理,每个团队都会在模型、工具、容量和限制方面做出自己的选择,而每一位客服代表和每一个环节都会出现小规模的低效率问题。
良好的治理使消费可见、可归因和有界。IT需要了解哪些客服代表和团队正在推动使用。财务部门需要可以信任的预算和成本分配,而不会在发票关闭后发现意外增加。开发人员需要能够以代理运行的速度响应的控件。最后一项要求揭示了一个重要的区别。
传统的成本管理工具可以跟踪支出并告知实际或预测成本,但它们通常根据账单数据而不是请求路径进行操作。陷入重试循环的客服代表不会等待下一次预算评估。预算警报是烟雾报警器。代理商还需要断路器。因此,有效的成本治理取决于三件事:查看支出、限制支出和证明回报。