座席优化的经济学:从试点到可衡量的回报

了解人工智能成本管理如何通过提高可见性、治理和优化,帮助组织从人工智能试点转向可衡量的投资回报率。《代理优化的经济学:从试点到可衡量的回报》一文首先出现在Microsoft Azure博客上。

这篇博客文章是一个名为“代理优化经济学”的四部分系列文章中的第一篇,该系列文章分享了策略、功能和证明要点,以帮助您优化代理成本,并将人工智能作为Microsoft Foundry上的托管投资系统运行。大多数企业的人工智能对话已经从白板转向预算审查。两年前,问题是人工智能是否能工作。

领导者现在提出的问题更尖锐,更不舒服:它是否为自己付出了代价?对于现在正在生产的团队--包括超过10万个以Microsoft Foundry为基础的组织--来说,这个问题已经成为当务之急。代币已成为技术支出的新单位,财务纪律(而不是模型选择)决定了一个有前途的试点项目是否可以扩展。

资金已经在流入:在微软委托IDC对4000多名商业领袖进行的一项研究中, 71%的受访者表示,他们计划增加人工智能预算,资金来自IT和非IT资源。预算正在增长。问题是这门学科是否会随着他们的发展而增长。71%的商业领袖计划增加他们的人工智能预算2025年IDC调查领先的团队并没有去寻找更便宜的模式。

他们停止将人工智能作为一连串的一次性试点运行,并开始将其作为一个托管投资系统运行:每个请求都与其工作规模相匹配,每个代理都随着运行而改进,并且每一美元都受到限制和占用。这种从购买智能到管理智能的转变就是整个游戏。本系列介绍系统的工作原理以及为何构建Microsoft Foundry来运行它。

开始在Microsoft Foundry上构建了解您的人工智能成本和支出在可以管理人工智能支出之前,您需要了解创建它的原因。成本不仅仅取决于您选择的型号。它也由围绕该模型构建的应用程序或代理来塑造。每个请求都包括输入令牌,例如系统提示、对话历史记录、工具定义和检索的内容,以及模型生成的输出令牌。