AT&T和微软通过微软Foundry和AMD扩展万亿代币工作负载

AT&T在使用Microsoft Foundry Managed Compute、开放式AI模型以及AMD和NVIDIA GPU基础设施开发OTel2.0时,处理了大约一万亿个代币。了解灵活的型号选择和可扩展的基础设施如何实现生产规模的电信人工智能。后AT&T和麦克风……

首创的电信人工智能部署电信组织越来越多地寻求人工智能来帮助团队在高度专业化的领域中导航,但通用模型通常缺乏了解电信网络、标准和运营所需的行业特定知识。

为了解决这一差距, AT&T创建了开放电信( OTel )模型,这是下一代以电信为中心的人工智能,旨在将更深入的电信专业知识引入人工智能系统。构建OTel2.0不仅需要训练大型语言模型,还反映了许多组织面临的一个更广泛的问题:如何大规模构建特定领域的人工智能系统,同时平衡成本、性能和运营复杂性。

成本管理很快成为一个关键考虑因素。为了继续推进以电信为中心的人工智能, AT&T需要一个能够以全新的规模支持OTel2.0开发的平台。在以前团队必须拥有和管理部署、基础设施和相关运营开销的情况下, Foundry Managed Compute提供了一种更简化的方式来访问专用图形处理单元(GPU)容量。

这种转变需要的不仅仅是强大的模型;它需要在不影响成本、灵活性或性能的情况下进行扩展的能力。了解OTel2.0如何扩展电信人工智能使用Microsoft Foundry Managed Compute, AT&T能够跨多个开放模型进行实验,优化不同GPU架构的工作负载,并在统一平台内处理大量电信数据。

其结果是一个能够支持数万亿代币的人工智能开发环境,同时为团队提供快速迭代、优化和创新的灵活性。模型选择满足基础设施的灵活性构建OTel2.0所需的模型和基础设施灵活性。AT&T没有在单一模型上进行标准化,而是采用了多开放模型策略。