GitHub Copilot现在可以使用计算机与桌面应用程序进行交互

计算机使用现已在macOS和Windows上的GitHub Copilot CLI和GitHub Copilot应用程序中公开预览。Copilot可以代表您与桌面应用程序交互…… GitHub Copilot的帖子现在可以与使用计算机的桌面应用程序交互,首次出现在GitHub博客上。

计算机使用现已在macOS和Windows上的GitHub Copilot CLI和GitHub Copilot应用程序中公开预览。Copilot可以代表您与桌面应用程序进行交互(例如,阅读可访问的应用程序内容和视觉上下文、单击控件、输入和编辑文本、按键、滚动、拖动和跨应用程序导航工作流程)。

这扩展了Copilot可以帮助自动化的任务,包括不提供API、命令行界面或MCP集成的传统和仅限GUI的软件中的工作流程。Copilot使用电脑工具在Safari中导航费用报告工作流程。一切尽在您的掌握之中。Copilot在控制应用程序之前请求批准,您可以查看或重置您选择始终允许的应用程序。

在macOS上,计算机使用还会引导您完成所需的辅助功能和屏幕录制权限。组织管理的设置可以禁用该功能。在Copilot CLI中,运行/computer on。使用/computer show检查其状态,并使用/computer off将其禁用。在GitHub Copilot应用中,打开“设置”,选择“计算机使用”,然后打开“启用计算机使用”。您也可以使用/computer on。

当您描述您想要的结果、所涉及的应用程序以及任何重要的限制时,计算机使用效果最好。例如,您可以要求Copilot在浏览器中汇总通知、更新演示文稿中的内容或在桌面应用程序中通过工作流移动信息。

了解有关在GitHub Copilot CLI和GitHub Copilot应用程序中使用计算机的更多信息现在可以在GitHub Copilot CLI和macOS和Windows上的GitHub Copilot应用程序中公开预览使用计算机。Copilot可以代表您与桌面应用程序进行交互(例如,阅读可访问的应用程序内容和视觉上下文、单击控件、输入和编辑文本、按键、滚动、拖动和跨应用程序导航工作流程)。