GitHub Copilot 可操作桌面应用并支持动态工作流
GitHub 以预览形式为 Copilot 推出两项功能。借助计算机使用功能,Copilot 可在获得批准后操作 macOS 和 Windows 上的桌面应用。动态工作流则把自动化步骤与智能体工作整合进同一个程序。
GitHub 于 2026 年 10 月 1 日以预览形式为 Copilot 推出两项新功能。借助计算机使用(computer use)功能,Copilot 现在可以代替用户在桌面应用中执行操作。动态工作流(dynamic workflows)则登陆 Copilot CLI 和 Copilot 应用,这类程序用于定义一项任务如何通过自动化步骤与一个或多个智能体的协作来完成。两项功能目前均处于公开预览(public preview)阶段。
Copilot 进入桌面应用
据 GitHub 公告介绍,Copilot 可以读取应用通过无障碍接口提供的内容和屏幕上的画面,点击控件,输入和编辑文本,按键,滚动,拖放,并在多个应用之间切换以完成工作流程。该功能可在 Copilot CLI 以及 macOS 和 Windows 版 Copilot 应用中使用。GitHub 给出的示例包括汇总浏览器通知、更新演示文稿,以及将缺少 API 或命令行界面的旧软件中的工作自动化。为获得最佳效果,该公司建议写清楚期望的结果、涉及的应用以及各项限制。
在 CLI 中,使用 /computer on 开启该功能,/computer show 查看状态,/computer off 关闭。在 Copilot 应用中,可以在设置的 Computer Use 部分开启,也可以使用同一命令。
按应用审批与组织设置
据公告介绍,Copilot 在控制某个应用之前会先请求批准。用户之后可以查看或重置已授予自动访问权限的应用。在 macOS 上,系统会引导用户完成所需的辅助功能和屏幕录制权限设置。组织可以通过托管设置完全关闭该功能。
动态工作流
据该页面介绍,动态工作流可以运行命令、工具或外部服务,并行执行相互独立的任务,在各阶段之间传递结构化结果,在支持的情况下请求用户输入,还可以在检查点暂停以供审查,之后再继续执行。各步骤可以依次运行、并行运行,或两者结合。GitHub 给出的示例包括带分阶段审查的发布检查、并行处理大量变更文件、用另一个模型验证发现的问题、在大型代码库中扫描特定模式、在实施前先制定计划,以及需要暂停和恢复的长时间任务。该公司还指出,快速简单的问题通常不需要使用工作流。
所有 Copilot 套餐均可使用工作流。Copilot 应用无需任何设置;在 Copilot CLI 中,则需通过 --experimental 参数或 /experimental on 命令开启实验性功能。GitHub 提示该功能处于预览阶段,可能会有变化,用户可在 CLI 中通过 /feedback 提交反馈。
计算机使用功能让 Copilot 能够在屏幕上的应用中代替用户点击和输入。最好仔细阅读每一次审批请求,只为确实需要的应用授予自动访问权限,关闭含有敏感信息的窗口,并先在影响较小的任务上试用该功能。两项功能都处于预览阶段,行为可能会有变化;想了解它们在实际使用中的表现,也值得关注独立研究人员的评估。
来源:GitHub:Copilot 现可与桌面应用交互、GitHub:Copilot CLI 和 Copilot 应用中的动态工作流。