[本文是预发行文档,可能会有所更改。]
独立计算机使用工具是 本地代理计算机使用工具 的模块化版本(由代理托管并绑定到代理)。 可以将它作为本地工具复制到代理,或将其作为节点添加到代理流。 使用此独立工具,可以创建、测试和治理与数字接互的 AI 驱动的自动化。 发布独立计算机使用工具后,可以在多个代理和代理流中重复使用它,从而提供一种集中的方式来管理基于 UI 的复杂任务。
通过使用独立计算机使用工具,可以:
- 创建模块化和可重用的自动化构建基块。
- 根据自然语言说明执行智能 UI 交互。
- 通过定义允许的应用程序和网站来集中治理。
- 使用高保真会话重播和详细的活动日志监视执行。
- 对于敏感或复杂任务,纳入人工在环监督。
Important
本文包含 Microsoft Copilot Studio 预览版文档,有可能会有变动。
预览功能不适合生产使用且功能可能受限。 这些功能在正式发布之前可用,以便你可以提前访问并提供 反馈。
如果您在构建可投入生产的代理,请参阅 Microsoft Copilot Studio 概述。
创建独立计算机使用工具
注意
“计算机使用”作为独立工具目前正在支持的区域中逐步推出,您的区域可能尚未提供此功能。
在Copilot Studio中,选择边栏上的 Tools。 此时会显示 “工具” 页。 在 “工具”页的“使用共享工具”中了解详细信息。
选择 “新建”工具。 此时会显示 “新建工具 ”面板。
选择计算机使用。 配置页面会显示,其 设计器 选项卡处于焦点状态。
切换到“ 概述 ”选项卡。
在“详细信息”磁贴上选择“编辑”。 此时会显示 “编辑计算机使用详细信息 ”面板。
输入工具的名称和说明。 这些详细信息可帮助其他制造商了解何时在其流中使用此工具。
选择“保存”。
切换到 “设计器 ”选项卡。
为此工具选择所需的模型。
输入说明并定义参数。
配置完成后,选择“ 发布”。 或者,如果尚未准备好发布此工具,请选择“ 保存草稿 ”。
配置独立计算机使用工具
用于配置独立计算机使用工具的界面分为三个选项卡,帮助你管理自动化的生命周期和可观测性。
Overview
“ 概述 ”选项卡充当工具的标识卡。 使用此选项卡可以:
- 管理工具的元数据,例如其名称和说明。
- 查看当前发布状态。
- 监视最近的运行,快速了解该工具在其最近执行中的执行方式。
设计师
“ 设计器 ”选项卡是生成工具逻辑的位置。
- 模型:选择支持自动化的模型。
- 说明:编写 AI 遵循的自然语言指南来执行 UI 任务。
- 测试:使用内置沙盒来运行说明,并查看 AI 如何实时响应。
- 参数:定义输入和输出参数,以将数据传入工具或提取流中下游步骤的结果。
- 存储的凭据:安全地配置工具需要访问的网站或应用的身份验证。
- 允许的网站和桌面应用:定义允许使用该工具与之交互的特定网站和应用程序的允许列表。
- 人工监督:针对需要手动验证或更多信息的步骤触发人工循环通知。
Activity
“ 活动 ”选项卡为调试和优化提供了深入的可观测性。 它列出了最近 28 天的所有运行记录。 对于每次运行,你可以查看:
- 会话重播:观看 AI 与界面交互的记录。
- 屏幕截图:查看执行过程中捕获的每个界面。
- 步骤日志:查看工具执行的确切操作序列。
- 指标:分析执行时间和成功率。
集成行为
可以在平台的不同部分中使用计算机使用工具。 该工具的行为取决于添加方式。
| 集成方法 | Behavior | Lifecycle |
|---|---|---|
| 添加到智能体(作为本地工具) | 该工具被复制到代理的本地工具目录中 | 独立:对原始独立工具的更改不会影响代理的版本。 |
| 添加到智能体流(作为节点) | 该工具作为模块化节点被引用。 | 关联:该流始终使用独立工具的最新发布版本。 |
将独立计算机使用工具添加到代理流
Important
- 只能将独立计算机使用工具添加到 代理流。 目前无法将它们添加到 工作流 。
- 代理流只能访问 已发布 的独立计算机使用工具。 代理流始终触发最新发布的版本。
在Copilot Studio中,选择侧栏上的 Flows。
选择您想要的代理流程。 此时会显示所选代理流的 “概述 ”选项卡。
切换到 “设计器 ”选项卡。
在代理流中希望调用独立的计算机使用工具的位置,选择插入新操作
图标。 此时会显示 “添加操作 ”面板。在 AI 功能下,选择“ 运行计算机使用工具”。 运行计算机使用工具操作节点显示在流中。
如果您还没有用于计算机使用的连接,则会显示创建新连接卡片:
- 对于 “连接”,请选择所需的连接类型: 计算机 或 托管浏览器。
- 提供所需的信息,然后选择“ 新建”。
选择所需的计算机使用工具。
如果所选计算机使用工具具有输入,请指定静态或动态值。
提示
在 运行计算机使用工具 操作节点中,您可以:
- 通过选择“计算机使用工具”列表中的“ 创建 ”创建新的 计算机使用工具 。
- 通过选择“ 编辑”编辑所选计算机使用工具。
- 通过选择 “刷新
”图标来刷新计算机使用工具列表。
将独立计算机使用工具添加到智能体
注意
将独立计算机使用工具添加到代理时,将创建嵌入在该代理中的独立副本。 独立工具的更新不会影响智能体的副本,反之亦然。
在 “工具” 页中:
在Copilot Studio中,选择边栏上的 Tools。 此时会显示 “工具” 页。
选择所需的计算机使用工具旁边的三个点(…),然后选择添加到代理。 将显示“添加到代理”面板。
选择所需的 代理 ,然后选择“ 添加”。 此时将显示添加工具面板。
选择添加并配置。 将显示工具本地副本的配置页。
如果需要,请修改配置,然后选择“ 保存”。
返回到代理的 “工具” 页,并注意到列表包含刚添加的计算机使用工具。
从代理页面:
在Copilot Studio中,选择侧栏上的 Agents。 此时会显示 “代理 ”页。
选择您想要的代理。
转到代理的 “工具” 页。
选择添加工具。 此时将显示添加工具面板。
选择 计算机使用工具 筛选器。
选择所需的计算机使用工具,然后选择 “添加并配置”。 将显示工具本地副本的配置页。
如果需要,请修改配置,然后选择“ 保存”。
返回到代理的 “工具” 页,并注意到列表包含刚添加的计算机使用工具。
常见问题
何时应使用独立工具与本地代理工具?
如果要为多个流需要使用的特定代理流自动化生成单一事实源,请使用 独立计算机使用工具 。 例如, 提交支出报表。 当自动化需要由代理自身控制的非确定性编排时,请使用 本地代理内计算机操作工具(重复)。
该工具如何处理安全和访问?
独立工具使用两层保护:
- 凭据:用于登录数据的加密存储。
- 治理:一种硬性限制(允许列表),无论提供什么指令,都可防止 AI 访问未经授权的 URL 或应用程序。
我可以查看流运行期间 AI 做了什么吗?
是。 独立工具的 “活动 ”选项卡列出了过去 28 天的会话录制。 这些录制显示 AI 执行的每次单击和击键,确保完全透明且更易于调试。
为什么模型在我的区域中不可用?
Anthropic 模型目前在中国不可用。 中国用户应使用 OpenAI 模型。