将独立的计算机操作工具添加到代理和代理流中(预览版)

[本文是预发行文档,可能会有所更改。]

独立计算机使用工具是 本地代理计算机使用工具 的模块化版本(由代理托管并绑定到代理)。 可以将它作为本地工具复制到代理,或将其作为节点添加到代理流。 使用此独立工具,可以创建、测试和治理与数字接互的 AI 驱动的自动化。 发布独立计算机使用工具后,可以在多个代理和代理流中重复使用它,从而提供一种集中的方式来管理基于 UI 的复杂任务。

通过使用独立计算机使用工具,可以:

  • 创建模块化和可重用的自动化构建基块。
  • 根据自然语言说明执行智能 UI 交互。
  • 通过定义允许的应用程序和网站来集中治理。
  • 使用高保真会话重播和详细的活动日志监视执行。
  • 对于敏感或复杂任务,纳入人工在环监督。

Important

本文包含 Microsoft Copilot Studio 预览版文档,有可能会有变动。

预览功能不适合生产使用且功能可能受限。 这些功能在正式发布之前可用,以便你可以提前访问并提供 反馈

如果您在构建可投入生产的代理,请参阅 Microsoft Copilot Studio 概述

创建独立计算机使用工具

注意

“计算机使用”作为独立工具目前正在支持的区域中逐步推出,您的区域可能尚未提供此功能。

  1. 在Copilot Studio中,选择边栏上的 Tools。 此时会显示 “工具” 页。 在 “工具”页的“使用共享工具”中了解详细信息。

  2. 选择 “新建”工具。 此时会显示 “新建工具 ”面板。

  3. 选择计算机使用。 配置页面会显示,其 设计器 选项卡处于焦点状态。

  4. 切换到“ 概述 ”选项卡。

    1. “详细信息”磁贴上选择“编辑”。 此时会显示 “编辑计算机使用详细信息 ”面板。

    2. 输入工具的名称和说明。 这些详细信息可帮助其他制造商了解何时在其流中使用此工具。

    3. 选择“保存”

  5. 切换到 “设计器 ”选项卡。

    1. 为此工具选择所需的模型。

    2. 输入说明并定义参数。

  6. 配置完成后,选择“ 发布”。 或者,如果尚未准备好发布此工具,请选择“ 保存草稿 ”。

配置独立计算机使用工具

用于配置独立计算机使用工具的界面分为三个选项卡,帮助你管理自动化的生命周期和可观测性。

Overview

概述 ”选项卡充当工具的标识卡。 使用此选项卡可以:

  • 管理工具的元数据,例如其名称和说明。
  • 查看当前发布状态。
  • 监视最近的运行,快速了解该工具在其最近执行中的执行方式。

设计师

设计器 ”选项卡是生成工具逻辑的位置。

  • 模型:选择支持自动化的模型。
  • 说明:编写 AI 遵循的自然语言指南来执行 UI 任务。
  • 测试:使用内置沙盒来运行说明,并查看 AI 如何实时响应。
  • 参数:定义输入和输出参数,以将数据传入工具或提取流中下游步骤的结果。
  • 存储的凭据:安全地配置工具需要访问的网站或应用的身份验证。
  • 允许的网站和桌面应用:定义允许使用该工具与之交互的特定网站和应用程序的允许列表。
  • 人工监督:针对需要手动验证或更多信息的步骤触发人工循环通知。

Activity

活动 ”选项卡为调试和优化提供了深入的可观测性。 它列出了最近 28 天的所有运行记录。 对于每次运行,你可以查看:

  • 会话重播:观看 AI 与界面交互的记录。
  • 屏幕截图:查看执行过程中捕获的每个界面。
  • 步骤日志:查看工具执行的确切操作序列。
  • 指标:分析执行时间和成功率。

集成行为

可以在平台的不同部分中使用计算机使用工具。 该工具的行为取决于添加方式。

集成方法 Behavior Lifecycle
添加到智能体(作为本地工具) 该工具被复制到代理的本地工具目录中 独立:对原始独立工具的更改不会影响代理的版本。
添加到智能体流(作为节点) 该工具作为模块化节点被引用。 关联:该流始终使用独立工具的最新发布版本。

将独立计算机使用工具添加到代理流

Important

  • 只能将独立计算机使用工具添加到 代理流。 目前无法将它们添加到 工作流
  • 代理流只能访问 已发布 的独立计算机使用工具。 代理流始终触发最新发布的版本。
  1. 在Copilot Studio中,选择侧栏上的 Flows

  2. 选择您想要的代理流程。 此时会显示所选代理流的 “概述 ”选项卡。

  3. 切换到 “设计器 ”选项卡。

  4. 在代理流中希望调用独立的计算机使用工具的位置,选择插入新操作图标。 此时会显示 “添加操作 ”面板。

  5. AI 功能下,选择“ 运行计算机使用工具”。 运行计算机使用工具操作节点显示在流中。

  6. 如果您还没有用于计算机使用的连接,则会显示创建新连接卡片:

    1. 对于 “连接”,请选择所需的连接类型: 计算机托管浏览器
    2. 提供所需的信息,然后选择“ 新建”。
  7. 选择所需的计算机使用工具。

  8. 如果所选计算机使用工具具有输入,请指定静态或动态值。

提示

运行计算机使用工具 操作节点中,您可以:

  • 通过选择“计算机使用工具”列表中的“ 创建 ”创建新的 计算机使用工具
  • 通过选择“ 编辑”编辑所选计算机使用工具。
  • 通过选择 “刷新 ”图标来刷新计算机使用工具列表。

将独立计算机使用工具添加到智能体

注意

将独立计算机使用工具添加到代理时,将创建嵌入在该代理中的独立副本。 独立工具的更新不会影响智能体的副本,反之亦然。

  • “工具” 页中:

    1. 在Copilot Studio中,选择边栏上的 Tools。 此时会显示 “工具” 页。

    2. 选择所需的计算机使用工具旁边的三个点(),然后选择添加到代理。 将显示“添加到代理”面板。

    3. 选择所需的 代理 ,然后选择“ 添加”。 此时将显示添加工具面板。

    4. 选择添加并配置。 将显示工具本地副本的配置页。

    5. 如果需要,请修改配置,然后选择“ 保存”。

    6. 返回到代理的 “工具” 页,并注意到列表包含刚添加的计算机使用工具。

  • 代理页面:

    1. 在Copilot Studio中,选择侧栏上的 Agents。 此时会显示 “代理 ”页。

    2. 选择您想要的代理。

    3. 转到代理的 “工具” 页。

    4. 选择添加工具。 此时将显示添加工具面板。

    5. 选择 计算机使用工具 筛选器。

    6. 选择所需的计算机使用工具,然后选择 “添加并配置”。 将显示工具本地副本的配置页。

    7. 如果需要,请修改配置,然后选择“ 保存”。

    8. 返回到代理的 “工具” 页,并注意到列表包含刚添加的计算机使用工具。

常见问题

何时应使用独立工具与本地代理工具?

如果要为多个流需要使用的特定代理流自动化生成单一事实源,请使用 独立计算机使用工具 。 例如, 提交支出报表。 当自动化需要由代理自身控制的非确定性编排时,请使用 本地代理内计算机操作工具(重复)。

该工具如何处理安全和访问?

独立工具使用两层保护:

  • 凭据:用于登录数据的加密存储。
  • 治理:一种硬性限制(允许列表),无论提供什么指令,都可防止 AI 访问未经授权的 URL 或应用程序。

我可以查看流运行期间 AI 做了什么吗?

是。 独立工具的 “活动 ”选项卡列出了过去 28 天的会话录制。 这些录制显示 AI 执行的每次单击和击键,确保完全透明且更易于调试。

为什么模型在我的区域中不可用?

Anthropic 模型目前在中国不可用。 中国用户应使用 OpenAI 模型。