方法描述

该论文提出了一种名为PC Agent-E的高效训练框架，用于提高计算机使用能力，并具有显著的数据效率。该方法通过结合真实的人机交互和多样化的动作决策来生成高质量的行为轨迹数据，从而在现实性和多样性方面都具有优势。 具体来说，该方法首先收集了少量的任务轨迹数据，记录屏幕状态观察和人类行为，然后过滤掉错误的步骤和轨迹。接着，利用这些数据重建人类思考过程之前的状态，基于相应的屏幕状态观察和历史步长上下文。然后，将人类轨迹作为环境快照，使用Claude模型合成多样化替代动作决策，最后开发出PC Agent-E模型，该模型是在增强后的轨迹上进行简单端到端训练的最先进的本地代理模型。

方法改进

该方法改进了之前的任务收集方式，通过手动组成小种子集并使用LLMs扩大范围来生成任务，使得任务更加丰富。同时，该方法还引入了规则基础的过滤器来去除整个轨迹或单个步骤中的错误或其他不良行为，确保数据质量。此外，该方法还使用了一个迭代的过程来重构隐含的思考过程，以及一个简单的但有效的方法——Trajectory Boost，以增加轨迹的多样性。

解决的问题

该方法解决了计算机使用代理模型的训练问题，通过生成高质量的行为轨迹数据来提高计算机使用能力，并且具有显著的数据效率。此外，该方法还改善了任务收集方式、数据过滤和轨迹多样性等方面，提高了评估可靠性。

表格4：思维补全提示

思维补全提示

你是一个用于在计算机上完成任务的有帮助的算机使用智能体。你的目标是重现你在执行特定操作背后的思维过程。

你将获得以下信息：

1. 你试图完成的任务。
2. 你已执行步骤的历史记录（如有，最多 50 条；如果是第一个操作，则无）。
3. 你选择执行的特定操作。
4. 你点击的元素名称（如果你点击了某个元素）。如果名称过于笼统模糊，你需要根据截图判断点击什么。
5. 你决定执行操作时计算机屏幕的截图。
6. 截图上的红色标记指示点击或拖动操作的位置。

要梳理你的思维过程，请考虑：

1. 你在屏幕上观察到了什么？分析当前截图时，要结合你的任务和之前的操作。
2. （如适用）评估你之前的操作：

• 它是否达到了预期效果？如果没有，找出可能的原因（例如，误点击、元素未激活）。
  无效操作的一些典型示例：
• 在空白处误点击
• 点击一些无效元素（未双击）
• 因输入框未激活而无效的打字/按键操作
• 结果是否与你之前的计划一致，还是发生了意外情况？
  无效操作的一些典型示例：
• 误点击错误元素
• 忘记清除输入栏中已有的文本

3. 根据你的操作历史，评估你在完成整体任务方面的进度。
4. 考虑是否因为之前步骤中的尝试失败，你正在摸索如何完成任务。

将你的思维过程以清晰、自然的第一人称叙述呈现，解释你当时的推理。

重要要求：

1. 切勿在回复中提及红色标记。这些标记是事后添加的，用于指示你的点击或拖动操作的位置，在你做决定时，它们并不在屏幕上。切勿在回复中提及 “红框”“红圈”“红箭头” 等表述。
2. 写作时，要仿佛你在执行操作前实时思考一样。不要包含操作后的评估或事后的感悟。

你试图完成的任务：{task_description}
你的操作历史：{history_str}
你选择执行的特定操作：{action}

表格5：轨迹增强提示

轨迹增强提示

你是一个 有帮助的助手，可协助用户完成计算机任务，且完全有权限对用户的计算机进行任何操作。操作系统为 Windows 。基于所提供的当前状态，你需要提出完成任务的下一步操作。不要试图一步完成整个任务，要将其拆分为更小的步骤，每一步操作后会得到新状态，以便继续交互。

重要规则：你必须严格遵守以下规则：

1. 每次回复仅从以下列表中选择一个操作，每一步不要执行多个操作。
2. 严格遵循所选操作的语法格式，不要创建或使用列表外的任何操作。
3. 任务完成后，输出 “action finish” 。

有效操作

1. click (x, y)：点击屏幕上坐标为 (x, y) 位置的元素
2. right click (x, y)：右键点击屏幕上坐标为 (x, y) 位置的元素
3. double click (x, y)：双击屏幕上坐标为 (x, y) 位置的元素
4. drag from (x1, y1) to (x2, y2)：将元素从位置 (x1, y1) 拖动到 (x2, y2)
5. scroll (x)：垂直滚动屏幕，偏移像素为 x 。x 为正值时向上滚动，为负值时向下滚动
6. press key: key_content：按下键盘上 key_content 对应的按键
7. hotkey (key1, key2)：按下由 key1 和 key2 组成的快捷键
8. hotkey (key1, key2, key3)：按下由 key1、key2 和 key3 组成的快捷键
9. type text: text_content：在键盘输入 text_content 内容。注意，输入文字前，需确保文本框或输入字段已激活 / 获得焦点。若文本框未激活，应先点击激活它，然后在单独步骤中使用 “type text” 操作
10. wait：等待一段时间，通常用于等待系统响应、屏幕刷新、广告结束
11. finish：表明任务已完成
12. fail：表明任务失败，即因提供信息不足，任务无法执行

在决定下一步操作前，需仔细考量屏幕当前状态和操作历史。思维过程应涵盖以下要点：

1. 你在屏幕上观察到了什么？分析当前截图时，结合任务和之前的操作。
2. （如适用）之前的计划和操作是怎样的？分三种情况评估之前的操作：

1. 操作无任何效果。应找出可能原因（如误点击、元素未激活），并在本步骤调整计划。
   无效操作的典型示例：

• 在空白处误点击
• 未双击打开部分元素，操作无效
• 因输入框未激活，打字 / 按键操作无效

2. 操作有效果，但结果与之前计划不一致。应找出可能原因（如误点击、元素未激活），并在本步骤纠正。
   无效操作的典型示例：

• 误点击错误元素
• 忘记清除输入栏中已有的文本

2. 操作有效果，且与之前计划一致。应基于当前状态推进到下一步。

3. 根据操作历史，评估完成整体任务的进度。
4. 若之前步骤中有失败尝试，探索完成任务的新方法。切勿重复历史操作。

回复格式

Your thought process（你的思维过程）

Action: The specific action you choose to take.（操作：你选择执行的具体操作）

你试图完成的任务：{task_description}
你的操作历史：{history_str}
现有如下截图。为协助完成任务，你接下来会执行哪一步操作？

表格6：PC Agent - E 脚手架提示

PC Agent - E 脚手架提示

你是一个有帮助的助手，能够协助用户完成计算机任务，且完全有权限对用户的计算机进行任何操作。基于所提供的当前状态，你需要提出完成任务的下一步操作。不要试图一步完成整个任务，要把它拆分成更小的步骤，每一步操作后你会获得一个新状态以继续交互。

重要提示：你必须严格遵守以下规则：

1. 每次回复仅从以下列表中选择一个操作，每一步不要执行多个操作。
2. 严格遵循所选操作的语法格式，不要创建或使用列表之外的任何操作。
3. 一旦任务完成，输出 “finish” 。

有效操作

1. click (x, y)：点击屏幕上坐标为 (x, y) 位置的元素
2. right click (x, y)：右键点击屏幕上坐标为 (x, y) 位置的元素
3. double click (x, y)：双击屏幕上坐标为 (x, y) 位置的元素
4. drag from (x1, y1) to (x2, y2)：将元素从位置 (x1, y1) 拖动到 (x2, y2)
5. scroll (x)：垂直滚动屏幕，偏移像素为 x 。x 为正值时向上滚动，为负值时向下滚动
6. press key: key_content：按下键盘上 key_content 对应的按键
7. hotkey (key1, key2)：按下由 key1 和 key2 组成的快捷键
8. hotkey (key1, key2, key3)：按下由 key1、key2 和 key3 组成的快捷键
9. type text: text_content：在键盘输入 text_content 内容
10. wait：等待一段时间，通常用于等待系统响应、屏幕刷新、广告结束
11. finish：表明任务已完成
12. fail：表明任务失败，即因提供信息不足，任务无法执行

回复格式

{Your thought process}（你的思维过程）

Action: {The specific action you choose to take}（操作：你选择执行的具体操作）

你的任务是：{task_description}
为达到当前屏幕状态，你之前的操作和思路历史：{history_str}
结合截图，你接下来会执行哪一步操作来协助完成任务？

官方仓库：https://github.com/hiyouga/LLaMA-Factory

LLaMA-Factory 支持多种预训练模型和微调算法，提供了一套完整的工具和接口，使得用户能够轻松地对预训练的模型进行定制化的训练和调整，以适应特定的应用场景。

类似的还有peft库。

Benchmark 是于用于评测方法表现的任务/平台，是评测环境，相当于“一个考场、一张试卷”；Baseline 是于一组用于比较的已有方法/模型，是对比对象，相当于“其他考生”。 Benchmark 的目的是为了公平评估模型性能，而 Baseline 的目的是为了作为参照，验证新方法的改进效果。

✅Docker 部署。

✅Python环境：推荐 Python 3.9。

✅被评估的虚拟机系统：Windows 11。

✅宿主操作系统：支持 Ubuntu，Windows 或 Mac OS。支持 Docker。

✅Python环境：要求 Python>=3.10。

✅虚拟机软件：支持 VMware Workstation Pro（Windows/Linux）、VMware Fusion（macOS）和 VirtualBox。

✅被评估的虚拟机系统：Ubuntu，Windows 或 Mac OS。