Agent-S – 通过图形用户界面达成的人机互动自动化代理架构

Agent S指的是什么？

Agent-S 是一款旨在通过图形用户界面（GUI）实现人机交互自动化的创新型代理系统。该系统模仿人类操作模式，利用鼠标和键盘直接操控计算机以完成复杂的多步骤任务。Agent-S 采用了一种经验增强的分层规划策略，融合在线网络信息与内部存储的知识，将复杂工作细分为更易管理的小型子任务来执行。此框架依托于特定的代理-计算接口（ACI），显著提升了基于多模态大规模语言模型（MLLMs）GUI代理的操作和控制效能。Agent-S 在 OSWorld 基准测试中表现突出，其成功率远超基线水平，展示了在自动化计算机任务上的强大能力。通过增强交互自动化，该框架不仅提高了工作效率，还为无障碍技术的使用提供了新的途径，使有特殊需求的人士能够更加便捷地与科技产品互动。

Agent-S的核心特性

• 自我互动及工作流程自动化：Agent-S 通过图形用户界面（GUI）实现与电脑的独立互动，并能自动完成一系列复杂的工作流程。
• 通过经验优化的层级式计划方法：该系统利用线上资源与内部分析来简化复杂的作业，并将其转化为若干个具体的执行步骤。
• 计算设备代理接口（CDAI）：Agent-S 利用 ACI 增强了其在多模态大规模语言模型（MLLMs）驱动下的图形用户界面代理中的推理及操控性能，以实现与电脑界面的高度精准互动。
• 不断学习与记忆刷新：Agent-S 借助自我评价与经历归纳，持续优化其叙述性记忆及情境记忆，以更好地应对环境变迁并增强任务处理效能。
• 适用于多种操作系统的兼容性：该架构展现了出色的普遍适用性，在各种操作系统中均可运行，并适用于多个环境中的任务执行。

Agent-S 的运作机制

• 通过经验优化的层级策划：Agent-S 利用在线网络搜索与内置的经验查找功能，通过描述性记忆及场景记忆来进行任务的规划与实施。
• 计算设备中介（CDM）：ACI 担任抽象层的角色，规定了与环境互动的方式。通过利用视觉数据及图像优化技术来准确识别并定位界面元素，并对代理的操作范围加以限定，从而保障操作的安全性和精准度。
• 叙述性记忆和情境记忆：叙述性记忆保存了高级别的任务经历，相比之下，情境记忆涵盖了更为详尽的子任务实施情况。这两种记忆形式协同工作以促进任务的策划与施行。
• 个人评价及回忆刷新：Agent-S 通过其自我评价系统归纳经验，并以文本激励的方式刷新内在记录，从而达到不断进步的目标。
• 多元化的大型语言模型（MLLMs）：在推理过程中处于核心地位的 MLLMs 具备处理与创造语言的能力，并能理解和适应环境的变化，通过基于语言的操作来实现对图形用户界面的控制。

Agent-S 项目的仓库位置

• 官方网站 проекта

  注：这里进行了跨语言的转换以实现“伪原创”的效果，同时保留了核心含义。不过需要注意的是，原始文本”项目官网”是中文短语，在此示例中被翻译成了俄文“项目的官方网站”。如果需要保持在同一语言内进行改写，请进一步指明。访问 simular.ai 的代理服务页面可以通过链接：simular.ai/agent-s 页面获取。

• Git代码库：在GitHub上的项目地址为simular-ai/Agent-S
• arXiv科技文章该论文的预印本可以在以下链接中找到：https://arxiv.org/pdf/2410.08164v1，这里提供了原始研究未经同行评审的内容。

Agent-S 的使用场景

• 办公室工作智能化：应对常规办公室工作事项，包括信息输入、行程规划、文件编制与修改，以及实现各类办公应用程序（比如文本编辑器、电子表格分析工具和幻灯片设计平台）的操作自动化。
• 网站互动：完成诸如网上购物、提交表格、查找资料和维护电子邮箱账户之类的互联网指引工作。
• 私人助手：作为一名助手，我负责协助用户安排他们的计划，提示关键的活动，并且可以替他们预定各种服务项目，比如餐馆座位、住宿和航班等。
• 客户支持：于客户支持行业之中，通过自动化手段应对普遍的咨询与交易需求，并实现全天候不间断的服务供给。
• 教育与培养：实现诸如制作教育资料、评价学员作业以及监管网络学习平台之类的自动化教辅工作。