Agent-E – 利用AutoGen代理架构打造的AI驱动浏览器自动化工具

Agent-E指的是什么？

Agent-E是一款利用AutoGen代理框架打造的智能化自动处理系统，主要致力于浏览器内部的操作自动化。该系统以自然语言交流为基础，能够完成诸如填写表单、电商商品排序搜索、网页内容定位、网络媒体播放控制、深度网络信息检索、项目管理任务自动化以及个人购物支持等多样的复杂工作。Agent-E旨在提升用户的在线工作效率，降低重复性工作的负担，并让用户更加专注于关键事务。

Agent-E的核心特性

• 表格填报：自动化处理网上表格的填充工作，涵盖个人详细信息的录入。
• 电子商务中的检索及排名优化在诸如亚马逊之类的电子商务平台上，可以根据销售量、价格等多个标准来查找并排列商品。
• 内容设定在网页中搜索具体的信息，比如体育赛事的分数或者高校的联系方式。
• 媒介互动参与网络媒体的交互活动，涵盖观看YouTube影片及调整播放配置。
• 在线查找信息进行全面的网上检索，搜集各个领域的资料。
• 自动化的项目管理在像JIRA这样的项目管理工具中筛选问题并实现工作流的自动化。

Agent-E的工作机制

• 采用代理模式的设计结构利用AutoGen代理框架中的各类代理，例如用户代理与浏览器导航代理来完成任务。
• 技术集合库该系统的核心特性以技巧数据库为中心设计，其中汇集了多类预先设定的操作模块（即技巧），这些技巧进一步细分为认知型与执行型两类。
• 人机间的语言交流允许使用者通过自然语言与浏览器交互，使操作更为直接明了。
• DOM提取运用DOM蒸馏方法，Agent-E把HTML DOM转化为聚焦于与用户任务相关元素的精简版JSON截图。
• 变更观测在完成操作之后，Agent-E会观察并报告状态的变动情况，并通过言语描述的形式传达给LLM，以此来引导其获得更高的精度表现。
• 分级规划运用分层规划策略，把复杂的任务细分为若干子任务，并交由各层级的代理分别执行。

Agent-E的项目页面

• Git存储库：可在EmergenceAI开发的代理E项目中找到相关资源，网址为https://github.com/EmergenceAI/Agent-E
• 关于arXiv的技术文章这篇论文可以在链接 https://arxiv.org/pdf/2407.13032 中找到。

Agent-E的使用情境

• 网上购买商品实现商品的自动化查找与排序，并将其加入购物车中，以此来精简购买过程。
• 数据查询高效地自网络中搜集指定的信息，比如新闻或者学术资源，以提升研究工作的效能。
• 自动化的表格处理通过自动化处理在线表单的填写与提交工作，可以大幅降低人工录入的需求，并有效节约时间成本。
• 私人助手依据个人偏好给出个性化的建议，比如餐馆推荐，以提高生活品质。
• 多媒体管理服务实现音乐与视频的自动播放和操控功能，提升用户的娱乐享受。