上海交大与GAIR联手打造的电脑智能化AI系统——PC Agent

PC代理指的是什么？

PC Agent是由上海交通大学与Generative AI Research Lab (GAIR) 联手打造的一款高级AI系统，旨在模拟人类的认知过程来执行诸如整理研究资料、撰写报告及制作演示文稿等复杂的数字任务。该系统整合了PC Tracker以高效地收集人机互动数据，并通过两阶段认知流程将原始信息转化为知识路径。采用多智能体架构的PC Agent结合规划智能体与定位智能体，实现了精准的空间定位和决策制定能力。即便是在使用少量高质量的认知训练数据的情况下，它也能够处理多达50个步骤的工作流，表现出显著的数据利用效率及强大的应用潜力。

PC代理的核心作用

• 工作流程自动执行实现复杂数字任务的自动处理，包括整理研究资料、撰写报告以及制作演示文稿。
• 采集人与机器互动的信息利用PC Tracker技术，记录用户与电脑互动的具体路径及认知环境信息。
• 认识路径转变通过分两个步骤的认知处理来实现流程转化，把最初的互动资料转变为包含丰富理解细节的数据路径。
• 处理繁琐的工作事务管理包含多种软件应用的繁琐工作流程，例如，在PowerPoint与网络浏览器之间交替操作以搜集信息。
• 多个代理协同工作通过整合规划智能体与定位智能体的功能，达到优化决策过程及提升视觉定位精度的目标。
• 使用有限的数据集进行培训在基于有限的认知路径数据训练的情况下，完成复杂的作业流程。

PC代理的工作机制

• 计算机追踪器请提供需要改写的具体内容，以便于我能够帮助您完成需求。
  • 信息搜集于后端操作中监控并记载用户对键盘与鼠标的使用情形，抓取显示屏画面，并汇总人类与计算机互动的相关信息。
  • 事件追踪采用以事件为中心的日志方法，捕捉重要的用户交互行为而不是持续录制视频内容，从而降低储存空间的要求。
  • 动作范围一致把键盘与鼠标的动作整合进一个统一的操作范围中，从而让AI更简单地理解人类的行为模式。
• 理解实现过程请提供需要改写的具体内容。由于您的请求中没有包含具体文字内容，我暂时无法完成这项任务。如果您能给出具体的文本，我很乐意帮您进行伪原创的改写工作。
  • 数据提纯通过对轨迹筛选、行为甄别及规范化处理，提升初始互动数据的品质。
  • 行为意义实现：为了给相关的点击操作增添语义细节，创造对点击对象的高度精确说明。
  • 重构思考流程根据动作的语义细节，重构出隐藏在每一个动作背后的实际推论步骤。
• 多个代理系统的组合由于提供的原文为空，没有具体内容可以进行伪原创改写。如果您提供具体的文本内容，我很乐意帮您完成这项任务。
  • 设计人工智能实体承担行动方案的制定工作，通过研究人类的认知路径来获取有效的策划技能。
  • 确定代理的位置智能化承担执行与点击相关的操作任务，并配备有自我校验功能，以达到近似于人类水平的精准性。
  • 误差校正系统当位置智能检测到计划智能试图点击的屏幕目标并不存在时，计划智能将被通知需要重新设计行动方案。

PC代理的项目位置

• 官方网站项目版块：在网站gair-nlp.github.io上可以找到关于PC-Agent的相关信息。
• Git存储库：可在该链接访问GAIR-NLP团队的PC-Agen项目——https://github.com/GAIR-NLP/PC-Agen
• 关于arXiv的技术文章访问该链接可查看论文的PDF版本：https://arxiv.org/pdf/2412.17589，其中包含了详细的研究内容。

PC代理的使用情境

• 办公室工作智能化制作与修改文件、数据表及展示报告，实现办公室常规工作的自动化，从而增强工作效能。
• 探讨与学问对研究资料进行归纳与剖析，并自动编制文献回顾，助力学术文章的创作。
• 内容制作实现自动化布局设计，提升内容制作的效能与品质。
• 工程项目管控实现项目报告的自动化更新，统筹安排团队的工作任务，并改进项目的管理流程。
• 客户支持处理客户信息，给予迅速且定制的客户服务。