上海交通大学研发的移动智能体——MobA

什么是MOBA？

MobA是由上海交通大学的研究团队开发的一款创新型移动智能体应用，它依托多模态大型语言模型(MLLMs)来增强手机设备上的自动化操作能力。该系统设计为两级结构：高级全局代理（GA）主要负责解析用户的命令、维护任务历史以及制定执行计划；而低级局部代理(LA)则依据GA的安排实施具体的行动步骤。MobA内置的一个反思机制使其能够高效地应对各种复杂情况，即使是首次遇到的新挑战也不例外。

MobA的核心特性

• 解读用户命令解析用户提出的自然语言命令，并将其转换为能够实际执行的操作任务。
• 任务的安排与细分高级全局代理（GA）承担着把复杂的任务拆解成更为简单和便于处理的小任务的责任。
• 操作实施初级局部智能体（LA）依据全局智能体（GA）的指引，实施特定的子任务与操作。
• 历史记录追踪GA保留了历史记录，并在制定新的任务计划时参考以往的经历和数据。
• 思考与自我提升配备的自省组件让MobA能够在完成任务之后进行自我评价，从而改进后续的任务表现。
• 跨越应用程序的操作执行包含多种软件程序的复杂作业，并达成跨越各应用程序的操作自动化。

MOBA游戏的核心技术机制

• 多功能大型语言模型（MLLMs）利用MLLMs技术，该模型具备解析与掌握包括文本和图像在内的各种数据格式的能力。
• 双层智能化系统结构该体系包含高端的总体智慧单元（GA）与低端的地方智慧单元（LA），前者专注于任务筹划，后者则承担操作实施的任务。
• 任务安排组件在GA中，规划组件承担着拆解用户命令为多个小任务的任务，并且会分析这些任务是否可以实现。
• 运动组件在LA系统中，动作组件的任务是判断操作能否一次性达成，并给出具体的执行命令。
• 记忆组件该系统配备了一个记忆组件，用于保存及刷新任务的执行记录、用户的喜好以及应用程序的数据。

MobA项目的仓库位置

• 关于arXiv的技术文章在学术资源共享平台arXiv上，有一篇编号为2410.13757的研究论文可供查阅。

MOBA的游戏环境应用

• 私人助手在生活中扮演个人助理的角色时，负责协助用户安排时间表、设定提示以及查找相关信息等任务。
• 智能家庭管理通过整合智能家居装置，可以利用语音命令或文字指示来操控家庭内的智能化设施，包括照明系统、温控器和安防监测等功能。
• 手机装置自动操作于移动装置中，实现复杂任务的自动化处理，包括但不限于智能填充表格、电子邮件管理以及应用程序设定的优化调整等功能。
• 为老年人及残障朋友提供援助帮助老年人及残障朋友轻松操作智能装置，简化其使用流程，从而提升他们的生活品质。
• 教学与求知在教育行业里，协助学生们搜集信息、整理学习资源，并且还能支持他们完成作业任务。