清华大学发布的移动设备GUI自动化脚本工具——AutoDroid-V2

AutoDroid-V2指的是什么

清华大学人工智能产业研究院研发了基于小型语言模型（SLM）的移动端GUI自动化脚本工具——AutoDroid-V2，该工具利用代码生成技术来优化移动设备上的GUI代理功能。通过分析应用程序的历史操作记录，AutoDroid-V2能够自动生成详尽的应用文档，并指引SLM创建多步骤脚本来执行复杂的用户任务。相较于传统的逐级式GUI代理方法，AutoDroid-V2显著提升了任务完成的准确率和效率，减少了对大规模云模型的需求，并且降低了用户的隐私泄露风险及服务集中化的成本问题。在多项基准测试中，AutoDroid-V2均展现了优异的表现，表明其具备全面部署移动设备上GUI代理的能力。

AutoDroid V2的核心特性

• 自动化的用户界面任务操作通过创建并运行一系列步骤的脚本，能够自动化处理移动设备上用户的多种界面操作任务，包括启动应用程序、录入文字以及触按按钮等功能。
• 编码创建及运行把UI任务的自动化转换为一个代码生产的问题，通过在设备上部署的小型语言模型（SLM）来创建可以运行的代码段落，并借助代码解析工具实现对这些段落的有效执行。
• 创建使用手册通过对应用程序使用历程的自动化解析，创建详尽的操作手册，并追踪软件界面的状态、关键组件及它们之间的互动联系，以此来辅助脚本编制的工作指引。

AutoDroid V2的核心技术机制

• 关于技术的arXiv论文访问该链接可获取文件：https://arxiv.org/pdf/2412.18116 ，其中包含了相关研究的详细内容。

AutoDroid V2的使用场合

• 日常生活的帮助当用户处于繁忙状态时，系统能够依据收到的消息内容自动生成回复，例如对工作电子邮件或友人问好作出自动化回应，确保不会遗漏任何关键信息。
• 日常工作中于会议期间自动化地捕捉讨论要点，提炼核心数据，并编制成总结文档，以便会后轻松复习及落实相应工作安排，从而提升整体会议效能。
• 软件检测完成应用程序升级后，系统会自动运行一系列回退测试以验证新版功能运作无误，并迅速识别和修正可能存在的缺陷，从而保障软件的稳定性与可信度。
• 智能住宅科技依据用户的生活规律及周围光照条件，智能调整家庭照明的明暗度与色调温度。例如，在夜间会自动降低光亮程度，创造出适宜休息的空间氛围，从而提升居住体验的质量。
• 特定行业的应用实例当病人离开医院之后，系统会自动发出跟进提示及健康调查表，用以搜集病人的恢复状况信息。这有助于医护人员迅速掌握病患的健康动态，并能给予更加精准的后期治疗与复原建议。