新加坡国立大学与微软合作开发的用于 GUI 自动化的视觉语言动作模型 — ShowUI

展示UI指的是什么

ShowUI是由新加坡国立大学的Show Lab与微软联合开发的一款结合了视觉、语言和行动能力的模型，旨在增强图形用户界面（GUI）助手的功能效率。该模型通过采用基于用户界面指导的视觉标记选择来降低计算负担，并利用交织式的视-语-行流程满足GUI任务中的多样化需求，同时它还运用视觉行为历史记录以提高训练效能。ShowUI依靠一个小规模但高质量的指令跟随数据集，在使用256K的数据量时实现了75.1%的零样本截图定位准确率，且其训练速度提高了1.4倍，显示了在GUI可视化代理领域的巨大潜力。

展示UI的核心特性

• 界面指引下的视觉标记选取通过构建屏幕截图的UI链接图，并自动检测多余的关联性，可以在自我关注组件里用作挑选标记的依据，从而降低计算资源的需求。
• 交叉视图-言语-行为序列在GUI任务中巧妙整合多样的要求，高效处理视效与操作的历史记录，从而增强培训的效能。
• 一个小型的高精度图形用户界面操作响应数据集合。通过运用精细的数据规划及实施重采样方法来应对不同类型数据的不平衡问题，从而增强模型的精度与效能。
• 无样本的屏幕截图位置识别无需额外培训即可直接解析并操控屏幕截图的技能。
• 图形用户界面自动化实现GUI操作的自动执行，包括模拟点击和输入文本等功能，以增强与计算机系统的互动效率。

展示UI的运作机制

• 界面导向的视觉符号选取由于提供的内容仅有冒号，并没有具体的信息或句子，因此无法进行有意义的伪原创改写。如果您能提供具体的文本或信息，我就能帮助您完成这个任务了。
  • 把屏幕截图划分成均匀的小块，并将每一块视作一个节点。
  • 检测拥有相等RGB数值的邻近块状单元，并构造用户界面链接图表以合并视觉重复部分。
  • 在自我关注组件里，通过利用UI链接图表来有选择性地操作视觉标记，从而降低计算需求。
• 交织视觉与言语行为的流程需要提供具体的内容来进行伪原创改写，请给出相应文本。
  • 采用JSON格式来描述标准化的图形用户界面操作，以便在各种设备上实现操作的一致性。
  • 通过交替分析视觉信息、语言交流及行为数据来掌控复杂互动的历史记录。
  • 通过采用多轮对话的形式，在训练过程中增强数据的使用效率。
• 数据分析规划与再抽样方法需要提供具体的内容来进行伪原创改写。没有给出具体内容的情况下，无法完成请求的任务。如果您有特定的文本或段落，请分享出来，我会根据您的要求进行相应的修改和调整。
  • 仔细挑选并构建高品质的训练资料，而非仅仅汇总所有的可得信息来源。
  • 利用重采样方法来处理各种设备与任务类别间的数据不均衡状况。
• 有效管理高质量用户界面截图对于高清晰度的用户界面截图，对模型进行改进以便更高效地管理较长的标记序列，并降低计算开销。
• 结构设计需要提供具体的内容来进行伪原创改写，请给出相应的文本。
  • 依托于Qwen2-VL-2B框架，结合图像解析组件与自然语言处理器，实现对视像及文字信息的综合管理。
  • 通过运用专门设计的数据方案与培训方法，增强模型在图形用户界面相关任务上的表现。

展示ShowUI项目的网址

• Git存储库：访问此链接以查看ShowUI项目 – https://github.com/showlab/ShowUI
• HuggingFace的模型集合访问此链接以查看展示实验室的桌面版ShowUI 8K数据集：https://huggingface.co/datasets/showlab/ShowUI-desktop-8K
• 关于技术的arXiv学术文章在该链接中提供的文档是一个学术研究论文的PDF版本，具体地址为：https://arxiv.org/pdf/2411.17465。此文件包含了研究人员对某一特定主题深入分析的结果和发现。
• 网上试用演示版访问此链接以查看展示界面的示例：https://huggingface.co/spaces/showlab/ShowUI

展示UI的使用情境

• 网站操作自动化实现对网页中的点击动作、文本输入及页面滚动的自动控制，适用于自动化测试场景、数据采集任务或是模仿用户的交互行为。
• 手机软件检测于移动应用程序内自动模拟多样化的用户操作行为，包括但不限于滑动屏幕、触控选择以及输入数据到表单之中，以此来检验软件的各项功能是否正常运行。
• 电脑应用程序的自动操作在自动化桌面程序中处理诸如文件操作、信息录入和参数设定之类的常规重复工作。
• 智能助理作为虚拟助理的功能之一，依据用户给出的自然语言命令来完成特定的图形界面操作。
• 游戏自动运行在游戏中实现对自动化脚本的支持时，能够自动完成诸如角色位移、收集道具以及参与战斗等一系列动作。