微软新推的OmniParser工具 —— 从UI截图到结构化数据的转化器

OmniParser指的是什么？

OmniParser是一款由微软研究院开发的界面解析软件，能够将用户界面的截图转化为有组织的数据格式。此工具旨在增强大型语言模型（例如GPT-4V）驱动的UI代理系统的功能表现，通过精准识别可操作图标及理解截图中各元素的意义来提升代理执行任务的能力。利用经过微调的算法模型，OmniParser能够准确抓取屏幕上的互动区域及其功能性含义，在多种基准测试中证明了其提高操作精度和系统性能的效果，并且无需依靠额外的数据信息如HTML或视图层级结构即可完成这些功能。

OmniParser的核心特性

• 分析用户界面图片样本OmniParser负责分析用户界面上的屏幕捕获图像，并将其分解为有序组件，涵盖所有互动符号与文字内容。
• 辨识可以互动的区域利用特定的分析工具来辨识并标注用户界面中可以互动的部分，比如按钮与图标。
• 抽取功能的含义通过运用描述模型来捕捉识别出成分的功用意义，并据此为用户的作业创建关联性说明。
• 提升代理功能表现通过分析所得数据，优化使用大规模语言模型（例如GPT-4V）的用户界面代理，在其完成各项任务过程中的表现效果与精确度。
• 多平台应用程序兼容各种操作系统与软件程序，涵盖Windows、MacOS、iOS、Android以及各类网络浏览器和电脑应用。
• 不需要进一步的信息可以从视觉截图中独立提取所需数据，而不需要依靠如HTML或视图层级之类的附加信息。

OmniParser的工作机制

• 建立数据集合：自热门网站及应用程序中收集信息，创建可用于互动的图标识别数据库与图标说明资料库。
• 调整模型参数由于提供的内容仅有冒号，并没有具体的内容信息，因此无法进行伪原创的改写。如果您能提供具体的文本或段落，我很乐意帮您完成这项任务。
  • 评估模型性能对YOLOv8模型进行适应性调整，以在包含可点击图标的特定数据集上训练，从而实现精准辨识与界定用户界面内的互动区域。
  • 阐述该架构利用BLIP-v2模型对图标说明的数据集实施微调，以创建图标的功能阐释。
• 文字识别组件通过整合光学字符识别(OCR)组件来获取屏幕中的文字，并将其与图标探测的结果相结合，剔除高度重合的边框区域。
• 组织化的表述把识别出的组件与创建的说明结合起来，构建一个结构化的DOM（文档对象模型）展示，并在可能互动的部分附加边界的图像捕获。
• 行为预见通过整合结构化组件与功能性意义，降低大型语言模型在行为预见过程中的复杂度，并更为精准地把预估的行为转化为实际的屏幕上动作。

OmniParser的项目位置

• 官方网站ของโครงการ：全方位解析纯视觉驱动的GUI代理
• HuggingFace的模型集合库访问此链接以查看微软的OmniParser模型：https://huggingface.co/microsoft/OmniParser
• 关于arXiv的技术文章在学术论文数据库中可以找到这篇文档，其网址为：https://arxiv.org/pdf/2408.00203，该链接直接指向了PDF格式的全文。

OmniParser的使用情境

• 自动化的软件检验在软件开发中，通过自动化手段来辨识与操控用户界面组件，并运行测试程序以提升测试的效率及覆盖范围。
• 智能助理作为虚拟助理的一个功能，它旨在辅助用户解读屏幕上的信息，并完成诸如预约安排、信息检索及资料录入等工作。
• 支持性科技针对有视觉障碍的用户，OmniParser能够分析屏幕上的信息，并将其转换为语音播报出来，从而实现屏幕朗读的功能。
• 用户体验设计的确认设计师检查UI设计里的互动组件是否达到预设功能与意义的标准。
• 多平台应用程序开发开发人员需在多种操作系统及设备上对应用程序的用户界面进行测试与优化，以保障用户的体验始终保持一致。