美团与复旦大学合作开发的UI一致性人工智能检测软件 – AutoConsis

AutoConsis指的是什么

AutoConsis是一款由美团技术团队与复旦大学共同开发的智能化UI内容一致性检测工具。该工具运用深度学习和大型语言模型来自动识别并提取界面中的重要数据，并检查这些数据之间是否存在不一致的情况。通过使用AutoConsis，可以显著改善用户体验，减少因展示错误的数据给用户带来的困扰，并帮助减轻测试人员的工作压力。在实际应用中，AutoConsis展现出成本低、适用范围广和高可信度的特点，在保障大前端UI质量方面发挥了重要作用。

AutoConsis的核心特性

• 识别目标区域首先要辨识出UI界面上涉及检测的核心区域，并通过运用图像处理及模式识别的技术来精准锁定那些承载关键信息的用户界面片段。
• 目的数据抽取一旦确定了目标区域，该工具便会利用OCR技术及UI组件分析来抽取其中的文本与元素，并借助大型语言模型(LLM)进行推理解析以获取用于一致性和验证检查的重要数据。
• 验证统一性需要验证抽取出来的数据的一致性，以保证UI相关信息的精确与统一，这涵盖了对数字逻辑及意义层面的一致性检查。
• 自动化的智能化检验程序构建一个能够高效且广泛适用的自动智能化检查系统，以确保用户界面内容的一致性，并保持高度可信的结果。
• 适用于多种业务情境该工具具备灵活性，能够匹配各种网页模版和技术框架，并且适用于多种应用程序，它还能自主调整以满足不同的业务需求和复杂的界面设计。

AutoConsis的核心技术机制

• 融合多种数据类型的深层次机器学习架构运用融合多种数据类型的深度学习算法来解析图形用户界面屏幕，通过整合视觉与文字内容增强辨识度的精确性。
• 大规模语言模型（MLM）：LLM能够抽取文本里的深层次语义细节，并识别及分析重要信息。
• 对象识别与内容解析把UI界面解析工作转变为结合目标识别与内容解读的形式，并利用大型模型的优势来增强对各种技术架构界面的兼容性。
• 光学字符识别与用户界面元素解析通过应用OCR技术来获取文本数据，并利用UI组件解析工具抓取页面元素，然后把这些信息填充到预先设计好的链式思考提示中，最后借助大规模模型进行逻辑推演以提炼出核心内容。
• 验证一致性的规范依据设定好的数字逻辑与含义准则，评估抽取出来的用户界面信息是否一致。通过规定来直接验证数字逻辑类型的统一，并利用大语言模型的解析功能对复杂含义标准进行核验。
• 信息抽取提示词创作为解决大型语言模型经常出现的“幻觉”现象，采用融入上下文理解的提示词技术（CoT），以增强信息抽取的精确度。
• 多种模式用户界面区段辨识通过采用以视觉语义为基础的目标区域辨识模型CLIP，该方法利用图片与文字间的语义关联，在多维度向量空间内实现精准比对，从而增强了识别效果的广泛适用性及精确度。

AutoConsis项目的网址

• 科技文章该文献的引用链接如下所示：https://dl.acm.org/doi/10.1145/3639477.3639748

AutoConsis的使用场合

• 在线购物商城于电商平台上，需验证产品详细页面、购物车页面及结账页面中的价格与存货数据的一致性，以保障顾客浏览各界面时所见信息精确并保持更新同步。
• 市场推广活动的确认在开展促销及市场推广时，应确保各页面有关打折、优惠以及活动细则的信息统一无误，以防止由于信息差异引发用户的混淆与不解。
• 金融服务应用程序于金融服务领域内，需核查诸如账户余额、历史交易详情及投资收益等核心经济信息，在各网页间展示的一致性状况。
• 旅行与住宿安排在旅行与住宿预定应用程序里，确保各页面的价格信息、可预订状态及预定条件保持统一，从而改善用户的体验感受。
• 社交网络与内容分享平台在社交网络及内容发布平台上，核查用户个人信息、发布的文章以及留言之间的数据与信息是否吻合。