AI赋能的UI自动化测试工具 Midscene.js

Midscene.js代表的是一个特定的软件工具或库。

SceneFlex是一款运用AI技术的自动化软件开发工具包（SDK），利用大型语言模型简化UI自动测试中的指令流程。使用者能够以自然语言的形式说明交互步骤或期望的数据格式，而SceneFlex会执行相应操作。该工具支持动作执行、数据查询和页面断言功能，旨在降低脚本维护的工作量，并生成可视化的报告结果。作为开源项目，SceneFlex可以在用户的本地环境中部署运行，从而保障数据的安全性。

Midscene.js的核心作用

• 人机间的语言交流：根据说明的步骤，用户执行包括输入文字和点击按钮在内的一系列操作。
• 个性化数据检索用户说明所需求的JSON结构，Midscene.js会依据页面中的信息来抽取对应的数据。
• 直接判断用户验证页面的状态，以保证界面设计满足预期效果。
• 谷歌浏览器插件允许用户通过自然语言在任意网站上操作、搜索及声明，而无需进行编程。
• 软件项目的整合通过整合YAML脚本以及诸如Puppeteer和Playwright之类的工具来执行自动化测试任务。
• 可视化的报表在每一轮执行结束后生成包含动态演示与操作细节的图表摘要，并设立专门的实验空间让用户能够自由修改指令参数而不必重复启动程序。

Midscene.js的核心技术机制

• 语言的自动化处理技术（NLP）接受用户以自然语言形式提供的输入，并通过运用NLP技术来解读和分析这些指令。
• 用户界面解析该模型解析网页信息，并诠释用户对界面组件及操作的说明。
• 实施操作依据对信息的理解，该系统会实施对应的浏览器自动化任务，比如模仿用户的输入动作或点击行为。
• 信息抽取该系统依据用户提出的搜索需求，从网络页面中抽取符合指定格式的信息。
• 声明校验系统验证网页的状态以确认其满足用户设定的预期条件。

Midscene.js的工程项目链接

• 官方网站项目页面：middlestagejs.net
• Git存储库：可在GitHub上的web-infra-dev账号下找到midscene项目

Midscene.js的使用场合

• 自动化的测试情境通过自动运行测试案例来保证网站或应用程序的各项功能能够如预期般正常运作。
• 数据分析情境从网站上抓取有序的数据，例如产品详情，应用于商业研究或是存货控制。
• 性能监测情境通过仿真用户操作来监测网站的运行效率，并迅速识别和处理存在的性能问题。
• 检测界面统一性的场合检查网站在各种设备和浏览器中展示的一致性，以确保用户获得良好的体验。
• 价格跟踪情境应定时核查商品的价格信息，一旦发现价格有变化，立即向用户或相关系统发送自动提醒。