字节跳动发布开源的本机GUI代理模型——UI-TARS

UI-TARS指的是什么？

字节跳动最新发布的UI-TARS是一款先进的原生图形用户界面（GUI）代理系统，致力于通过自然语言促进桌面、移动设备及网页环境中的自动化交互操作。该模型拥有卓越的感知力、推理能力以及执行和记忆功能，能够即时解析动态变化的界面，并借助多模态输入（例如文本与图像）完成一系列复杂任务。UI-TARS的关键特性在于其定义了跨平台的标准行动框架，适用于桌面应用、移动设备及网页等多种场景。它融合了迅速直观响应能力和解决复杂问题规划的能力，支持多层次推理分析、自我反省和纠正错误机制，并配备短期记忆和长期记忆系统以更好地应对不断变化的任务需求。

UI-TARS的核心能力

• 多种感官融合识别UI-TARS 具备处理包括文本与图片在内的多种输入类型的能力，能够即时识别并解析变化中的界面信息，并且兼容多平台（如计算机、手机及网络应用）上的互动操作。
• 人机间的文字对话交流使用者能够利用自然语言向UI-TARS发出指示进行交流，并实现包括任务规划与执行在内的多种复杂作业。它具备多步骤逻辑推演及纠错功能，可以如同人一般应对各种错综复杂的互动情境。
• 多平台运作适用于桌面、移动端及网页界面，制定统一的行为规范，并且能够适应各平台特有的交互方式（例如快捷键和触控手势）。
• 视像辨识及互动UI-TARS 利用屏幕捕获与图像辨识技术，精确查找界面组件，并可进行如鼠标点选及文字录入的操作，特别适合处理繁复的视觉相关工作。
• 回忆和情境调控拥有处理短期内存与长期内存的能力，可以捕获任务的相关背景信息，并保存以往的互动纪录，进而更有效地支撑持续性工作及复杂的使用情境。
• 自动化的任务运行能够自动执行包括启动应用程序、查找资料和输入表格数据在内的多项操作，从而提升用户的作业效率。
• 便捷安装配置提供云上部署选项（例如 Hugging Face 的推理服务）及本地安装方案（比如利用 vLLM 或 Ollama 实现），以适应各类用户的特定需求。
• 可拓展性UI-TARS 拥有多种API和开发工具，便于开发者实现定制化开发与系统整合。

TARS-UI的运作机制

• 提升认知水平UI-TARS 经过一个庞大的图形用户界面截图库的培训，能够精确定位并描述界面上的组件，并具备情境识别能力。它借助于视觉编码器即时捕捉图像特点，从而达成对用户界面的多元信息解读。
• 协同行为建模UI-TARS 实现了跨平台操作的一致性，并建立了一个通用的动作框架，适用于桌面应用、移动设备以及网络环境中的用户互动。借助大量动作路径的数据培训，该系统可以精确识别界面组件并执行相应的交互操作。
• 结构化的逻辑分析技能UI-TARS 集成了系统的推理框架，能够执行多步骤的任务拆分、思考反省以及关键节点的辨识等多种推理方式。这使其在处理复杂的任务时可以进行高级别的计划与判断。
• 反复训练及实时自我评估为了解决数据瓶颈的问题，UI-TARS 利用自动化手段来搜集、甄别及评估新互动路径，并通过迭代训练不断优化自身。它能够在虚拟环境中运作，在遇到失误时自我修正并灵活应对突发状况，从而降低对外部人为介入的需求。

UI-TARS项目的仓库位置

• Git存储库：访问ByteDance的UI-TARS项目，请前往此链接：https://github.com/bytedance/UI-TARS
• HuggingFace的模型集合访问此链接以查看ByteDance研究团队开发的UI-TARS-7B-DPO模型：https://huggingface.co/bytedance-research/UI-TARS-7B-DPO
• 关于arXiv的技术文章访问此链接以查看论文的PDF版本：https://arxiv.org/pdf/2501.12326

UI-TARS的使用情境

• 电脑端与手机端的自动处理功能利用自然语言指令操作电脑或便携设备，实现诸如启动应用程序、查找资料等功能。
• 网页自动化借助 Midscene.js，开发人员能够通过JavaScript和自然语言来操纵浏览器。
• 视觉得以辨识并与之互动具备截屏与图片辨识的能力，可根据视觉数据精准地操控鼠标及键盘。