智谱AI开放的GLM-PC基础模型——CogAgent-9B

CogAgent-9B指的是什么

CogAgent-9B是一款专为代理任务设计的模型，其基础是GLM-4V-9B，并且仅使用屏幕截图作为输入信息，不依赖HTML或其他文本描述。该模型能够处理高分辨率图像，支持中英文双语交流，并具备预测和执行GUI操作的能力，从而实现自动化任务处理。在各种GUI操作数据集上表现优异，此模型已经开源共享，促进了大型代理模型生态系统的进步和发展。CogAgent-9B适用于个人电脑、智能手机以及车载系统等多种涉及图形用户界面交互的场景中。

CogAgent-9B的核心能力

• 理解与运用 GUICogAgent-9B具备理解与操控图形用户界面（GUI）的能力，能够完成诸如点击按钮和录入文字之类的操作。
• 显示屏捕获入口该模型只需屏幕截图作为其输入源，无须借助其他形式的文本描述（例如HTML），这使得它能够在各种设备上具有高度的应用灵活性。
• 高质量图像处理该系统可接受最高达1120×1120像素的精细图像作为输入，从而具备解析更为复杂视觉数据的能力。
• 多语言交流具备处理中英文字幕截图及语言交流的能力，提升了该模型在全球范围内的适用性。
• 预估图形用户界面交互依据用户的特定任务及过往的操作行为，该模型可以预判接下来的图形用户界面动作。
• 自动化的任务运行CogAgent-9B具备模拟用户行为的能力，并能够自动完成一系列的图形界面任务。
• 多平台应用程序适合多种以图形用户界面为基础的互动环境，如个人计算机、智能手机及车载系统等。
• 表现卓越在若干图形用户界面操作的数据集中表现优异，彰显了其出色的效能。

CogAgent-9B的运作机制

• 视像语言系统（VLS）CogAgent-9B 是基于高性能的视觉语言模型 GLM-4V-9B 开发的，具备解析图像资料与文字内容的能力，并能理解和操控图形用户界面组件。
• 双重流注意力模型在使用双流注意力机制的基础上，CogAgent-9B能够把视觉组件如按钮与图标转换为其对应的文本标识或解释，这进一步提升了模型理解用户需求并实施相应动作的精准度。
• 基于GUI的上下文化预先训练在进行预训练时，CogAgent-9B采用了GUI Grounding技术，该技术利用屏幕图像与布局信息配对的方式建立界面部分区域与其布局描述之间的联系，从而增强模型处理视觉数据及理解和解析GUI界面的能力。
• 资料集合的全面性和完备性CogAgent-9B项目组大量搜集并融合了各式各样的数据库资源，涵盖了非监督学习的数据及GUI命令精调用的数据集合。这种多样的且内容丰富的资料库极大地拓宽了模型在训练与验证过程中的数据来源范围。
• 预先训练及后续的策略改进优化CogAgent-9B于预训练期间融入了GUI指向表达生成(REG)及理解(REC)任务，旨在建立界面子区域与布局特征之间的关联。经过后续训练阶段时，则运用了一种更为合理的GUI代理后训方法，大大增强了模型的分析、推理和预测性能。
• 模型的推断与思考路径改进在CogAgent-9B中，思维链被细分为现状（显示界面的当前状态）、规划（整体策略方向）、行动（下步操作的文字说明）及运作（对下一步进行形式化语言描述）。它利用随机采样整合多样的训练数据模式，并能在推理过程中灵活地调节和把控实际输出结果。
• 动作范围优化完成CogAgent-9B定义了基本的动作范围，并引入了包括LLM、QUOTE_TEXT、LAUNCH在内的高级功能，显著提升了模型的操作工具与互动性能。

CogAgent-9B的项目位置

• GitHub代码库：访问该项目的GitHub页面，请前往 https://github.com/THUDM/CogAgent 页面。
• HuggingFace的模型集合库访问该模型的页面：https://huggingface.co/THUDM/cogagent-9b-20241220

CogAgent-9B的使用场合

• 自动化的软件测试过程在软件开发过程中，CogAgent-9B能够实现自动化测试功能，通过仿真用户行为来检验应用的图形界面，从而增强测试的速度与全面性。
• 智能化助理作为一名智能化的个人助手，CogAgent-9B能够辅助用户自动化地执行日常生活中的各项任务，包括但不限于日程安排和电子邮件处理等工作。
• 客户支持在客户支持行业里，CogAgent-9B能够通过自动化的手段协助服务代表们迅速应对客户的请求，并完成相应的处理工作。
• 智能家庭管理CogAgent-9B能够被整合进智能家居系统里，用户可以通过图形界面来操控家中各类智能装置。
• 智能化驾驶舱在汽车行业里，CogAgent-9B能够应用于智能化驾舱系统中，利用图形用户界面与车内的信息娱乐装置进行互动，从而为驾驶员创造一个更加安全和方便的操作环境。