谷歌开源AI浏览器自动化工具

Computer Use Preview是什么？

Computer Use Preview是一款由谷歌推出的开源AI浏览器自动化工具。该工具基于先进的Gemini AI模型的视觉识别能力，通过“截图-分析-操作”的流程，能够模拟人类对网页的操作行为。其独特之处在于无需依赖固定的元素定位，即可完成复杂的网页交互任务。

Computer Use Preview在跨网站数据处理和动态交互场景中表现尤为突出，在标准化测试中的准确率高达69%，远超同类工具。它通过集成Google的Gemini API和Vertex AI平台，具备强大的任务理解和执行能力，广泛应用于Web自动化测试、数据采集以及日常操作 automation 等场景，是零编程经验用户快速上手的理想选择。

Computer Use Preview的核心功能

• 自然语言驱动： 用户只需用简单的中文或英文描述任务，AI即可自动解析并执行操作，完全省去了编写复杂脚本的麻烦。
• 智能交互能力： 支持处理各种复杂的浏览器操作，包括导航、点击、表单填写、滚动等。得益于Gemini模型的强大理解能力，它能够适应页面内容的动态变化。
• 双运行环境支持：
  • Playwright（本地模式）： 在本地控制Chrome浏览器实例，适用于需要本地数据处理的场景。
  • Browserbase（云模式）： 连接到Browserbase服务，适合需要云端资源支持或分布式操作的任务。
• 调试友好性： 提供截图和鼠标轨迹高亮功能，用户可以实时监控执行过程，快速定位问题并优化操作流程。
• AI大模型集成： 借助Gemini API和Vertex AI的强大能力，工具能够准确理解复杂指令，并处理动态变化的网页内容。

如何使用Computer Use Preview？

要开始使用Computer Use Preview，请按照以下步骤操作：

• 获取项目文件： 从GitHub仓库下载项目包，解压到本地目录。
• 环境搭建： 安装Python 3.8及以上版本，并创建虚拟环境以避免依赖冲突。
• 安装依赖项： 在项目目录中运行命令`pip install -r requirements.txt`来安装所需库，同时下载Playwright浏览器驱动。
• 配置API密钥： 注册Google Cloud服务，获取Gemini API密钥，并设置环境变量。
• 启动工具： 使用自然语言指令运行工具，例如：“打开Google并搜索‘Hello World’”。
• 高级配置（可选）： 根据需求选择运行模式（Playwright或Browserbase），并调整相关参数设置。

获取Computer Use Preview

• 源代码地址： GitHub仓库
• 在线体验： 通过Browserbase服务直接使用云版本。

Computer Use Preview的应用场景

• Web自动化测试： 快速验证网页功能，检查按钮点击、表单提交等交互是否正常工作。
• 数据采集： 从多个网站抓取信息，轻松处理动态加载的内容。
• 日常操作 automation： 自动执行重复性任务，如登录、导航和内容检索，提升工作效率。