ScaleCUA

不活跃
GitHub Python Apache-2.0

简介

开源的跨平台计算机使用智能体，支持在 Windows、macOS、Ubuntu 和 Android 环境中操作 GUI 界面，ICLR 2026 Oral 论文项目。

核心特性

  • 跨平台 GUI 操作：支持 Windows、macOS、Ubuntu、Android 和 Web 环境
  • 大规模训练数据：覆盖 6 个操作系统和 3 个任务领域的操作轨迹
  • SOTA 性能：MMBench-GUI L1-Hard 94.4%、OSWorld-G 60.6%、WebArena-Lite-v2 47.4%
  • 两种运行模式：原生代理模型（单模型）和代理工作流（双模型）
  • 完整的训练框架：支持基于 Qwen2.5-VL 和 InternVL 从零训练
  • 交互式 Playground：提供 Ubuntu、Android、Web 预配置虚拟机环境

适用场景

💡 自动化测试：在多个操作系统平台上自动执行 GUI 测试任务
💡 跨平台 RPA：用单一代理在 Windows、macOS、Android 上执行重复性操作
💡 学术研究：复现 ICLR 2026 Oral 论文的计算机使用智能体实验
💡 浏览器自动化：在 Web 环境中执行复杂的网页交互和数据提取
💡 移动端自动化：在 Android 设备上自动执行应用操作和界面交互

标签

browser python agent automation

分类

🌐 浏览器 Agent

快速开始

1. 克隆仓库：`git clone https://github.com/OpenGVLab/ScaleCUA.git && cd ScaleCUA`；
2. 安装依赖：`pip install -r requirements.txt`；
3. 使用 vLLM 部署 ScaleCUA 模型（支持原生代理和工作流两种模式）；
4. 配置 Playground 环境：启动预配置的 Ubuntu/Android/Web 虚拟机；
5. 运行评估基准：选择 `AndroidWorld`、`OSWorld`、`WebArenaLite-v2` 等测试集进行评测。
访问 GitHub

相关项目