Open-AutoGLM

不活跃
GitHub Python Apache-2.0

简介

Open-AutoGLM 是一个开放的手机 Agent 模型与框架，支持 AI 自主操控手机界面完成任务，解锁 AI Phone 体验。

核心特性

  • 多模态屏幕理解 — 通过视觉语言模型（VLM）感知手机屏幕内容，理解当前界面状态
  • ADB/HDC 设备控制 — 通过 Android Debug Bridge 和 HarmonyOS HDC 控制 Android 和鸿蒙设备
  • 自然语言任务规划 — 用户用自然语言描述需求，系统自动解析意图并规划操作流程
  • 敏感操作确认机制 — 在登录、验证码等场景下暂停并请求人工接管
  • 多模型部署支持 — 支持 SGLang、vLLM 推理引擎，可本地部署或通过智谱/ModelScope 云服务调用
  • 跨平台兼容 — 同时支持 Android 7.0+、HarmonyOS NEXT 和 iPhone（通过 WebDriverAgent）

适用场景

💡 手机自动化操作：自动打开应用、搜索商品、比较价格等日常任务
💡 跨应用信息检索：在多个 App 之间切换并收集信息，如对比购物平台价格
💡 自动化测试：对移动应用进行 GUI 自动化回归测试
💡 辅助残障用户操作手机：通过语音指令自动完成复杂手机操作流程
💡 数据采集与录入：自动在手机 App 中填写表单、提交数据

标签

phone-agent gui-agent agent-framework multimodal python

分类

🤖 Agent 框架 🌐 浏览器 Agent

快速开始

```bash
pip install -r requirements.txt
pip install -e .
adb devices
python main.py --base-url https://open.bigmodel.cn/api/paas/v4 --model "autoglm-phone" --apikey "your-key" "打开美团搜索附近的火锅店"
```
访问 GitHub 访问官网

相关项目