AppAgent

不活跃
GitHub Python MIT

简介

AppAgent 是基于 LLM 的多模态智能体框架，让 AI 能够像人类一样操作智能手机应用，支持触控交互和自主探索。

核心特性

  • 基于 LLM 的多模态智能体，通过触摸和滑动操作智能手机应用
  • 支持自主探索和人类演示两种学习模式，自动构建操作知识库
  • 简化动作空间设计，无需系统后端权限即可跨应用操作
  • 集成 GPT-4V 和通义千问-VL 等多模态模型
  • 提供网格覆盖层精确定位未标记的 UI 元素
  • 支持 Android Studio 模拟器，无需实体设备即可测试

适用场景

💡 自动化社交媒体操作（如关注用户、发布内容）
💡 辅助视障人士操作手机应用
💡 批量自动化重复性手机任务
💡 研究人机交互和 GUI 自动化

标签

multimodal smartphone gui-agent llm gpt4v agent-framework

分类

🤖 Agent 框架 🌐 浏览器 Agent

快速开始

1. 安装 Android Debug Bridge (adb) 并通过 USB 连接 Android 设备
2. 克隆仓库并安装依赖：`pip install -r requirements.txt`
3. 在 `config.yaml` 中配置 OpenAI API Key 和请求间隔
4. 启动探索阶段：选择自主探索或人类演示模式
5. 运行部署阶段执行目标任务
访问 GitHub 访问官网 查看文档

相关项目