AppAgent

不活跃

GitHub Python MIT

简介

AppAgent 是基于 LLM 的多模态智能体框架，让 AI 能够像人类一样操作智能手机应用，支持触控交互和自主探索。

核心特性

基于 LLM 的多模态智能体，通过触摸和滑动操作智能手机应用
支持自主探索和人类演示两种学习模式，自动构建操作知识库
简化动作空间设计，无需系统后端权限即可跨应用操作
集成 GPT-4V 和通义千问-VL 等多模态模型
提供网格覆盖层精确定位未标记的 UI 元素
支持 Android Studio 模拟器，无需实体设备即可测试

适用场景

💡 自动化社交媒体操作（如关注用户、发布内容）

💡 辅助视障人士操作手机应用

💡 批量自动化重复性手机任务

💡 研究人机交互和 GUI 自动化

优势与不足

✅ 优势

• 社区热度高（6.9k stars）
• 开源许可证友好（MIT）
• 项目有一定历史沉淀（已维护 2 年）

⚠️ 不足

• 已超过 17 个月未更新

标签

multimodal smartphone gui-agent llm gpt4v agent-framework

分类

🤖 Agent 框架 🌐 浏览器 Agent

快速开始

1. 安装 Android Debug Bridge (adb) 并通过 USB 连接 Android 设备
2. 克隆仓库并安装依赖：`pip install -r requirements.txt`
3. 在 `config.yaml` 中配置 OpenAI API Key 和请求间隔
4. 启动探索阶段：选择自主探索或人类演示模式
5. 运行部署阶段执行目标任务

访问 GitHub 访问官网查看文档

相关项目

Open-AutoGLM

26.2k · Python

Open-AutoGLM 是一个开放的手机 Agent 模型与框架，支持 AI 自主操控手机界面完成任务，解锁 AI Phone 体验。

phone-agentgui-agentagent-framework +2

· 多模态屏幕理解 — 通过视觉语言模型（VLM）感知手机屏幕内容，理解当前界面状态
· ADB/HDC 设备控制 — 通过 Android Debug Bridge 和 HarmonyOS HDC 控制 Android 和鸿蒙设备
· 自然语言任务规划 — 用户用自然语言描述需求，系统自动解析意图并规划操作流程

查看完整详情 → 在 GitHub 查看

AutoAgent

全自动化零代码 LLM Agent 框架，用户无需编写代码即可构建和部署自定义 AI Agent，支持自然语言驱动的 Agent 创建。

agent-frameworkzero-codeautomation +2

· 全自动代理构建 — 通过自然语言即可创建、定制和部署 AI Agent，无需编码
· 零代码框架，让没有技术背景的用户也能参与 AI 开发
· 自管理工作流生成 — 根据高层描述动态创建和优化代理管道

查看完整详情 → 在 GitHub 查看

ii-agent

「ii-agent」是平台型仓库：面向对话界面与聊天应用壳层，便于快速搭建 Agent 交互前端。

agentagentic-aiai +5

· 全栈智能体平台：后端、前端和基础设施
· 从简短提示生成移动和 Web 应用
· 深度和快速研究，生成交互式网站

在 GitHub 查看

ART

10.7k · Python

ART（Agent Reinforcement Trainer）是一个使用 GRPO 算法训练多步 Agent 的强化学习框架，支持为 Qwen、Llama 等模型进行在职训练以完成真实世界任务。

reinforcement-learningagent-trainingGRPO +3

· 基于 GRPO 的强化学习，用于在真实世界任务上训练多步 Agent
· W&B Training 无服务器 RL，通过共享推理集群降低 40% 成本并提速 28%
· 预置笔记本示例，涵盖邮件搜索、2048、井字棋、Codenames 和 MCP 工具掌握

查看完整详情 → 在 GitHub 查看