PyWinAssistant

不活跃
GitHub Python MIT

简介

首个开源的通用 GUI 自动化智能体框架，通过自然语言完全操控图形界面，利用思维可视化与链式推理实现空间感知与 HID 交互模拟。

核心特性

  • 首个通过原生 Windows 辅助功能 API 操作 GUI 的开源 Computer-Using-Agent，无需 OCR 或像素级成像
  • 符号空间映射，通过 OS 原生父子关系和坐标系统实现层级化元素追踪
  • 自然语言到 GUI 自动化：解析意图、映射到 UI 元素、生成自适应工作流
  • 跨应用状态感知，将所有应用视为单一 UIA 可访问图中的节点
  • 自愈工作流，自动适应 UI 变化，减少维护开销
  • AI 驱动的脚本生成，将自然语言转换为任何 IDE 中的可执行代码

适用场景

💡 仅使用自然语言命令自动化复杂的 Windows 桌面工作流
💡 无需 API 集成即可在 GUI 应用之间进行跨应用数据传输和编排
💡 为残障用户构建无障碍的计算机控制系统
💡 自动化表单填写、数据录入和报告生成等重复性 Windows 任务
💡 为 Windows 桌面应用创建端到端的测试自动化

标签

browser agent python automation desktop

分类

🌐 浏览器 Agent

快速开始

1. 使用 `pip install pywinassistant` 安装依赖。2. 设置 LLM API 密钥。3. 编写自然语言命令如 `assistant('在 Spotify 播放 Daft Punk')`。4. PyWinAssistant 使用 Windows UIA API 检测 UI 元素并执行工作流，无需 OCR 或截图。
访问 GitHub

相关项目