Midscene.js

活跃

GitHub TypeScript MIT

简介

AI 驱动的视觉化 UI 自动化工具，支持自然语言描述操作，告别传统选择器，兼容浏览器和移动端

核心特性

AI 驱动的视觉 UI 自动化，使用自然语言描述操作，告别传统选择器
跨平台支持：Web（Puppeteer/Playwright）、Android（adb）和 iOS（WebDriverAgent）
纯视觉定位——元素交互不依赖 DOM，显著降低 token 消耗
支持多种视觉语言模型：Qwen3.x、Doubao-Seed-2.0、GLM-4.6V、UI-TARS
三层 API：交互 API、数据提取 API 和工具 API（aiAssert、aiLocate、aiWaitFor）
MCP 集成将 Midscene Agent 操作暴露为工具，供上层 Agent 编排调用

适用场景

💡 使用自然语言测试脚本在浏览器中自动化 Web UI 测试

💡 构建跨平台移动端自动化，用于 Android 和 iOS 应用测试

💡 创建通过视觉交互任何用户界面的 AI Agent 工作流

💡 无需编写脆弱的 CSS/XPath 选择器即可快速原型化 UI 自动化

分类

🌐 浏览器 Agent

快速开始

npm install @midscene/web && npx @midscene/web playground

访问 GitHub 访问官网

相关项目

MCP Playwright

5.6k · TypeScript

不活跃

基于 Playwright 的 MCP 服务器，支持在 Claude Desktop、Cline、Cursor 等 AI 编码工具中自动化浏览器和 API 操作

mcpplaywrightbrowser-automation +2

HyperAgent

1.5k · TypeScript

正常

HyperAgent 是基于 Playwright 的 AI 浏览器自动化框架，提供 page.ai()、page.perform()、page.extract() 等高级 API，内置 MCP 客户端和动作缓存，让 AI Agent 以自然语言指令操控网页浏览、交互和数据提取。

browser-automationplaywrightai-agent +3

AIPex

1.2k · TypeScript

活跃

AI 浏览器自动化助手 Chrome 扩展，隐私优先，支持 MCP 协议，可替代 Claude Chrome 和 Manus Browser Operator

browser-automationchrome-extensionmcp +2

Magnitude

4.1k · TypeScript

不活跃

开源的视觉优先浏览器 Agent，通过视觉理解驱动 Web 自动化操作，支持复杂的网页交互任务，适用于 QA 测试和 Web 工作流自动化场景。

vision-firstbrowser-automationweb-agent +2

Browser AgentWeb 自动化Playwright

Browser Agent 实战：让 AI 操控浏览器的架构与陷阱

从裸 Playwright 到结构化提取，拆解三层浏览器自动化抽象的适用场景、生产模式和常见踩坑。

阅读全文 →