OpenAI CUA Sample App

不活跃
GitHub TypeScript MIT

简介

OpenAI Computer Using Agent (CUA) 官方示例应用，展示如何在多种计算机环境中通过 API 使用 CUA 实现图形界面自动化操作。

核心特性

  • 双执行模式：原生计算机操作（点击、拖拽、输入）和代码模式（Playwright JS REPL）
  • 操作员控制台 UI，支持实时截图、SSE 事件流和回放制品审查
  • 每次运行隔离的可变工作区，管理独立的浏览器会话
  • 三个官方演示场景：看板拖拽、画板绘图和预订表单填写
  • 场景清单支持针对预期结果的确定性验证
  • 单体仓库架构，共享运行时、Schema 和浏览器抽象包

适用场景

💡 用于 UI 测试和 QA 工作流的浏览器自动化
💡 通过 API 与 Web 应用交互的计算机操作 Agent 原型开发
💡 构建用于监控和审查 Agent 浏览器会话的操作员仪表板
💡 创建自定义场景进行确定性 Agent 行为验证
💡 学习如何集成 OpenAI Responses API 实现计算机操作工作流

标签

agent browser openai typescript api

分类

🌐 浏览器 Agent 🔌 MCP 工具

快速开始

```bash
git clone https://github.com/openai/openai-cua-sample-app.git
cd openai-cua-sample-app
corepack enable
pnpm install
cp .env.example .env
# 编辑 .env 并设置 OPENAI_API_KEY
pnpm playwright:install
pnpm dev
```
打开 http://127.0.0.1:3000，选择一个场景，保持 Headless 选中状态，然后开始运行。
访问 GitHub

相关项目