Agenta
活跃简介
Agenta 是一个开源 LLMOps 平台，提供 Prompt Playground、Prompt 管理、LLM 评估和可观测性的一站式解决方案。
核心特性
- 交互式 LLM Playground，支持 50+ 模型的 Prompt 并排对比测试
- 集成 Prompt 管理，支持版本控制、分支管理和多环境管理
- 系统化 LLM 评估，提供 20+ 预置评估器、LLM-as-Judge 和人工反馈集成
- 基于 OpenTelemetry 的可观测性，支持成本追踪、延迟监控和详细链路追踪
- 灵活的测试集创建，支持从生产数据、Playground 实验或 CSV 上传生成
- 支持 Docker 自托管部署或使用免费的 Agenta Cloud 托管服务
适用场景
💡 与领域专家通过可视化 Playground 协作进行 Prompt 工程
💡 生产环境中 LLM 应用的监控与成本优化
💡 部署前对 Prompt 变更进行自动化回归测试
💡 跨供应商多模型 A/B 测试，比较 LLM 性能表现
💡 使用 OpenTelemetry 兼容追踪调试复杂 LLM 工作流
分类
快速开始
1. 在 cloud.agenta.ai 注册（免费，无需信用卡）或克隆仓库。2. 自托管方式：克隆仓库，复制环境变量示例文件，运行 docker compose。3. 在 Playground 中创建你的第一个 LLM 应用，编写 Prompt 并运行评估。