Evidently
活跃简介
Evidently 是一个开源 ML 和 LLM 可观测性框架，提供 100+ 评估指标，用于测试、监控和评估 AI 驱动的系统。
核心特性
- 100+ 内置评估指标，覆盖数据漂移、ML 模型和 LLM 输出
- LLM-as-a-judge 评估器用于生成式 AI 质量评测
- 报告和测试套件支持通过/失败条件，可集成 CI/CD
- 自托管或云端监控仪表盘，支持实时告警
- 支持表格数据、文本、分类、回归、排序和 RAG 等场景
- 开放架构，支持自定义指标和数据导出
适用场景
💡 监控 LLM 应用在生产环境中的质量退化
💡 对 ML 管道进行数据漂移检测
💡 评估 RAG 检索质量和相关性
💡 在 CI/CD 中自动化模型性能回归测试
优势与不足
✅ 优势
- • 活跃维护，近期持续更新
- • 社区热度高（7.9k stars）
- • 开源许可证友好（Apache-2.0）
- • 项目有一定历史沉淀（已维护 5 年）
分类
快速开始
安装：`pip install evidently`。使用内置预设如 `DataDriftPreset` 或 `TextEvals` 创建报告，在 pandas DataFrame 上运行，可在 Jupyter 中查看结果或导出为 HTML/JSON。使用 `evidently ui --demo-projects all` 启动监控界面，访问 localhost:8000。