首页项目文章PK榜关于
探索项目

DeepEval

活跃
GitHub Python Apache-2.0

简介

DeepEval 是一个用于 LLM 应用的开源评估框架。提供丰富的评估指标和工具，支持单元测试、集成测试，帮助开发者构建可靠的 LLM 应用。

核心特性

  • 兼容 Pytest 的 LLM 评估框架，提供开箱即用的智能体、RAG 和聊天机器人评估指标
  • 智能体指标包括任务完成度、工具正确性、步骤效率和计划遵循度
  • RAG 指标涵盖答案相关性、忠实度、上下文召回/精确度/相关性和 RAGAS
  • 多轮对话指标支持知识保留、对话完整性和轮次相关性评估
  • MCP 指标评估 Model Context Protocol 智能体的任务完成和工具使用情况
  • G-Eval 和 DAG 指标支持自定义标准评估，使用 LLM-as-judge 实现类人准确度

适用场景

💡 部署前对 LLM 应用进行单元测试，捕获质量回归
💡 使用检索和答案质量指标评估 RAG 流水线准确性
💡 基准测试不同模型、提示词和架构以选择最优 LLM
💡 对聊天机器人和多轮对话智能体进行回归测试
💡 在 CI/CD 流水线中对 LLM 驱动的生产系统进行持续评估

优势与不足

✅ 优势

  • • 活跃维护，近期持续更新
  • • 社区热度高（17.6k stars）
  • • 开源许可证友好（Apache-2.0）
  • • 项目有一定历史沉淀（已维护 3 年）

标签

llm evaluation testing rag

分类

📊 可观测性 ⚡ Agent 工具

快速开始

通过 `pip install deepeval` 安装，使用 `AnswerRelevancyMetric` 和 `FaithfulnessMetric` 等指标编写测试用例，像 pytest 一样运行 `deepeval test run`，在终端或 Confident AI 平台查看结果。
访问 GitHub 访问官网

相关项目

Ragas

15.3k · Python
不活跃 B

Ragas 是一个用于评估 RAG（检索增强生成）系统的框架。提供多种评估指标，包括忠实度、答案相关性、上下文精确度等，帮助开发者优化 RAG 应用性能。

ragevaluationllm +1
  • · 基于 LLM 和传统方法的客观评估指标，精准衡量 LLM 应用质量
  • · 自动生成覆盖多种场景的测试数据集，专为 RAG 系统设计
  • · 无缝集成 LangChain、主流可观测性工具及热门 LLM 框架
查看完整详情 → 在 GitHub 查看

TensorZero

11.7k · Rust
正常 B

TensorZero 是开源 LLMOps 平台，统一 LLM 网关、可观测性、评估、优化与 A/B 测试，专为生产 Agent 设计。

observabilityllmllm-gateway +2
  • · 统一 LLM 网关 - 一套 API 接入 Anthropic、OpenAI、Bedrock、Gemini、vLLM 等 20+ 提供方
  • · 10k+ QPS 下 p99 延迟开销 < 1ms - Rust 核心面向生产吞吐优化
  • · 推理与反馈存储 - 数据存放在你自己的数据库中
查看完整详情 → 在 GitHub 查看

PromptTools

3.0k · Python
不活跃 B

PromptTools 是开源的提示词测试与实验工具集，支持多种 LLM（OpenAI、LLaMA）和向量数据库（Chroma、Weaviate、LanceDB），帮助开发者系统化评估和优化 RAG 系统。

prompt-testingragevaluation +3
  • · 开源的提示词测试与实验工具，支持多种 LLM 提供商
  • · 支持 OpenAI、Anthropic、LLaMA、Mistral、Gemini、HuggingFace 等
  • · 向量数据库评估：Chroma、Weaviate、Qdrant、LanceDB、Pinecone
在 GitHub 查看

TruLens

3.5k · Python
活跃 A

TruLens 是一个用于评估和跟踪 LLM 应用的开源工具。提供针对 RAG 应用的专门评估功能，包括上下文相关性、接地性和答案相关性等评估维度。

llmevaluationobservability +1
  • · 基于 OpenTelemetry 的追踪，结构化 OTEL Span
  • · 7 个智能体评估器：一致性、效率、计划遵循、质量、工具选择、工具调用、工具质量
  • · 批量和内联评估，可配置 worker 数
查看完整详情 → 在 GitHub 查看

相关文章

RAG评估Ragas

RAG系统评估实战：使用Ragas和DeepEval构建高质量检索增强生成应用

学习如何使用 Ragas 和 DeepEval 评估 RAG 系统的质量，包括忠实度、答案相关性、上下文精确度等关键指标的测量方法。

阅读全文 →