Ragas

不活跃

GitHub Python Apache-2.0

简介

Ragas 是一个用于评估 RAG（检索增强生成）系统的框架。提供多种评估指标，包括忠实度、答案相关性、上下文精确度等，帮助开发者优化 RAG 应用性能。

核心特性

基于 LLM 和传统方法的客观评估指标，精准衡量 LLM 应用质量
自动生成覆盖多种场景的测试数据集，专为 RAG 系统设计
无缝集成 LangChain、主流可观测性工具及热门 LLM 框架
基于生产数据的反馈循环，持续优化 LLM 应用性能
预置快速启动模板，支持 RAG 评估、Agent 评估和 LLM 基准测试
DiscreteMetric 支持自定义维度评估，提供细粒度评分与推理

适用场景

💡 使用忠实度、相关性和上下文精确度指标评估 RAG 管道质量

💡 对比不同 LLM 提示词和配置，找到最优方案

💡 生成合成测试数据集，对检索和生成组件进行压力测试

💡 为生产环境中的 LLM 应用构建 CI/CD 评估门禁

分类

📚 RAG 工具 📊 可观测性

快速开始

pip install ragas && ragas quickstart rag_eval -o ./my-project

访问 GitHub 访问官网

相关项目

TruLens

3.4k · Python

活跃

TruLens 是一个用于评估和跟踪 LLM 应用的开源工具。提供针对 RAG 应用的专门评估功能，包括上下文相关性、接地性和答案相关性等评估维度。

llmevaluationobservability +1

DeepEval

16.6k · Python

活跃

DeepEval 是一个用于 LLM 应用的开源评估框架。提供丰富的评估指标和工具，支持单元测试、集成测试，帮助开发者构建可靠的 LLM 应用。

llmevaluationtesting +1

PromptTools

3.0k · Python

不活跃

PromptTools 是开源的提示词测试与实验工具集，支持多种 LLM（OpenAI、LLaMA）和向量数据库（Chroma、Weaviate、LanceDB），帮助开发者系统化评估和优化 RAG 系统。

prompt-testingragevaluation +3

Production Agentic RAG Course

7.3k · Python

活跃

Production Agentic RAG Course 是一个面向生产环境的 Agentic RAG 课程项目，教授如何构建可扩展、可靠的 RAG Agent 系统。涵盖索引策略、检索优化、Agent 路由和监控等生产级实践。

ragproductioncourse +2

RAG评估Ragas

RAG系统评估实战：使用Ragas和DeepEval构建高质量检索增强生成应用

学习如何使用 Ragas 和 DeepEval 评估 RAG 系统的质量，包括忠实度、答案相关性、上下文精确度等关键指标的测量方法。

阅读全文 →