RagaAI Catalyst
不活跃简介
RagaAI Catalyst 是面向 Agent AI 的可观测性、监控与评估框架，支持 Agent/LLM/工具链追踪、多 Agent 系统调试及自托管仪表盘分析。
核心特性
- 全方位 LLM 项目管理：项目管理、数据集管理、评估管理、追踪管理、提示词管理一站式平台
- Agentic Tracing 模块：追踪 Agent/LLM/工具调用全链路，监控 token 用量和执行模式
- 内置多种评估指标（Faithfulness、Hallucination 等），支持自定义阈值和批量评估
- 合成数据生成能力，可自动创建测试数据集用于模型评估
- 护栏管理和红队测试，保障 LLM 应用的安全性和可靠性
适用场景
💡 评估 RAG 应用的回答忠实度和幻觉率，持续优化检索质量
💡 监控多 Agent 系统的运行状态，追踪每个 Agent 的决策过程和工具调用
💡 管理提示词版本，进行 A/B 测试对比不同提示策略的效果
💡 通过红队测试发现 LLM 应用的安全漏洞和潜在风险
优势与不足
✅ 优势
- • 社区热度高（16.2k stars）
- • 开源许可证友好（Apache-2.0）
- • 项目有一定历史沉淀（已维护 2 年）
- • Issue 响应及时，积压少
⚠️ 不足
- • 已超过 7 个月未更新
分类
快速开始
安装：pip install ragaai-catalyst；在 profile 设置中生成 Access Key 和 Secret Key；初始化 RagaAICatalyst 实例并传入凭证；使用 catalyst.create_project() 创建项目；通过 Tracer 记录追踪数据；使用 Evaluation 类添加评估指标并获取结果。