MLflow LLMOps
活跃简介
MLflow 的 LLM / GenAI 扩展，提供 prompt 版本管理 / evaluation / model registry / tracing 一站式 LLMOps。
优势与不足
✅ 优势
- • 活跃维护，近期持续更新
- • 社区热度高（27.5k stars）
- • 开源许可证友好（Apache-2.0）
⚠️ 不足
- • Issue 积压较多（2.0k 个 open issues）
相关项目
Agenta
4.5k · TypeScript
活跃 B
Agenta 是一个开源 LLMOps 平台，提供 Prompt Playground、Prompt 管理、LLM 评估和可观测性的一站式解决方案。
observabilityllmopsprompt-management +2
- · 交互式 LLM Playground，支持 50+ 模型的 Prompt 并排对比测试
- · 集成 Prompt 管理，支持版本控制、分支管理和多环境管理
- · 系统化 LLM 评估，提供 20+ 预置评估器、LLM-as-Judge 和人工反馈集成
Giskard
5.8k · Python
活跃 A+
开源 LLM Agent 评估与测试库，提供自动化模型扫描、偏见检测、性能基准测试和合规检查，帮助团队在部署前全面验证 AI Agent 质量。
evaluationtestingllm-safety +3
- · Scenario API 用于创建评估测试非确定性 LLM 输出
- · 内置检查项包括 Groundedness、Conformity 和 LLM-as-Judge 评估
- · 红队漏洞扫描器自动生成覆盖 OWASP LLM Top-10 类别的对抗性测试套件
Agents Towards Production
21.3k · Jupyter Notebook
活跃 A+
端到端的代码优先教程，教授如何构建生产级 GenAI 智能体，涵盖从原型到企业级部署的完整流程。
agentframeworkevaluation +2
- · 28 个生产级教程 — 涵盖有状态工作流、向量记忆、Web 搜索 API 等核心主题
- · 端到端覆盖 — 从 Docker 部署、FastAPI 端点到安全防护、GPU 扩展
- · 多智能体协调 — 教授多 Agent 协作架构设计与实现
SwanLab
4.2k · Python
活跃 A+
开源的现代设计 AI 训练追踪与可视化工具，支持 PyTorch、Transformers 等主流框架，帮助开发者监控和评估 AI Agent 的训练过程。
pythonobservabilityevaluation +2
- · 50+ 主流框架无缝集成：原生支持 PyTorch、Transformers、HuggingFace Accelerate、PaddleNLP、NVIDIA NeMo RL 等框架，两行代码接入训练流程
- · 丰富的可视化图表系统：支持折线图、标量图、PR 曲线、ROC 曲线、混淆矩阵、3D 点云、分子结构、ECharts 自定义图表等 20+ 图表类型
- · 多维度硬件监控：实时监控 GPU（NVIDIA/AMD ROCm/海光 DCU/寒武纪 MLU/摩尔线程/沐曦/天数智芯/昆仑芯）、磁盘利用率、网络流量等硬件指标