Giskard

活跃
GitHub Python Apache-2.0

简介

AI 系统测试与漏洞扫描平台,覆盖 LLM 偏见、幻觉、安全等多维度。

核心特性

  • 漏洞扫描 — 自动检测 RAG 幻觉、prompt 注入、毒性与偏见
  • 多模型 — HuggingFace、OpenAI、Anthropic、LangChain 集成
  • 测试集管理 — 集中管理测试集与评估
  • CI 集成 — GitHub Actions / GitLab CI 一键接入
  • 可视化 — 详细 HTML 报告与团队 dashboard
  • 可定制 — 自定义测试满足业务需求

适用场景

💡 在 LLM 上线前自动做偏见与幻觉测试。
💡 在 CI 中拦截 prompt 注入风险。
💡 为 RAG 应用做端到端质量回归。

优势与不足

优势

  • 活跃维护,近期持续更新
  • 社区热度高(5.8k stars)
  • 开源许可证友好(Apache-2.0)
  • 项目有一定历史沉淀(已维护 4 年)

快速开始

# 安装
pip install giskard
# 扫描 LLM
from giskard import scan
report = scan(my_llm_app)
report.to_html('report.html')

相关项目

Weights & Biases

11.2k · Python
活跃 A

W&B 是面向机器学习与 LLM 应用的实验追踪、可视化与协作平台,支持 Agent 训练评估、超参管理与模型注册全流程。

observabilityexperiment-trackingmlops +2
  • · 实验追踪 — 自动记录超参、指标、系统资源与代码版本,支持实验对比与可视化
  • · W&B Models — 提供 artifacts 模型注册、版本管理与部署到生产的能力
  • · W&B Weave — LLM 与 Agent 专用 trace 工具,支持 prompt 评估、对话回放与质量评分

相关文章