Giskard

活跃

GitHub Python Apache-2.0

简介

AI 系统测试与漏洞扫描平台，覆盖 LLM 偏见、幻觉、安全等多维度。

核心特性

漏洞扫描 — 自动检测 RAG 幻觉、prompt 注入、毒性与偏见
多模型 — HuggingFace、OpenAI、Anthropic、LangChain 集成
测试集管理 — 集中管理测试集与评估
CI 集成 — GitHub Actions / GitLab CI 一键接入
可视化 — 详细 HTML 报告与团队 dashboard
可定制 — 自定义测试满足业务需求

适用场景

💡 在 LLM 上线前自动做偏见与幻觉测试。

💡 在 CI 中拦截 prompt 注入风险。

💡 为 RAG 应用做端到端质量回归。

分类

📊 可观测性

快速开始

# 安装
pip install giskard
# 扫描 LLM
from giskard import scan
report = scan(my_llm_app)
report.to_html('report.html')

访问 GitHub

相关项目

Deepchecks

4.0k · Python

不活跃

面向 ML 与 LLM 应用的测试与监控平台，类比 'unit tests for AI'。

testingmonitoringllm-eval +1

AxonHub

4.5k · Go

活跃

开源 AI 网关，用任意 SDK 即可调用 100+ LLM，内置故障转移、负载均衡与成本控制。

agent-toolsllm-gatewayobservability +2

Weights & Biases

11.2k · Python

活跃

W&B 是面向机器学习与 LLM 应用的实验追踪、可视化与协作平台，支持 Agent 训练评估、超参管理与模型注册全流程。

observabilityexperiment-trackingmlops +2

whylogs

2.8k · Jupyter Notebook

不活跃

轻量级数据/模型 profiling 库，统计特征分布用于 drift 检测。

profilingdata-driftobservability +1

RAGhallucination-detectionagent-evaluation

Agent 幻觉防御：超越护栏的实用缓解模式

LLM Agent 为什么会产生幻觉？本文从根本原因出发，系统梳理检索增强、置信度评分、多智能体交叉验证、来源强制回溯等实用缓解模式，并介绍如何用 UpTrain、Giskard、RagaAI Catalyst、Comet Opik、NVIDIA Garak 等工具构建可观测的幻觉防御体系。

阅读全文 →