Giskard

活跃
GitHub Python Apache-2.0

简介

开源 LLM Agent 评估与测试库，提供自动化模型扫描、偏见检测、性能基准测试和合规检查，帮助团队在部署前全面验证 AI Agent 质量。

核心特性

  • Scenario API 用于创建评估测试非确定性 LLM 输出
  • 内置检查项包括 Groundedness、Conformity 和 LLM-as-Judge 评估
  • 红队漏洞扫描器自动生成覆盖 OWASP LLM Top-10 类别的对抗性测试套件
  • 多轮对话测试支持完整的 Agent 对话评估
  • 模块化 v3 架构包含专注的包：giskard-checks、giskard-scan 和规划中的 giskard-rag
  • 异步优先设计，依赖轻量，便于 CI/CD 集成

适用场景

💡 在模型或提示变更后通过自动化评估套件捕获回归
💡 验证 RAG 质量，检查回答是否基于检索上下文
💡 对 AI Agent 进行红队测试，识别提示注入、数据泄露和偏见漏洞
💡 从知识库为 RAG 应用生成评估数据集
💡 通过对 Agent 输出的一致性检查来执行内容安全策略

标签

evaluation testing llm-safety bias-detection compliance python

分类

📊 可观测性 🛡️ 安全护栏

快速开始

pip install giskard-checks && pip install giskard-scan
访问 GitHub 访问官网 查看文档

相关项目

相关文章

Agent 评估LLM 评测自动化测试

Agent 评估与测试体系：从单轮评分到端到端流水线

大多数团队靠"看起来对了"来判断 Agent 质量。真正的评估需要三层指标、不腐烂的数据集、以及不会什么都同意的评判器。本文给出可运行的代码和可落地的决策框架。

阅读全文 →