Promptfoo
活跃简介
LLM 提示和 Agent 测试评估工具，用于测试提示词、Agent 和 RAG 管道，内置红队测试和安全评估功能。
核心特性
- 自动化 LLM 评测 — 批量测试提示词、模型和 RAG 管道的输出质量
- 红队安全测试 — 内置漏洞扫描和对抗性测试，发现 LLM 应用的安全风险
- 多模型对比 — 并排比较 OpenAI、Anthropic、Azure、Bedrock、Ollama 等模型表现
- CI/CD 集成 — 自动化检查流程，将 LLM 评测集成到持续集成管道中
- 代码扫描 — 审查 PR 中与 LLM 相关的安全和合规问题
- 结果共享 — 支持将评测结果分享给团队成员进行协作分析
适用场景
💡 在生产环境部署前评估 LLM 提示词质量
💡 对 AI 应用进行红队安全测试发现潜在漏洞
💡 在多个 LLM 提供商之间选择最适合的模型
💡 建立 LLM 应用的持续回归测试基线
优势与不足
✅ 优势
- • 活跃维护，近期持续更新
- • 社区热度高（24.9k stars）
- • 开源许可证友好（MIT）
- • 项目有一定历史沉淀（已维护 3 年）
快速开始
npm install -g promptfoo
export OPENAI_API_KEY=sk-xxx
promptfoo init --example getting-started
cd getting-started
promptfoo eval
promptfoo view