Promptfoo
活跃简介
LLM prompt 测试与红队一体化 CLI 工具。 项目生态活跃，社区支持完善。
核心特性
- Prompt 测试 — 批量跑 prompt 评估
- 红队 — 内置 50+ 攻击策略
- CI 集成 — 可接入 GitHub Actions
- 多模型 — 一份 yaml 跑多家
- 可视化 — Web UI 看结果
适用场景
💡 为 LLM 应用做 prompt AB 测试。
💡 在 CI 中跑红队用例。
💡 对比不同模型的输出。
快速开始
# 安装与运行
npm install -g promptfoo
promptfoo eval -c promptfooconfig.yaml