PromptTools

不活跃
GitHub Python Apache-2.0

简介

PromptTools 是开源的提示词测试与实验工具集，支持多种 LLM（OpenAI、LLaMA）和向量数据库（Chroma、Weaviate、LanceDB），帮助开发者系统化评估和优化 RAG 系统。

核心特性

  • 开源的提示词测试与实验工具，支持多种 LLM 提供商
  • 支持 OpenAI、Anthropic、LLaMA、Mistral、Gemini、HuggingFace 等
  • 向量数据库评估：Chroma、Weaviate、Qdrant、LanceDB、Pinecone
  • 代码优先的实验方式，提供 Jupyter Notebook 和 Streamlit Playground 界面
  • 支持导出结果至 CSV、JSON 或 MongoDB 以便持久化和分析
  • 可自托管，数据不会转发至第三方服务器

适用场景

💡 对比不同 LLM 模型的提示词表现
💡 评估向量数据库配置的检索准确率
💡 对提示词模板进行 A/B 测试，扫描温度等参数
💡 对 RAG 管道组件进行基准测试以优化系统设计
💡 在生产部署前原型验证 LLM 应用

标签

prompt-testing rag evaluation llm vector-database python

分类

📚 RAG 工具 ⚡ Agent 工具

快速开始

```bash
pip install prompttools
```
```python
from prompttools.experiment import OpenAIChatExperiment

messages = [[{"role": "user", "content": "Tell me a joke."}]]
models = ["gpt-3.5-turbo", "gpt-4"]
experiment = OpenAIChatExperiment(models, messages, temperature=[0.0])
experiment.run()
experiment.visualize()
```
Playground 启动：`streamlit run prompttools/playground/playground.py`
访问 GitHub 访问官网 查看文档

相关项目