PromptWizard

不活跃
GitHub Python MIT

简介

微软研究院推出的任务感知型智能体驱动提示词优化框架，通过迭代优化自动生成高质量提示词。

核心特性

  • 自演进式提示词优化，LLM 迭代生成、评判和改进自身的提示词
  • 反馈驱动的优化，结合正面、反面和合成示例与思维链步骤
  • 支持三种场景：无示例、合成示例和训练数据驱动的优化
  • 通过 JSONL 格式支持自定义数据集，可配置变异和精炼步骤的超参数
  • 预置 GSM8k、SVAMP、AQUARAT 和 Instruction Induction (BBII) 基准数据集的演示

适用场景

💡 通过在自定义数据集上优化提示词，自动提升 LLM 任务性能
💡 通过迭代自我评判和改进减少手动提示工程的工作量
💡 研究团队跨多个数据集基准测试提示优化技术
💡 生产团队为特定领域的分类或推理任务优化提示词质量

标签

prompt-engineering evaluation llm python agent

分类

📊 可观测性

快速开始

git clone https://github.com/microsoft/PromptWizard && cd PromptWizard && pip install -e . 在 .env 中配置 OPENAI_API_KEY 或 AZURE_OPENAI_ENDPOINT，设置 promptopt_config.yaml，然后运行 demos/ 文件夹中的演示笔记本。支持 GSM8k、SVAMP、AQUARAT 和自定义 JSONL 数据集。
访问 GitHub

相关项目