LLMCompiler
不活跃简介
ICML 2024 论文，LLM 编译器实现并行函数调用，显著提升 Agent 工具调用的效率和速度。
核心特性
- 自动将任务分解为可并行和相互依赖的函数调用
- 同时支持开源模型（LLaMA、vLLM）和闭源模型（GPT）
- 流式模式在完整规划生成前即分派任务，降低延迟
- 可配置的工具定义，支持可选的上下文内示例
- 已集成 LangChain LangGraph 和 LlamaIndex 生态
- 支持 Azure 和 Friendli 端点，适用于企业部署
适用场景
💡 需要并行调用多工具的 AI Agent
💡 同时组合多个数据源的研究流水线
💡 具有相互依赖函数调用的复杂推理任务
💡 需要降低 LLM 推理开销的成本敏感应用
💡 具有多个检索步骤的 RAG 系统
分类
快速开始
克隆仓库，创建 Python 3.10 的 conda 环境，通过 pip install -r requirements.txt 安装依赖，设置 OPENAI_API_KEY，然后运行：python run_llm_compiler.py --benchmark hotpotqa --store results.json --stream