LazyLLM

活跃
GitHub Python Apache-2.0

简介

LazyLLM 是一个轻量级多 Agent LLM 应用开发框架,提供最简捷的方式构建多智能体 LLM 应用,集成了 RAG、知识图谱、微调等功能,支持 LangChain 和 LlamaIndex 生态。

核心特性

  • 低代码多智能体应用组装,内置数据流和功能模块,像乐高积木一样搭建
  • 一键部署,POC 阶段使用轻量网关,生产阶段支持 Kubernetes 打包
  • 跨平台兼容裸金属、Slurm 集群和公有云,无需修改代码
  • 统一在线和本地模型、推理框架、微调和向量数据库的使用体验
  • 内置 RAG 管道,支持文档分割、检索、重排和意图分类

适用场景

💡 通过迭代数据反馈和优化快速构建多智能体 AI 应用原型
💡 用几行代码构建支持文档摄入、检索和重排的 RAG 聊天机器人
💡 零代码修改跨不同云提供商部署 AI 应用
💡 在应用内微调模型以持续提升特定领域性能

快速开始

pip install lazyllm。快速聊天机器人:import lazyllm; chat = lazyllm.OnlineChatModule(); lazyllm.WebModule(chat).start().wait(). 本地模型:lazyllm.TrainableModule('internlm2-chat-7b')。命令行:lazyllm run chatbot --model=internlm2-chat-7b。文档见 https://docs.lazyllm.ai/。

相关项目