首页项目文章PK榜关于
探索项目

Private GPT

活跃
GitHub Python Apache-2.0

简介

PrivateGPT 是完全本地化的 AI 应用 API 框架，提供 RAG、Agent 与多模型路由，零数据外泄的私有部署方案。

核心特性

  • 完全本地化 — 不依赖外部 API，数据全程留在内网
  • RAG 一等公民 — 内置文档摄入、检索与上下文组装
  • 多模型路由 — 接 llama.cpp、Ollama、vLLM 等本地推理后端
  • Agent SDK — 提供工具调用、计划与多步执行抽象
  • OpenAI 兼容 API — 与 OpenAI SDK 兼容的 /v1 接口
  • 可观测 — 内置日志与生产可观测接口

适用场景

💡 为高合规行业构建本地 RAG 与 Agent 服务
💡 在企业内网提供 OpenAI 兼容 API
💡 为多模型接入提供统一抽象层
💡 把私有文档数据接入 Agent 而不外发

优势与不足

✅ 优势

  • • 活跃维护，近期持续更新
  • • 社区热度高（57.4k stars）
  • • 开源许可证友好（Apache-2.0）
  • • 项目有一定历史沉淀（已维护 3 年）

标签

rag private-ai llm self-hosted api

分类

📚 RAG 工具 ⚡ Agent 工具

快速开始

('# 安装并启动 PrivateGPT', '# 在 UI 摄入你的文档')
git clone https://github.com/zylon-ai/private-gpt
cd private-gpt
poetry install --with ui
make run
访问 GitHub 访问官网

相关项目

WrenAI

17.3k · Python
活跃 A

WrenAI 是一个开源的 Text-to-SQL 和 Text-to-Chart GenBI Agent，内置语义层，支持用自然语言查询数据库，自动生成 SQL 语句和可视化图表，兼容 PostgreSQL、BigQuery、Snowflake 等十余种数据源。

llmtypescriptagent +2
  • · 开源上下文层，为 AI Agent 提供业务语义、示例和治理能力
  • · Agent 驱动设计，CLI 内置工作流指南按需加载
  • · 建模定义语言（MDL）支持模型、关系、立方体、指标和行级/列级访问控制
查看完整详情 → 在 GitHub 查看

PromptTools

3.0k · Python
不活跃 B

PromptTools 是开源的提示词测试与实验工具集，支持多种 LLM（OpenAI、LLaMA）和向量数据库（Chroma、Weaviate、LanceDB），帮助开发者系统化评估和优化 RAG 系统。

prompt-testingragevaluation +3
  • · 开源的提示词测试与实验工具，支持多种 LLM 提供商
  • · 支持 OpenAI、Anthropic、LLaMA、Mistral、Gemini、HuggingFace 等
  • · 向量数据库评估：Chroma、Weaviate、Qdrant、LanceDB、Pinecone
在 GitHub 查看

AI Engineering Hub

37.0k · Jupyter Notebook
活跃 A+

深入讲解 LLM、RAG 和真实 AI 智能体应用的教程合集，包含丰富的 Notebook 示例，是学习 AI 工程化实践的优质资源。

ragagentllm +1
  • · 93+ 生产就绪项目 — 覆盖 OCR、RAG、Agent、语音、多模态等多个领域
  • · 三级难度分类 — 初级（22）、中级（48）、高级（23）项目循序渐进
  • · LLM 实战教程 — 包含 DeepSeek、Llama、Gemma、Qwen 等模型的本地部署与应用
查看完整详情 → 在 GitHub 查看