Pathway LLM App

正常
GitHub Jupyter Notebook MIT

简介

即开即用的 RAG 和 AI 管道云模板,支持 Docker 部署,实时同步 Sharepoint、Google Drive、S3、Kafka 等数据源。

核心特性

  • 实时数据同步 — 自动同步文件系统、Google Drive、Sharepoint、S3、Kafka、PostgreSQL 等数据源的增量变更
  • 内置向量索引 — 基于 usearch 的向量搜索和基于 Tantivy 的全文混合搜索,无需外部数据库
  • 多模态 RAG — 支持 GPT-4o 解析 PDF/DOCX 中的图表、表格和文本,实时提取非结构化数据
  • 自适应 RAG — Adaptive RAG 技术可在保持准确率的同时将 Token 消耗降低最高 4 倍
  • Docker 容器化部署 — 每个模板均可通过 Docker 运行,暴露 HTTP API 供前端调用
  • 多模板选择 — 提供问答 RAG、文档索引、多模态 RAG、非结构化转 SQL 等多种预构建模板

适用场景

💡 企业级实时搜索:对 Sharepoint、Google Drive 等文档库构建始终最新的 AI 搜索系统
💡 金融文档分析:从 PDF 财报中提取结构化数据并存入 PostgreSQL,支持自然语言查询
💡 多模态知识检索:对包含图表和表格的复杂文档进行语义理解和精准检索
💡 私有化部署:通过 Mistral + Ollama 实现完全本地化的 RAG 系统,保护数据隐私
💡 智能幻灯片搜索:对 PowerPoint 和 PDF 幻灯片进行多模态索引和检索

优势与不足

优势

  • 社区热度高(59.0k stars)
  • 开源许可证友好(MIT)
  • 项目有一定历史沉淀(已维护 3 年)
  • Issue 响应及时,积压少

快速开始

# 安装 Pathway 及其依赖
pip install pathway

# 运行问答 RAG 模板 (Docker 方式)
docker run -p 8080:8080 -e OPENAI_API_KEY=$OPENAI_API_KEY \
  pathwaycom/llm-app:question-answering-rag

# 或从模板目录直接运行 Python 脚本
cd templates/question_answering_rag
pip install -r requirements.txt
python app.py

相关项目

Quivr

39.4k · Python
不活跃 C

Quivr 是一个开箱即用的 RAG 框架,支持将任意文件转化为知识库并与 GenAI 应用集成。兼容多种 LLM 和向量数据库,开发者只需专注于产品本身,无需从头构建 RAG 管道。

ragpythonvector-database +3
  • · Opinionated RAG 框架 — 开箱即用的 RAG 管道,开发者无需从头构建检索增强生成
  • · 任意文件支持 — 支持 PDF、TXT、Markdown 等文件类型,可自定义解析器
  • · 多 LLM 兼容 — 支持 OpenAI、Anthropic、Mistral、Gemma 及 Ollama 本地模型

UltraRAG

5.7k · Python
活跃 A+

UltraRAG 是一个低代码的 MCP 框架,用于构建复杂和创新的 RAG 管道。通过可视化界面和 MCP 协议集成,开发者可以快速搭建从数据摄取、分块、检索到生成的完整 RAG 系统。

ragmcppython +3
  • · 首个基于 MCP 架构的轻量级 RAG 开发框架
  • · 低代码 YAML 配置即可编排复杂 RAG 工作流
  • · 核心组件(检索器、生成器等)作为独立 MCP Server

Unstract

7.1k · Python
活跃 A+

Unstract 是一个由 LLM 驱动的非结构化数据提取平台,专为 API 部署和 ETL 管道工作流而设计。支持从文档、PDF、图片等非结构化数据源中智能提取结构化信息,构建自动化数据处理管道。

data-processingragpython +3
  • · Prompt Studio 通过自然语言定义文档提取模式
  • · 支持 REST API 部署和 ETL 管道工作流
  • · MCP Server 集成,连接 Claude 等 AI Agent