vLLM
活跃简介
vLLM 是一个高吞吐量、低内存占用的 LLM 推理与服务引擎，支持连续批处理、PagedAttention 等优化技术，广泛用于生产环境中的大模型部署。
相关项目
OpenLLM
12.3k · Python
OpenLLM 是一个开源 LLM 部署平台，可将 DeepSeek、Llama 等任意开源模型以 OpenAI 兼容的 API 端点形式部署到云端。支持模型微调、量化和分布式推理，简化生产环境中的大模型运维。
llmpythonapi +3
OpenRAG
4.1k · Python
一站式检索增强生成（RAG）平台，集成 Langflow、Docling 和 OpenSearch，提供从文档解析到向量检索再到生成的完整流水线，支持多种模型和向量数据库。
ragllmframework +2
WrenAI
15.4k · Python
WrenAI 是一个开源的 Text-to-SQL 和 Text-to-Chart GenBI Agent，内置语义层，支持用自然语言查询数据库，自动生成 SQL 语句和可视化图表，兼容 PostgreSQL、BigQuery、Snowflake 等十余种数据源。
llmtypescriptagent +2
LangExtract
36.8k · Python
Google 开源的 Python 库，用于利用 LLM 从非结构化文本中精确提取结构化信息，支持源文本标注和交互式可视化，适用于数据标注和知识抽取场景。
data-processingllmpython +2