OpenLLM

活跃
GitHub Python Apache-2.0

简介

OpenLLM 是一个开源 LLM 部署平台，可将 DeepSeek、Llama 等任意开源模型以 OpenAI 兼容的 API 端点形式部署到云端。支持模型微调、量化和分布式推理，简化生产环境中的大模型运维。

核心特性

  • 任意开源LLM支持：运行DeepSeek、Llama、Qwen等任意开源模型
  • OpenAI兼容API：提供与OpenAI API兼容的端点，无缝集成现有应用
  • 内置聊天UI：提供开箱即用的聊天界面
  • 先进推理后端：支持最新的推理优化技术
  • 模型仓库：管理模型版本和依赖，支持自定义模型仓库
  • 生产级部署：支持Docker、Kubernetes和BentoCloud云部署

适用场景

💡 自托管LLM：在本地或云端部署开源大语言模型
💡 API端点服务：为应用程序提供OpenAI兼容的API服务
💡 模型微调：对开源模型进行微调以适应特定任务
💡 生产环境部署：将大模型部署到生产环境，支持高并发
💡 开发测试：快速启动模型进行开发和测试

标签

llm python api framework automation devops

分类

📚 RAG 工具 🔄 工作流

快速开始

1. 安装OpenLLM：pip install openllm
2. 运行交互式体验：openllm hello
3. 启动LLM服务器：openllm serve llama3.2:1b
4. 访问 http://localhost:3000 使用聊天UI
5. 或使用API：from openai import OpenAI; client = OpenAI(base_url='http://localhost:3000/v1', api_key='na')
访问 GitHub

相关项目