gpt-load

活跃
GitHub Go MIT

简介

gpt-load 是自托管 AI 网关,支持多通道、多凭证配置与统一 API 密钥管理。

核心特性

  • 多通道 — 同时接入多 LLM 提供商
  • 多凭证 — 同一提供商多个 API Key
  • 智能路由 — 失败自动切换
  • 限速 — 集中配额与限流
  • 可观测 — 完整调用日志
  • 自托管 — Docker 一键启动

适用场景

💡 为多 LLM 凭证做统一管理
💡 为 AI 流量做集中限速与配额
💡 在企业内统一 AI 入口
💡 用 Docker 一键启动网关

优势与不足

优势

  • 活跃维护,近期持续更新
  • 社区热度高(6.5k stars)
  • 开源许可证友好(MIT)
  • Issue 响应及时,积压少

快速开始

# 启动 gpt-load 网关
docker run -d --name gpt-load \
  -p 8080:8080 \
  -v /etc/gpt-load:/app/config \
  tbphp/gpt-load:latest

相关项目

LiteLLM

57.9k · Python
活跃 A

LiteLLM 提供统一的大模型调用接口与代理网关,简化多模型切换、路由与成本控制。

llmgatewayproxy +1
  • · 统一 LLM 接口 — 100+ 大模型提供商的 OpenAI 格式统一调用(OpenAI、Anthropic、Gemini、Bedrock、Azure 等)
  • · AI Gateway 代理网关 — 自托管的代理服务器,支持虚拟密钥、花费追踪、负载均衡和管理面板
  • · Python SDK — 直接在代码中通过 completion() 函数切换不同模型提供商