AxonHub

活跃
GitHub Go NOASSERTION

简介

开源 AI 网关，用任意 SDK 即可调用 100+ LLM，内置故障转移、负载均衡与成本控制。

核心特性

  • 统一 LLM 网关 — 用 OpenAI/Anthropic 兼容协议调用 100+ 模型
  • 自动故障转移 — 主 Provider 故障时切换到备用 Provider
  • 智能负载均衡 — 在多模型实例间分配请求，避免单点过载
  • 成本治理 — 按项目/团队设置预算、配额与单价告警
  • 端到端追踪 — 完整请求链路追踪，集成 OpenTelemetry
  • 可插拔鉴权 — 支持 API Key、OIDC 与团队 SSO

适用场景

💡 在多模型生产环境中统一接入，避免应用层重复实现 Provider 切换
💡 为多团队 AI Agent 平台提供预算、配额和成本看板
💡 在本地和托管模型之间做负载均衡，控制单家厂商依赖
💡 给 LLM 调用加入端到端追踪，便于排查 Agent 失败原因
💡 用一套 SDK 同时对接私有部署和公有云模型

标签

agent-tools llm-gateway observability cost-control sdk

分类

⚡ Agent 工具 📊 可观测性

快速开始

# 使用 Docker 启动 AxonHub
docker run -d --name axonhub -p 8080:8080 \
  -e AXONHUB_MASTER_KEY=sk-xxx \
  looplj/axonhub:latest

# 通过 OpenAI 兼容协议调用任意模型
curl http://localhost:8080/v1/chat/completions \
  -H "Authorization: Bearer sk-xxx" \
  -H "Content-Type: application/json" \
  -d '{"model":"claude-3-5-sonnet","messages":[{"role":"user","content":"Hello"}]}'
访问 GitHub

相关项目