LiteLLM
活跃简介
LiteLLM 提供统一的大模型调用接口与代理网关，简化多模型切换、路由与成本控制。
核心特性
- 统一 LLM 接口 — 100+ 大模型提供商的 OpenAI 格式统一调用（OpenAI、Anthropic、Gemini、Bedrock、Azure 等）
- AI Gateway 代理网关 — 自托管的代理服务器，支持虚拟密钥、花费追踪、负载均衡和管理面板
- Python SDK — 直接在代码中通过 completion() 函数切换不同模型提供商
- MCP 工具桥接 — 将 MCP 服务器连接到任意 LLM，支持工具调用和协议转换
- A2A Agent 协议 — 支持 Agent-to-Agent 通信，连接 LangGraph、Vertex AI 等 Agent 框架
- 8ms P95 延迟 — 在 1k RPS 下实现极低延迟，适合生产环境部署
适用场景
💡 为团队提供统一的 LLM 调用网关，集中管理 API 密钥和成本
💡 在不同 LLM 提供商间无缝切换，避免供应商锁定
💡 为 AI Agent 框架提供标准化的模型调用接口
💡 监控和优化 LLM 调用成本与性能指标
分类
快速开始
# 安装 LiteLLM
pip install litellm
# 设置环境变量
export OPENAI_API_KEY="your-openai-key"
export ANTHROPIC_API_KEY="your-anthropic-key"
# 使用统一接口调用不同模型
from litellm import completion
# 调用 OpenAI
response = completion(model="openai/gpt-4o", messages=[{"role": "user", "content": "Hello!"}])
# 调用 Anthropic
response = completion(model="anthropic/claude-sonnet-4-20250514", messages=[{"role": "user", "content": "Hello!"}])
# 启动 AI Gateway
# litellm --model gpt-4o