LiteLLM 实战：从成本治理到团队 API Key 的工程化落地

上一篇横评了四款 LLM 网关，本文深入 LiteLLM——51k+ Star、生产部署最广的开源 LLM 网关。差异化在团队工程化：Virtual Key、Guardrails、Postgres 审计、成本分摊、自动路由。

差异化定位

解决"团队/公司的 LLM 治理"：虚拟 key + 预算、Postgres 记录成本、网关层 Guardrails、Langfuse/Helicone 可观测、YAML 路由策略。

Proxy Server 部署

uv tool install 'litellm[proxy]'
litellm --config config.yaml --port 4000

Docker Compose 用 ghcr.io/berriai/litellm-database:main-latest 镜像，需设置 LITELLM_MASTER_KEY 与 LITELLM_SALT_KEY。

Virtual Key

通过 HTTP API /key/generate 创建：

curl -X POST 'http://litellm:4000/key/generate' \
  -H "Authorization: Bearer $LITELLM_MASTER_KEY" \
  -d '{"user_id":"alice@","team_id":"engineering","models":["gpt-4o"],"max_budget":200}'

业务侧用 OpenAI SDK，base_url 指向 LiteLLM，api_key 用虚拟 key。

成本治理

• /key/info?key=... 查询 key 支出
• /team/info?team_id=... 查询团队支出
• /global/spend/report?group_by=team 全局报表
• 创建 key 时可指定 max_budget、tpm_limit、rpm_limit

自动路由

Proxy 内置 Complexity Router，根据请求复杂度自动选择模型：

- model_name: smart-router
  litellm_params:
    model: auto_router/complexity_router
    complexity_router_config:
      tiers:
        SIMPLE: gpt-4o-mini
        MEDIUM: gpt-4o
        COMPLEX: claude-sonnet

简单问答走 mini，复杂代码走 Sonnet，月成本可降 30-60%。

Guardrails

guardrails:
  - guardrail_name: presidio-pii
    litellm_params: { guardrail: presidio, mode: pre_call }
  - guardrail_name: lakera-jailbreak
    litellm_params: { guardrail: lakera, mode: post_call, api_key: os.environ/LAKERA_API_KEY }

支持 Presidio、Lakera、Aporia、Guardrails AI、Bedrock、Azure Content Safety 等。

可观测性

Langfuse：配置 success_callback: ["langfuse"] 并设置 LANGFUSE_PUBLIC_KEY、LANGFUSE_SECRET_KEY、LANGFUSE_HOST。 Helicone：设置 HELICONE_API_KEY。业务代码无改动。

实战

5 个 App 统一接入 LiteLLM：1 个 gateway + Postgres + Redis + Virtual Key + Complexity Router + Langfuse。

30 天收益：离职处理 24h→5min，月成本 -35%，5xx 告警 30min→1min。

适用场景

公司级治理、多团队成本分摊、合规审计。单脚本直接 OpenAI SDK。

总结

LiteLLM 把 LLM 网关从"路由层"升级为"运营层"。月用量 1 万美元以上或 5+ AI 应用，通常 3-6 个月 ROI 转正。