Envoy AI Gateway
活跃简介
Envoy AI Gateway 是 Envoy 社区推出的 AI 网关实现，统一管理对多家 LLM 提供商的访问。
核心特性
- Envoy 数据面 — 高性能 + 灵活路由
- 多提供商 — 兼容 OpenAI、Anthropic 等
- Function Calling — 统一协议
- 可观测 — 与 OpenTelemetry 集成
- 限流 — token、配额、并发限速
- CNCF 沙箱 — 云原生标准
适用场景
💡 把多 LLM 提供商接入 Envoy 网关
💡 为 AI 流量提供限流与配额
💡 在 Kubernetes 中统一 AI 入口
💡 用 Envoy 已有路由体系对接 AI
分类
快速开始
kubectl apply -f https://github.com/envoyproxy/ai-gateway/releases/latest/download/install.yaml
# 看 https://aigateway.envoyproxy.io 文档
# 用 kubectl get pods 验证 Gateway 运行