TensorZero

活跃
GitHub Rust Apache-2.0

简介

TensorZero 是面向 LLM 应用与 Agent 系统的开源推理网关和优化平台，强调高性能推理、实验评测、路由控制与生产级观测能力。

核心特性

  • 统一 LLM 网关：通过单一 API 访问所有主流 LLM 提供商，10k+ QPS 时 p99 延迟开销 <1ms
  • 生产级可观测性：将推理和反馈存储在自有数据库中，提供完整 UI 和编程访问
  • 自动优化（Autopilot）：分析可观测性数据、设置评估、优化提示并自动运行 A/B 测试
  • 评估框架：使用启发式、LLM 评委和自定义指标对单次推理或端到端工作流进行基准测试
  • 内置实验能力：A/B 测试、路由、回退、重试、负载均衡和细粒度速率限制
  • OpenAI SDK 兼容：一行代码集成——支持现有 OpenAI、OpenTelemetry 和提供商 SDK

适用场景

💡 统一 API 网关替代各提供商集成，集中路由和回退
💡 生产环境中 LLM 聊天机器人和代理的自动提示优化与 A/B 测试
💡 跨团队和使用场景的成本跟踪、用量监控和自定义速率限制
💡 通过内置评估管道对提示更改和模型替换进行性能基准测试

标签

gateway inference evaluation rust

分类

📊 可观测性 ⚡ Agent 工具

快速开始

通过 Docker 部署 TensorZero Gateway（`docker compose up`），将 OpenAI 兼容客户端指向 `http://localhost:3000/openai/v1`，并将模型名称改为 `tensorzero::model_name::provider::model`。完整设置约 5 分钟。
访问 GitHub 访问官网 查看文档

相关项目