TensorZero

活跃
GitHub Rust Apache-2.0

简介

TensorZero 是开源 LLMOps 平台，统一 LLM 网关、可观测性、评估、优化与 A/B 测试，专为生产 Agent 设计。

核心特性

  • 统一 LLM 网关 - 一套 API 接入 Anthropic、OpenAI、Bedrock、Gemini、vLLM 等 20+ 提供方
  • 10k+ QPS 下 p99 延迟开销 < 1ms - Rust 核心面向生产吞吐优化
  • 推理与反馈存储 - 数据存放在你自己的数据库中
  • OpenTelemetry 导出 - 将 OTLP traces 和 Prometheus 指标接入既有观测栈
  • 内置 A/B 测试、路由、重试和故障转移，让发布更可靠
  • 优化飞轮 - SFT、RLHF、MIPRO、GEPA 把生产数据转化为更优模型

适用场景

💡 为成群的 AI Agent 提供统一的 OpenAI 兼容入口
💡 通过 OpenTelemetry traces 在生产环境调试和回放 LLM 调用
💡 用 LLM-as-a-judge 在生产数据上做评估，及早发现回归
💡 用自适应统计路由 A/B 测试两套提示词
💡 用 SFT/RLHF 在生产数据和反馈上微调模型

标签

observability llm llm-gateway evaluation rust

分类

📊 可观测性 ⚡ Agent 工具

快速开始

# 1. 部署 TensorZero 网关（一个 Docker 容器）
docker run -d -p 3000:3000 \
  -e TENSORZERO_CLICKHOUSE_URL=http://clickhouse:8123 \
  -e TENSORZERO_POSTGRES_URL=postgresql://user:pass@postgres:5432/db \
  tensorzero/gateway

# 2. 让 OpenAI 客户端指向网关
from openai import OpenAI
client = OpenAI(base_url="http://localhost:3000/openai/v1", api_key="not-used")

response = client.chat.completions.create(
  model="tensorzero::model_name::anthropic::claude-sonnet-4-6",
  messages=[{"role": "user", "content": "分享一个关于 TensorZero 的有趣事实。"}],
)
print(response.choices[0].message.content)
访问 GitHub 访问官网 查看文档

相关项目