首页项目文章PK榜关于
探索项目

TensorZero

正常
GitHub Rust Apache-2.0

简介

TensorZero 是开源 LLMOps 平台，统一 LLM 网关、可观测性、评估、优化与 A/B 测试，专为生产 Agent 设计。

核心特性

  • 统一 LLM 网关 - 一套 API 接入 Anthropic、OpenAI、Bedrock、Gemini、vLLM 等 20+ 提供方
  • 10k+ QPS 下 p99 延迟开销 < 1ms - Rust 核心面向生产吞吐优化
  • 推理与反馈存储 - 数据存放在你自己的数据库中
  • OpenTelemetry 导出 - 将 OTLP traces 和 Prometheus 指标接入既有观测栈
  • 内置 A/B 测试、路由、重试和故障转移，让发布更可靠
  • 优化飞轮 - SFT、RLHF、MIPRO、GEPA 把生产数据转化为更优模型

适用场景

💡 为成群的 AI Agent 提供统一的 OpenAI 兼容入口
💡 通过 OpenTelemetry traces 在生产环境调试和回放 LLM 调用
💡 用 LLM-as-a-judge 在生产数据上做评估，及早发现回归
💡 用自适应统计路由 A/B 测试两套提示词
💡 用 SFT/RLHF 在生产数据和反馈上微调模型

优势与不足

✅ 优势

  • • 社区热度高（11.7k stars）
  • • 开源许可证友好（Apache-2.0）
  • • 项目有一定历史沉淀（已维护 2 年）

标签

observability llm llm-gateway evaluation rust

分类

📊 可观测性 ⚡ Agent 工具

快速开始

# 1. 部署 TensorZero 网关（一个 Docker 容器）
docker run -d -p 3000:3000 \
  -e TENSORZERO_CLICKHOUSE_URL=http://clickhouse:8123 \
  -e TENSORZERO_POSTGRES_URL=postgresql://user:pass@postgres:5432/db \
  tensorzero/gateway

# 2. 让 OpenAI 客户端指向网关
from openai import OpenAI
client = OpenAI(base_url="http://localhost:3000/openai/v1", api_key="not-used")

response = client.chat.completions.create(
  model="tensorzero::model_name::anthropic::claude-sonnet-4-6",
  messages=[{"role": "user", "content": "分享一个关于 TensorZero 的有趣事实。"}],
)
print(response.choices[0].message.content)
访问 GitHub 访问官网 查看文档

相关项目

Plano

7.0k · Rust
活跃 A

AI 原生代理和数据平面，内置编排、安全防护、可观测性和智能 LLM 路由功能，帮助开发者专注于 Agent 核心逻辑，简化 LLM 应用的生产部署。

llm-gatewayllm-routingobservability +2
  • · AI 原生代理服务器和数据平面，内置编排和安全防护
  • · YAML 配置 Agent 描述即可实现智能路由，无需手写路由逻辑
  • · Agentic Signals 零代码捕获全链路可观测性数据
查看完整详情 → 在 GitHub 查看

DeepEval

17.6k · Python
活跃 A

DeepEval 是一个用于 LLM 应用的开源评估框架。提供丰富的评估指标和工具，支持单元测试、集成测试，帮助开发者构建可靠的 LLM 应用。

llmevaluationtesting +1
  • · 兼容 Pytest 的 LLM 评估框架，提供开箱即用的智能体、RAG 和聊天机器人评估指标
  • · 智能体指标包括任务完成度、工具正确性、步骤效率和计划遵循度
  • · RAG 指标涵盖答案相关性、忠实度、上下文召回/精确度/相关性和 RAGAS
查看完整详情 → 在 GitHub 查看

SwanLab

4.2k · Python
活跃 A+

开源的现代设计 AI 训练追踪与可视化工具，支持 PyTorch、Transformers 等主流框架，帮助开发者监控和评估 AI Agent 的训练过程。

pythonobservabilityevaluation +2
  • · 50+ 主流框架无缝集成：原生支持 PyTorch、Transformers、HuggingFace Accelerate、PaddleNLP、NVIDIA NeMo RL 等框架，两行代码接入训练流程
  • · 丰富的可视化图表系统：支持折线图、标量图、PR 曲线、ROC 曲线、混淆矩阵、3D 点云、分子结构、ECharts 自定义图表等 20+ 图表类型
  • · 多维度硬件监控：实时监控 GPU（NVIDIA/AMD ROCm/海光 DCU/寒武纪 MLU/摩尔线程/沐曦/天数智芯/昆仑芯）、磁盘利用率、网络流量等硬件指标
在 GitHub 查看