OpenInference

活跃
GitHub Python Apache-2.0

简介

OpenInference 是一个基于 OpenTelemetry 的 AI 可观测性检测规范和工具包，为 LLM 应用的推理过程提供标准化追踪、指标采集和 Span 定义，帮助开发者监控和调试 AI Agent 系统。

核心特性

  • 基于 OpenTelemetry 的检测规范，用于追踪 LLM 推理和应用上下文
  • 为 15+ ML 框架提供检测库：OpenAI、LlamaIndex、LangChain、DSPy、CrewAI、Agno 等
  • 语义约定，为 LLM 应用提供标准化的 Span 属性
  • 与 Arize Phoenix 原生集成，实现 LLM 可观测性和评估
  • 兼容任何 OpenTelemetry 兼容后端（Jaeger、Zipkin、Grafana Tempo）
  • 同时支持 Python 和 JavaScript/TypeScript 检测包

适用场景

💡 监控生产环境中 LLM 应用的性能和延迟
💡 通过追踪单个 LLM 调用和工具调用来调试多 Agent 系统
💡 通过追踪检索和生成 Span 评估 RAG 管道质量
💡 使用 OpenTelemetry 后端为 AI Agent 工作流构建可观测性仪表盘
💡 比较不同提供商和配置下的模型性能和 token 使用量

标签

observability python llm tools evaluation

分类

📊 可观测性

快速开始

安装适合你框架的检测包（如 `pip install openinference-instrumentation-openai`），配置 OpenTelemetry 导出器到你的后端，然后用提供的 tracer 包装你的 LLM 调用。结果可在 Arize Phoenix 或任何兼容 OTel 的界面中查看。
访问 GitHub

相关项目

相关文章

AI Agent可观测性链路追踪

Agent 可观测性体系构建：从链路追踪到自动评估

系统讲解 Agent 可观测性的三大支柱——链路追踪、指标监控和自动评估，帮你构建生产级 Agent 监控体系。

阅读全文 →