OpenLLMetry

活跃

GitHub Python Apache-2.0

简介

OpenLLMetry 是基于 OpenTelemetry 的开源 LLM 应用可观测性工具，提供追踪、指标和监控能力。

基于 OpenTelemetry 的可观测性 — 基于 OpenTelemetry 扩展构建，提供完整的 LLM 应用追踪和监控
20+ LLM 提供商插桩 — 支持 OpenAI、Anthropic、Cohere、Google Gemini、Mistral、Ollama、HuggingFace 等
向量数据库追踪 — 插桩 Chroma、Pinecone、Qdrant、Weaviate、Milvus、LanceDB 和 Marqo
框架支持 — 自动插桩 LangChain、LlamaIndex、Crew、Agno 等智能体框架
25+ 目标集成 — 连接 Datadog、Grafana、New Relic、Sentry、Splunk、Honeycomb 等
Traceloop SDK — 简单的一行初始化（Traceloop.init()）即可使用标准 OpenTelemetry 数据输出进行即时追踪

💡 以最少的代码变更为 LLM 应用添加端到端追踪

💡 监控跨提供商的模型性能、延迟和 Token 使用量

💡 通过追踪工具调用和链执行来调试智能体工作流

💡 将追踪导出到 Datadog 或 Grafana 等现有可观测性技术栈

💡 追踪 RAG 管道中的向量数据库查询和检索性能

通过 pip install traceloop-sdk 安装，然后在代码中添加 Traceloop.init()。本地调试时使用 Traceloop.init(disable_batch=True)。追踪数据会通过 OpenTelemetry 自动导出到配置的目标。

OpenLIT 是开源 AI 工程平台，基于 OpenTelemetry 提供 LLM 可观测性、GPU 监控、防护栏、评估、提示词管理与沙盒，集成 50+ LLM 提供商和 Agent 框架。

开源的现代设计 AI 训练追踪与可视化工具，支持 PyTorch、Transformers 等主流框架，帮助开发者监控和评估 AI Agent 的训练过程。

· 50+ 主流框架无缝集成：原生支持 PyTorch、Transformers、HuggingFace Accelerate、PaddleNLP、NVIDIA NeMo RL 等框架，两行代码接入训练流程
· 丰富的可视化图表系统：支持折线图、标量图、PR 曲线、ROC 曲线、混淆矩阵、3D 点云、分子结构、ECharts 自定义图表等 20+ 图表类型
· 多维度硬件监控：实时监控 GPU（NVIDIA/AMD ROCm/海光 DCU/寒武纪 MLU/摩尔线程/沐曦/天数智芯/昆仑芯）、磁盘利用率、网络流量等硬件指标