OpenLLMetry

OpenLIT 是开源 AI 工程平台，基于 OpenTelemetry 提供 LLM 可观测性、GPU 监控、防护栏、评估、提示词管理与沙盒，集成 50+ LLM 提供商和 Agent 框架。

AgentOps 是一个 AI Agent 可观测性平台，提供 Agent 监控、调试和评估功能，帮助开发者优化 Agent 性能。

OpenTelemetry instrumentation for AI observability, providing standardized tracing, metrics collection, and span definitions for LLM inference processes to help developers monitor and debug AI agent systems.

Evidently 是一个开源 ML 和 LLM 可观测性框架，提供 100+ 评估指标，用于测试、监控和评估 AI 驱动的系统。