Observability

AgentOps ist eine Observability-Plattform fuer KI-Agenten und bietet Monitoring, Debugging und Evaluierung, damit Entwickler die Agentenleistung optimieren koennen.

Phoenix ist ein Open-Source-Tool fuer Observability und Evaluierung von LLM- und Agent-Anwendungen und unterstuetzt Online-Tracing sowie Offline-Diagnose.

DeepEval ist ein Open-Source-Evaluierungsframework fur LLM-Anwendungen.

Ragas ist ein Framework zur Bewertung von RAG-Systemen mit verschiedenen Metriken wie Treue, Antwortrelevanz und Kontextprazision.

Helicone ist eine Open-Source-Proxy- und Observability-Plattform fuer LLM-Anwendungen mit Request-Tracing, Caching und Kostenanalysen.

Langfuse ist eine Open-Source-Observability-Plattform fuer LLM-Anwendungen und unterstuetzt Tracing, Evaluierung, Prompt-Versionierung und Kostenanalyse.

TruLens ist ein Open-Source-Tool zur Bewertung und Verfolgung von LLM-Anwendungen.