Helicone

LiteLLM cung cấp giao diện thống nhất và cổng proxy cho các lệnh gọi LLM, đơn giản hóa việc chuyển đổi multi-model, định tuyến và kiểm soát chi phí.

Langfuse là nền tảng quan sát LLM mã nguồn mở, hỗ trợ tracing, đánh giá, versioning prompt và phân tích chi phí.

DeepEval là framework đánh giá mã nguồn mở cho ứng dụng LLM.

TruLens là công cụ mã nguồn mở để đánh giá và theo dõi các ứng dụng LLM.