TruLens

Ragas — это фреймворк для оценки RAG-систем. Предоставляет различные метрики, включая точность, релевантность ответов, точность контекста.

DeepEval — это фреймворк с открытым исходным кодом для оценки LLM-приложений.

Phoenix — это инструмент наблюдаемости и оценки с открытым исходным кодом для LLM и агентных приложений, поддерживающий онлайн-трассировку и офлайн-диагностику.

Haystack — это фреймворк уровня предприятия для RAG и поисковых приложений, охватывающий обработку документов, извлечение, генерацию и оценку от начала до конца.