DeepEval

Ragas — это фреймворк для оценки RAG-систем. Предоставляет различные метрики, включая точность, релевантность ответов, точность контекста.

TruLens — это инструмент с открытым исходным кодом для оценки и отслеживания LLM-приложений.

Helicone — это прокси и платформа наблюдаемости с открытым исходным кодом для LLM-приложений, предоставляющая трассировку запросов, кэширование и аналитику затрат.

GPT Engineer — это AI-инструмент, генерирующий целые кодовые базы на основе описаний на естественном языке.