Guardrails AI

NVIDIA NeMo Guardrails 是一个开源工具包，用于为基于 LLM 的对话系统添加可编程的安全护栏，支持话题控制、安全防护和对话引导。

CVS Health 开源的 LLM 不确定性量化库，用于基于 UQ 的幻觉检测，提供置信度评分和幻觉缓解工具，帮助识别和降低 LLM 输出的不可靠内容。

OpenCompass 是一个全面的 LLM 评估平台，支持 Llama、Mistral、GPT-4、Qwen、GLM、Claude 等多种模型在 100+ 数据集上的基准评测。

OpenAI 推出的 LLM 评估框架，提供标准化的基准测试注册表和工具集，用于系统评估大语言模型和 LLM 系统的性能表现。