NeMo Guardrails
活跃简介
NVIDIA NeMo Guardrails 是一个开源工具包，用于为基于 LLM 的对话系统添加可编程的安全护栏，支持话题控制、安全防护和对话引导。
核心特性
- 为 LLM 对话应用添加可编程护栏
- 输入、对话和输出轨道的全面控制
- 防止越狱和提示注入攻击
- 支持多种 LLM 包括 GPT-4、LLaMa-2、Falcon
- Colang 编程语言用于定义轨道流程
- 异步优先设计，提供同步和异步 API
适用场景
💡 需要事实核查和审核的 RAG 应用
💡 保持指定话题的领域专用聊天机器人
💡 面向客户的 LLM 端点安全保护
💡 LangChain 链的附加安全层
💡 具有合规要求的企业 AI 助手
快速开始
通过 pip install nemoguardrails 安装。加载护栏配置并创建 LLMRails 实例。使用 rails.generate() 进行受保护的 LLM 调用。支持 Python 3.10-3.13 和多种 LLM 提供商。