LLM Security
不活跃简介
展示如何以新颖方式突破集成 LLM 的应用安全防护，涵盖提示注入、间接提示注入等攻击向量的研究和工具集合。
核心特性
- 展示针对 Bing Chat 等应用集成 LLM 的间接提示注入攻击
- 通过命令控制服务器远程控制被攻陷 LLM 的概念验证
- 通过智能体键值存储的内存投毒实现跨会话持久化攻陷
- 通过邮件处理管道传播注入攻击以攻陷其他 LLM
- 通过 IDE 中的上下文窗口操纵攻击代码补全引擎
- 基于 ArXiv 2302.12173 论文，提供使用 GPT-3、GPT-4 和 LangChain 的可复现演示
适用场景
💡 安全研究和红队测试，评估 LLM 应用对注入攻击的鲁棒性
💡 在生产环境部署 LLM 之前了解攻击向量
💡 为 AI 安全团队培训提示注入防御策略和威胁建模
💡 审计代码补全工具和 AI 助手对上下文操纵的漏洞
💡 基于真实攻击演示构建防御框架
优势与不足
✅ 优势
- • 社区热度高（2.1k stars）
- • 开源许可证友好（MIT）
- • 项目有一定历史沉淀（已维护 3 年）
- • Issue 响应及时，积压少
⚠️ 不足
- • 已超过 12 个月未更新
分类
快速开始
克隆仓库并设置 OpenAI API 密钥。运行 `python scenarios/main.py` 执行 GPT-4 演示，或尝试 `scenarios/gpt3langchain` 中的 GPT-3 + LangChain 演示。代码补全攻击需要支持 LLM 自动补全的 IDE。