LlamaGPT
不活跃简介
LlamaGPT 是一个自托管的离线 ChatGPT 替代方案，基于 Llama 2 构建，100% 私有化运行，数据不离开设备，支持 Code Llama，可通过 Umbrel 一键部署。
核心特性
- 100% 私有离线 —— 数据不离开设备，完全自托管
- 支持多种 Llama 2 和 Code Llama 模型（7B、13B、34B、70B）
- 通过 Umbrel 应用商店一键安装至 Umbrel 家庭服务器
- 支持 Nvidia GPU CUDA 加速推理
- 在 localhost:3001 提供 OpenAI 兼容 API，可直接替换现有应用
适用场景
💡 面向需要完全数据主权的个人用户的私有 AI 聊天机器人
💡 在本地硬件上使用 Code Llama 模型进行离线编程辅助
💡 在 Umbrel、Mac、Docker 或 Kubernetes 上部署家庭实验室 AI
💡 使用 OpenAI 兼容 API 构建隐私优先的 AI 应用
分类
快速开始
git clone https://github.com/getumbrel/llama-gpt.git && cd llama-gpt && ./run-mac.sh --model 7b # 访问 http://localhost:3000