LlamaGPT

不活跃
GitHub TypeScript MIT

简介

LlamaGPT 是一个自托管的离线 ChatGPT 替代方案,基于 Llama 2 构建,100% 私有化运行,数据不离开设备,支持 Code Llama,可通过 Umbrel 一键部署。

核心特性

  • 100% 私有离线 —— 数据不离开设备,完全自托管
  • 支持多种 Llama 2 和 Code Llama 模型(7B、13B、34B、70B)
  • 通过 Umbrel 应用商店一键安装至 Umbrel 家庭服务器
  • 支持 Nvidia GPU CUDA 加速推理
  • 在 localhost:3001 提供 OpenAI 兼容 API,可直接替换现有应用

适用场景

💡 面向需要完全数据主权的个人用户的私有 AI 聊天机器人
💡 在本地硬件上使用 Code Llama 模型进行离线编程辅助
💡 在 Umbrel、Mac、Docker 或 Kubernetes 上部署家庭实验室 AI
💡 使用 OpenAI 兼容 API 构建隐私优先的 AI 应用

优势与不足

优势

  • 社区热度高(10.9k stars)
  • 开源许可证友好(MIT)
  • 项目有一定历史沉淀(已维护 3 年)
  • Issue 响应及时,积压少

⚠️ 不足

  • 已超过 28 个月未更新

快速开始

git clone https://github.com/getumbrel/llama-gpt.git && cd llama-gpt && ./run-mac.sh --model 7b  # 访问 http://localhost:3000

相关项目

Jan

44.4k · TypeScript
活跃 A

Jan 是一个开源的 ChatGPT 替代方案,可在电脑上 100% 离线运行,支持多种本地大语言模型,提供完整的桌面聊天应用界面和 API 服务。

chat-uidesktop-appoffline-ai +3
  • · 本地大模型运行 — 从 HuggingFace 下载并运行 Llama、Gemma、Qwen 等开源模型
  • · 云端模型集成 — 支持 OpenAI GPT、Anthropic Claude、Mistral、Groq 等云端 API
  • · 本地 OpenAI 兼容 API — 在 localhost:1337 提供本地 API 服务供其他应用调用

ChatterUI

2.7k · TypeScript
活跃 A

ChatterUI 是一个面向 LLM 的原生移动聊天前端,可加载本地模型或连接 OpenAI、Claude、Ollama 等多种 API。

chat-uimobilereact-native +2
  • · 本地模型推理 — 通过 cui-llama.rn 适配 llama.cpp,在 Android 上直接跑 gguf 模型
  • · 多 API 接入 — 支持 OpenAI、Claude、Cohere、OpenRouter、Mancer、Ollama、koboldcpp 等
  • · 角色卡片规范 — 兼容 Character Card v2 规范,可导入 SillyTavern 等生态的角色卡

LibreChat

42.9k · TypeScript
活跃 A+

LibreChat 是增强版开源 ChatGPT 克隆,支持多模型切换、Agent、MCP 工具、代码解释器、AI 搜索等功能。

chat-uimulti-modelagents +3
  • · 多模型切换 — 支持 OpenAI、Anthropic、Google、AWS Bedrock、Azure OpenAI 及自定义 OpenAI 兼容端点,无需代理即可接入任意后端
  • · Agent 与 MCP 工具集成 — 无代码构建专属 AI 助手,支持 MCP 协议、子代理委派、技能系统和 Agent 市场
  • · 沙箱代码解释器 — 支持 Python、Node.js、Go、C/C++、Java、PHP、Rust、Fortran 的安全隔离代码执行,可直接上传处理文件