text-generation-webui
活跃简介
text-generation-webui 是最经典的本地大语言模型交互界面，支持文本生成、视觉理解、工具调用和模型训练，提供 Web UI 和 API 接口，100% 离线运行且保护隐私。
核心特性
- 多后端支持 — 集成 llama.cpp、ExLlamaV3、Transformers、TensorRT-LLM 等多个推理后端，支持热切换
- OpenAI/Anthropic兼容API — 提供 Chat、Completions、Messages 端点，可作为本地 API 替代方案
- 视觉多模态 — 支持图片附件进行视觉理解，可上传 PDF、DOCX 等文件进行内容对话
- 工具调用 — 模型可在对话中调用自定义函数（网页搜索、页面获取、数学计算），支持 MCP 服务器
- LoRA训练 — 支持在多轮对话或原始文本数据集上微调 LoRA，可断点续训
- 100%离线隐私保护 — 零遥测、零外部资源、零远程更新请求，完全本地运行
适用场景
💡 本地LLM部署：在个人电脑上运行和切换不同的开源大语言模型，保护数据隐私
💡 AI应用开发：通过兼容OpenAI的API接口，为自有应用提供本地大模型推理服务
💡 模型微调训练：使用LoRA技术在特定领域数据上微调模型，提升专业任务表现
💡 视觉理解应用：利用多模态能力分析图片和文档内容，构建文档问答系统
优势与不足
✅ 优势
- • 活跃维护，近期持续更新
- • 社区热度高（47.6k stars）
- • 项目有一定历史沉淀（已维护 3 年）
⚠️ 不足
- • 许可证限制较多（AGPL-3.0）
分类
快速开始
# 克隆仓库
git clone https://github.com/oobabooga/textgen.git && cd textgen
# 创建虚拟环境
python -m venv venv && source venv/bin/activate
# 安装依赖
pip install -r requirements/portable/requirements.txt --upgrade
# 启动服务器（带API支持）
python server.py --portable --api --auto-launch