text-generation-webui

正常
GitHub Python AGPL-3.0

简介

text-generation-webui 是最经典的本地大语言模型交互界面，支持文本生成、视觉理解、工具调用和模型训练，提供 Web UI 和 API 接口，100% 离线运行且保护隐私。

核心特性

  • 多后端支持 — 集成 llama.cpp、ExLlamaV3、Transformers、TensorRT-LLM 等多个推理后端，支持热切换
  • OpenAI/Anthropic兼容API — 提供 Chat、Completions、Messages 端点，可作为本地 API 替代方案
  • 视觉多模态 — 支持图片附件进行视觉理解，可上传 PDF、DOCX 等文件进行内容对话
  • 工具调用 — 模型可在对话中调用自定义函数（网页搜索、页面获取、数学计算），支持 MCP 服务器
  • LoRA训练 — 支持在多轮对话或原始文本数据集上微调 LoRA，可断点续训
  • 100%离线隐私保护 — 零遥测、零外部资源、零远程更新请求，完全本地运行

适用场景

💡 本地LLM部署：在个人电脑上运行和切换不同的开源大语言模型，保护数据隐私
💡 AI应用开发：通过兼容OpenAI的API接口，为自有应用提供本地大模型推理服务
💡 模型微调训练：使用LoRA技术在特定领域数据上微调模型，提升专业任务表现
💡 视觉理解应用：利用多模态能力分析图片和文档内容，构建文档问答系统

标签

chat-ui local-llm text-generation gradio llm-inference tool-calling

分类

💬 聊天界面

快速开始

# 克隆仓库
git clone https://github.com/oobabooga/textgen.git && cd textgen

# 创建虚拟环境
python -m venv venv && source venv/bin/activate

# 安装依赖
pip install -r requirements/portable/requirements.txt --upgrade

# 启动服务器（带API支持）
python server.py --portable --api --auto-launch
访问 GitHub 访问官网

相关项目