LocalAI
活跃简介
LocalAI 是一个开源的本地 AI 推理引擎，支持在任意硬件上运行 LLM、视觉、语音、图像和视频模型，无需 GPU。提供与 OpenAI 兼容的 API，可完全本地化部署，保障数据隐私。
核心特性
- 可组合后端架构 — 每个后端（llama.cpp、vLLM、whisper.cpp等）独立镜像，按需拉取，按需安装
- OpenAI/Anthropic/ElevenLabs兼容API — 全后端统一API接口，无缝替换云端服务
- 任意模态支持 — LLM、视觉、语音、图像、视频模型统一在一个API背后
- 任意硬件支持 — NVIDIA、AMD、Intel、Apple Silicon、Vulkan 或纯CPU运行
- 内置AI Agent — 自主Agent支持工具使用、RAG、MCP和技能系统
- 多用户就绪 — API Key认证、用户配额、基于角色的访问控制
适用场景
💡 私有化AI基础设施：为企业搭建完全本地化的AI推理平台，数据不出服务器
💡 多模态AI应用开发：通过统一API调用LLM、语音识别、图像生成等多种AI能力
💡 多租户AI平台：利用API Key和配额管理，构建面向多用户的AI服务系统
💡 边缘设备部署：在无GPU的边缘设备上运行AI模型，支持工业物联网和嵌入式场景
分类
快速开始
# Docker 一键启动（CPU模式）
docker run -ti --name local-ai -p 8080:8080 localai/localai:latest
# NVIDIA GPU 启动
docker run -ti --name local-ai -p 8080:8080 --gpus all localai/localai:latest-gpu-nvidia-cuda-12
# 加载模型并运行
local-ai run llama-3.2-1b-instruct:q4_k_m
# 从 HuggingFace 加载模型
local-ai run huggingface://TheBloke/phi-2-GGUF/phi-2.Q8_0.gguf