Llamafile
活跃简介
Mozilla 把 LLM 打包成单文件的方案，零依赖直接跑。
核心特性
- 单文件 — 模型权重 + 运行时打包成一个 exe
- 零依赖 — 不需要 Python/CUDA/Pip
- 跨平台 — Linux/macOS/Windows 同体验
- OpenAI 兼容 — 内置 OpenAI API 服务
- 多模型 — Llama、Mistral、Phi 等
- 可分发 — 适合嵌入桌面应用
适用场景
💡 在桌面应用嵌入本地 LLM。
💡 为一次性脚本提供 LLM 能力。
💡 在没有 Python 环境的服务器跑 LLM。
分类
快速开始
# 下载 llamafile
curl -L -o llamafile https://llamafile.ai/...
chmod +x llamafile
# 启动 OpenAI 兼容服务
./llamafile --server