Rapid-MLX

活跃
GitHub Python Apache-2.0

简介

Apple Silicon 上最快的本地 AI 引擎，比 Ollama 快 4.2 倍，支持 MLX 模型。

核心特性

  • 极速推理 — 比 Ollama 快 4.2 倍的 MLX 推理引擎
  • Apple Silicon 原生 — 针对 M 系列芯片深度优化
  • 模型管理 — 一键下载和管理 MLX 模型
  • API 兼容 — OpenAI 兼容 API 接口
  • 工具调用 — 支持函数调用和 Agent 工具链

适用场景

💡 在 Mac 上获得最快的本地 LLM 推理
💡 为 Agent 应用提供低延迟的本地模型后端
💡 替代 Ollama 获得更好的 Apple Silicon 性能

标签

MLX Apple-Silicon local-LLM inference-engine Python

分类

⚡ Agent 工具

快速开始

# 安装
pip install rapid-mlx

# 启动服务
rapid-mlx serve --model mlx-community/Llama-3.1-8B
访问 GitHub

相关项目