exo
正常简介
exo 是把多台消费级设备组合为分布式 LLM 推理集群的框架，让 Mac、Windows、Linux 设备互联成一台 GPU 集群。
核心特性
- 消费级设备集群 — 不需要数据中心 GPU，每台机器都是节点
- P2P 自动发现 — 设备在同一网络自动组成集群
- 动态切分 — 模型按层/张量自动切分到不同节点
- 多模型支持 — LLaMA、Mistral、Qwen 等都可分布式推理
- OpenAI 兼容 API — 用标准 API 即可调用分布式推理
- 跨平台 — macOS、Windows、Linux 都能加入集群
适用场景
💡 把家中/办公室多台消费级设备组成 LLM 推理集群
💡 在没有数据中心 GPU 的环境运行较大模型
💡 为本地 Agent 提供私密、低成本的推理服务
💡 用 OpenAI 兼容 API 调用自己家里的分布式 LLM
快速开始
git clone https://github.com/exo-explore/exo.git
cd exo
pip install .
exo