LLMFit
活跃简介
本地大语言模型运行工具，一条命令即可找到适合你硬件的模型，支持数百种模型和提供商，为 AI Agent 提供本地推理能力。
核心特性
- 硬件自动检测与模型匹配 — 检测 CPU、RAM、GPU/VRAM，基于质量、速度、适配度和上下文维度评分数百个模型
- 交互式 TUI 界面 — 默认启动终端 UI，支持搜索、排序、多选比较、硬件模拟、社区排行榜
- 多 GPU 与 MoE 支持 — 支持多 GPU 配置和 Mixture-of-Experts 架构模型的适配评估
- 动态量化选择 — 根据硬件配置自动推荐最佳量化方案，显示内存占用和运行模式
- 运行时提供商集成 — 支持 Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio 等本地运行时
- 下载管理器 — 内置模型下载、历史记录、删除管理，支持配置下载目录
适用场景
💡 本地 LLM 选型 — 在购买硬件前评估哪些模型能在你的设备上流畅运行
💡 AI Agent 本地推理部署 — 为 AI Agent 选择合适的本地推理模型并评估性能
💡 硬件配置规划 — 模拟不同硬件配置下的模型性能表现
💡 模型对比测试 — 多选模型并排对比 tok/s、TTFT、VRAM 使用等指标
💡 团队协作选型 — 通过社区排行榜查看同款硬件上其他用户的真实性能数据
分类
快速开始
brew install AlexsJones/llmfit/llmfit
# 启动交互式 TUI
llmfit
# 或使用 CLI 模式获取推荐
llmfit recommend --use-case coding
# Docker 方式运行
podman run ghcr.io/alexsjones/llmfit recommend --use-case coding | jq '.models[].name'