Ollama

活跃
GitHub Go MIT

简介

本地运行各种开源大模型的命令行工具，模型即命令可启动。生态繁荣。

核心特性

  • 一键运行 — ollama run llama3 直接进入对话
  • 模型仓库 — 内置 Llama、Mistral、Qwen、Gemma 等
  • OpenAI 兼容 — 提供 /v1/chat/completions 接口
  • 多模态 — 支持 LLaVA 等视觉模型
  • 低资源 — 支持 CPU、Metal、CUDA 自动调度

适用场景

💡 为本地 Agent 提供 LLM 推理后端。
💡 在 CI 中跑轻量模型做单元测试。
💡 为隐私敏感场景跑开源模型。

标签

llm local inference agent-tools

分类

⚡ Agent 工具

快速开始

# 安装
brew install ollama
# 启动服务
ollama serve &
# 拉模型并对话
ollama pull llama3
ollama run llama3 '用一句话介绍 Rust'
访问 GitHub

相关项目